Собственно каким образом можно сделать сабж?

Хочется некий домашний аналог "кластера"
Суть что хочется быстрый общий доступ к оперативке (ну и прочим ресурсам заодно) других компов по шустрому PCIe

(67) а ты уже проверял насколько оно быстрее на 4к блоках же да?

(68) это мне?

я как раз понимаю что хочу и описал это
проц расшарить мне не надо

(64) Можно и подешевле найти
Вопрос в том какие затраты на ethernet и что будет на малых блоках

Пытался найти тесты для 10GbE сетевых дисков и пока не очень понятно

(71)+ Т.е. если взять пару 100GbE плат и соединить SFP кабелем их
На одном компе сделать рам диск и расшарить его, то при доступе со второго компа что будет по скорости

(72) дел не в скорости идиот, а в задержках (latency)

при шаред мемори все происходит внутри одного хоста в памяти, а ты хочешь по "named pipes" обращаться через шину PCI-E, контроллер сетевого чипа, медный или оптический интерфейс и обратно. RAM диск не панацея для 1С. Известно еще с времен 7.7

(73) сам идиот
вот и хз какие задержки будут

суть в том что я хочу минимальные задержки что может PCIe 3.0 x16 на паре компов

ты же сразу можешь сказать какие они будут да?

(75)+ для не умеющих читать и думать
открой ссылку https://habr.com/ru/post/567742/

там найди картинку https://habrastorage.org/r/w1560/getpro/habr/upload_files/18d/1e7/ab5/18d1e7ab591865e63acbd6a30b82063c.jpg

и вот скажи как что это не супер?

меня вполне устроит даже в два раза хуже с учетом второго компа

(76) так тебе это не поможет, потому что однопоточный парсер xml в платформе 1С не заметит этих скоростей. и твоя выгрузка с 6ти часов не превратится в 20 минут

(75) >>PCIe 3.0 x16 на паре компов
>>сразу можешь сказать какие они будут да?
да. они будут большие.
задержки маленькие только когда модули памяти на шине памяти через контроллер памяти разговаривают с процессором на оговорённой скорости и тайминге. вопрос стоит о гигагерцах, напомню - герц это операция в секунду гигагерц это миллиард операций в секунду.
при попытке соединить это через какие-то твои фантазии - всё пойдет по звезде.

(77) Там проблема не в парсере а доступе к базе даже на чтение

Лично тестил например удаление помеченных и на рам диске оно на порядки быстрее чем на NVMe SSD

(78) Ссылку https://habr.com/ru/post/567742/ открой и изучи
Они там взяли контроллер NVMe и через ПЛИСы воткнули DDR чипы

Суть что мне надо нечто подобное, только ПЛИС или еще что допустим вместо DDR воткнуто в PCIe второго компа и "дергает микросервис" который RAM использует "как DDR чипы"

(80)+ Предполагаю что будет примерно в два раза хуже чем у них

(80) где на этом графике стоит твой камень? https://xakep.ru/wp-content/uploads/2018/11/193679/fig-5-platform-comparison.png
как ты собрался тягаться с FPGA?

(82) почитай про DMA

(76) копи на KIOXIA CD7 https://www.ixbt.com/news/2021/09/24/kioxia-ssd-pcie-gen-5-0-14-000.html, а не фантазируй про ускорение 1С на RAM-диске

(84) тест на 4к блоки уже покажешь да?

(76) Я вот что не пойму.
Допустим, у тебя есть комп, на котором дохрена ОЗУ. Ок. Сделаем на этом компе Рам-диск нужного объема.
Зачем тогда второй комп подключать по сети?  Можно делать все ресурсоемкие операции на первом компе.

(86) Энтузиаст

(0) фибр ченнел 7 поколения 64гбит, задержка 500нс. Если для данных. Ну или сотня лучших инженеров и через 10 лет свой недостандарт:)

(88) FC рассчитано на километры, для моей задачи хватит сантиметров

(86) ОЗУ к сожалению не дохрена а мало, база допустим влезет с трудом но для 1С и СУБД уже оперативки нет
Ну и незначительный момент что можно два компа так подключить и получить один быстрый "сетевой рам диск" из двух компов для третьего
Ну и т.д. если линий PCIe хватает

(89) FC это протокол, а не про километры.

(91) протокол который обязан работать на километрах
для простоты ты про пинги в сетях в курсе? задержка на см и задержка на км естественно разная
тебя не удивляет что видеокарты через шлейф PCIe в майнинг-фермах подрубают и оно как ни странно работает да?

чтобы было понятней что я хочу

возьмем обычную видеокарту с hdmi выходом и Устройство видеозахвата типа https://www.dns-shop.ru/product/fdb195f7ee1f1b80/ustrojstvo-videozahvata-elgato-game-capture-4k60-pro-mk2/
видяху в один комп в PCIe, плату видеозахвата в другой комп в PCIe, соединяем коротким кабелем hdmi и получаем... односторонний канала передачи данных

вот примерно такое и хочется только двухстороннее и на максимальную пропускную способность PCIe 3.0 x16
с минимальными задержками пусть и работать будет только на минимальном расстоянии

(93) https://www.xcom-shop.ru/intel_e810-cqda2_810637.html

2 шт плюс к ним кабель https://shop.nag.ru/catalog/01889.sfp-gbic-xfp-sfp-x2-xenpak-qsfp-cfp-moduli/19227.moduli-qsfp28/19231.snr-qsfp28-da-1
4 планки памяти дешевле выйдут

потом будешь говорить, что  максимальная скорость, с которой данные могут быть считаны из памяти или сохранены в памяти твоим процессором всего лишь 41.6 ГБ/с
и проц нужен i9-10980XE, у которого 94

причем одна линия четвертого поколения PCI-E способна передать данные с максимальной скоростью до 2 Гб/с, а значит 16 линий дадут всего лишь 32 Гб/с

но твой проц опять же поддерживает только PCI-E 3.0, а значит это всего лишь 16 Гб/с. Сравни со скоростью обмена памяти (41.6) и выходит что проще все таки добить планками по 32 Гб до 128 Гб и не разводить демагогию

(93) infiband?

(94) (95) еще 4 планки надо куда то засунуть а некуда
кроме как в другой комп да

(98) еще раз повторю 128Gb маловато будет
база в притык влезет
а еще надо для 1С и sql оперативка

256Gb и более доступны только на серверных платформах, но там пока частота процев не але
там где процы шустрые под и за 5ГГц там к сожалению лимит пока 128Gb

(99) инфибанд это один из вариантов

да 100GbE сетевухи вполне можно взять (по 15-27 т.р. бу на али) и SFP+ кабель к ним за 5-7 тыр
вопрос только в задержках и затратах на сетевой протокол и расшаривание рам диска по сети

Кстати кому интересно тест Гилева на моем i9-9980HK на z170
https://i2.paste.pics/fa5086df4664f61068eb26915a34b323.png

104 попугая файловая и 65 если sql

(103)+ во время теста отслеживал нагрузку на проц и явно видно что упирается в диск
диск SSD NVMe PCIe 3.0 x4
Т.е. если каким то образом вместо x4 заюзать x16 это теоретически в 4 раза быстрее дисковая
Но SSD к сожалению на 4k блоках (которые и важны для 1C) проваливается, хотя сама шина PCIe вполне может

6 часов для одного теста - супер много. Так будешь долго отлаживать. Добавка аппаратных ресурсов тут врядли поможет.
Я бы потратил 1-2 часа на тупую оптимизацию кода (в первую очередь запросов через техножурнал).
Если это не даст сильного эффекта, то дальше сделал бы сохранение/восстановление состояния загрузки.

(105) 6 часов это потому что сервер у нас хрень в виртуалке

Но это не важно, суть что я хочу иметь более быструю железку для задач подобного класса
Их достаточно много и часто возникают, разные обработки больших достаточно баз, выгрузки-загрузки, удаление помеченных, свертки и т.д.

Вот например тест ram drive https://i2.paste.pics/b055ebb2a462067506c5443a49fa44e7.png
Это же просто офигительные скорости на 4k блоках!
Ни один SSD такого пока не может и еще долго не сможет

(83) а длины дорожек? ты, начиная со времени (0) уже закончил бы задачу.

ведёте себя как г1с.

(108) Не понял причем тут длины дорожек
https://kompsekret.ru/q/what-is-the-maximum-length-of-a-pci-express-flexible-extension-cable-107075/

"PCIe Gen 3: 8 дюймов."

(110)+ 8*2.5 = 20 см
Да придется как то извратиться слегка чтобы мамки расположить уступом с учетом систем охлаждения процов
СЖО вероятно низкие юзать и т.д. в специальном корпусе мамки лесенкой

пока полистывал матчасть, нашёл прикольный товар.
https://www.amazon.com/dp/B07N38Y799/ref=cm_sw_em_r_mt_dp_Y15BHQZZ5R3TNV19H5XQ

(112) такое лучше на али брать, там дешевле и выбор разных больше
сам брал чтобы порт PCIe перекрытый видяхой вытащить под контроллер

(107) PNY XLR8 CS3140 https://3dnews.ru/1039156/obzor-pny-xlr8-cs3140
Макс. устойчивая скорость последовательного чтения, Мбайт/с 7500
Макс. устойчивая скорость последовательной записи, Мбайт/с 6850
Выглядит не сильно хуже, если из них собрать RAID 0 то в итоге получим 2 терабайта мало чем уступающих вашему варианту без всяких плясок с бубном.

(114) > PNY XLR8 CS3140

Это уже PCI 4. Для использования которого нужны процессор и материнская плата с соотевствующей поддержкой. У Егора же в наличии только говно, палки и безудержная фантазия.

(114) ценник на PCIe 4.0 пока слегка завышен, меня жаба давит
И вряд ли на 4k блоках будет лучше чем ramdisk

(115) готов поспорить что в итоге прогресс придет к нужному мне решению
по построению soho кластеров
ибо на одном камне технические ограничения

уже сейчас вполне можно на 10GbE и вполне доступно попробовать потестить на паре https://aliexpress.ru/item/4001065458985.html

(115) А ну тогда нужно движок 1с переписать и на видеокартах, а не проце выгрузку делать, во де прирост скорости будет. Ну и арендовать майнин ферму с сумасшедшими мощностями сейчас не проблема.

(116) > прогресс придет к нужному мне решению

"Мне" с большой буквы должно быть. Тебя точно геня не кусал? Может это через ютуп распространяется?

(118) Тут ударение не на мне а Нужному
Или max ram будет побольше или соединять по PCIe можно будет легко и с минимальными задержками

(117) https://www.reddit.com/r/PostgreSQL/comments/nsdc2s/postgresql_gpu_integration_anyone_use/

(119) https://lurkmore.to/Отучаемся_говорить_за_всю_сеть

(121) Не подскажешь в каком месте я за всю сеть говорю?

Ты в курсе что тебе просто нечего написать по теме и начал на личности переходить?

(101) Intel® Core™ i9-10900X  и его собратья вполне позволяют 256 ГБ и они не серверные(по  цене тоже). Ели задача не единичная и предполагает платные услуги, то время окупаемости такой конструкции не очень и большое.
Единственно, они уже старенькие(2 года) и что им на смену - непонятно.

(123) 1. Они таки серверные на 2066 сокете
2. Только 4.5ГГц в бусте а мне надо 5ГГц

(103) В тест Гилева после "замечательно" пора вводить новую градацию: "ох**нно!"

(125) Да имхо тест Гилева давно пора переписать чтобы и в тонком на УФ работал нормально и тестировал по разному

(0) Как успехи ?

(127) 100GbE вполне решает проблему

(128) то есть нет успехов.

(129) Потестил на арендованном
Самому покупать 100GbE пока дороговато (буду искать оказии заиметь) а 10GbE сильно хуже хотя и не дорого

(130)+ Схема очень простая
Два компа или более соединяются 100GbE
Один комп который будет диском создаем ramdisk в оперативке и расшариваем его по сети
Второй комп просто юзает сетевой диск

(131) какая скорость записи на расшаренный рам диск и какая скорость записи на локальный SSD ?

(132) расшаренный рам диск на больших блоках примерно как два pcie 3.0 ssd nvme в raid0
на малых 4к примерно в 5 раз лучше расшаренный
но у меня в тесте все было осложнено чужими виртуальными серверами в датацентре, соединение через коммутатор вероятно и т.д. типа там сторонняя нагрузка была

(130) так мы ждём когда ты изобретешь нуль-модем для PCIe 3.0 x16

(134) У меня знаний (и необходимости тоже) для подобного изобретения недостаточно.
Придется обходиться тем что есть.

Не смотря на то что оно усложненное и избыточное для моей задачи.
100GbE там двойная переконвертация на другой потокол для передачи по другим линиям.
Но да вместо 20 см там минимум метры на меди и сильно больше на оптике

Взять мощный SSD https://www.nix.ru/autocatalog/ssd_samsung/SSD-250-Gb-M2-2280-M-Samsung-980-PRO-Series-MZ-V8P250BW-RTL_484686.html
Скорость До 6400 Мб/сек чтение куда уже больше???
Запись До 2700 Мб/сек
цена вопроса 7500 руб. + переходник 400 руб. если разъёма нет

если и этого мало, можно две купить и рейд организовать, только думаю можем упереться уже не в ресурсы не диска, а способность обработать этот объем информации

(136) посмотрел видео https://www.youtube.com/watch?v=j4wJlg53hlQ
там сравнивают SSD на SATA современный SSD не преlставлен, да и RAM диск показывает в полтора раза меньше скорость чем SSD из поста (136)

(137) обрати внимание в видео не на две первые а на две последние строчки
и учти что скорость рам диска зависит от мамки и проца, там древность

(136) Нет смысла этот PCIe 4.0 (Gen4) втыкать в мамку с PCIe 3.0 (Gen3)

(139) так если предел упирается в  PCIe 3.0 (Gen3)? смысл дальше мутить? все равно узкое место будет  PCIe 3.0 (Gen3)? данный SSD работает быстрее PCIe 3.0
вот тест этого диска, RAM выигрывает только по нижней строчке https://www.hardwareluxx.ru/index.php/artikel/hardware/storage/50388-test-i-obzor-samsung-ssd-980-pro-fiasko-korejskogo-proizvoditelya.html?start=3

(140) Сейчас будет куплет про 4к блоки =]

(141) спасибо что написали за меня

(140) Нет.
Предел это чипы nand, в отличие от чипов ddr.
И контроллер ssd и даже всего 4 линии "PCIe 3.0 x4" вполне справляются
Хотя на слоте x16 там в 4 раза больше можно да.

(140) Кстати фиаско  Samsung 980 именно в отказе от кэша
Хз уже не помню что там выкинули то ли SLC то ли заодно и DDR кэш но результат получился убогим на 4k блоках

Мне было достаточно в RAM tempdb SQL записать. Если сбойнет, всегда есть копия пустой tempdb и alter database.

(145)+ Еще сам temp операционки лучше туда же для сервера 1С тогда

(116) Тем более что уже вышли с PCIe 5.0, то действительно не имеет смысла брать.

(147) Что вышло? SSD? Так там не улучшится особо с 4k блоками

(148) Процы 12000 и матери на z690. Там уже процессорные линии 5.0.

(148) Каждая следующая генерация PCIe в двое быстрее предыдущей, таки наверное и скорости SSD должны увеличиваться вдвое. По крайней мере SSD 4.0 почти в два раза быстрее 3.0.

(150) Даже если в два этого мало на 4k блоках
Оперативка на порядки быстрей

(151) Кэши на порядки быстрее оперативки и что? Довольствуемся тем что есть. Процы по скорости по сути остановились, берут архитектурой, ядрами и размерами кэша. Сейчас роляет ускорение памяти и накопителей.

(150) В 2 раза быстрее в синтетике, а не реальных тестах
https://youtu.be/4Rww5Yibw2c?t=1123

(153) да электроника уже почти достигла предела
только на какую то оптику или нечто вроде переходить
но и там предел будет
выход только распараллеливание

(152) именно
будущее в SoC'ах
аля система на чипе
где и проц и оперативка сразу вся в виде кэша
пока это сложно и дорого ибо слишком большой размер кристалла
огромный брак выхода будет

Загляните внутрь КД2 уже и не парьте мозги.
Пишешь адаптер для публикации базы через http и плавно вынимаешь данные в несколько потоков по блокам.
Причем,даже ваши правила КД2 можно конвертнуть для обмена через сервис.
Решать железом проблемы неоптимальности бессмысленно.

(156) а ТиИ? А реструктуризация?

на всякий случай сообщаю, что доступны терабитные карты 200GBe https://www.xcom-shop.ru/mellanox_technologies_mcx653105a-hdat-sp_826960.html
технические подробности есть тут https://lenovopress.com/lp1195-mellanox-connectx-6-hdr-200gbe-vpi-adapters

специально для тех у кого pci-x 3.0 там подключается в 2 слота 3.0 через специальный адаптер

пару таких втыкаешь, делаешь на vmware кластер, включаешь RDMA https://docs.vmware.com/en/VMware-vSphere/7.0/com.vmware.vsphere.networking.doc/GUID-9AADBB49-876E-4E44-8149-D0523D8ADA6A.html
и выкладываешь тесты

https://docs.mellanox.com/pages/releaseview.action?pageId=15055422

в (161) как раз описание как сделать то что автор хотел в (0)

(160) все это упирается в цену и затраты не многократные преобразования протоколов и драйвера
да можно разнести по сети, но мне хотелось относительно недорогое решение на буквально сантиметрах между слотами PCIe соседних плат
с минимумом накладных затрат, без лишних преобразований через сетевые протоколы и интерфейсы
т.е. просто некий PCIe-PCIe "коннектор" который для снаружи притворяется с обоих сторон подчиненным девайсом с неким буфером памяти на борту, для передачи между запросами от проца

даже если дело было бы не в деньгах - технология то описана https://en.wikipedia.org/wiki/RDMA_over_Converged_Ethernet - результат на уровне транспорта в конце текста в(161). 90Мb/сек
(163) Шина PCIe не может напрямую обращатся к памяти - либо через RNIC-контроллер либо через узел DMA Engine, поэтому дорогостоящий девайс все таки нужен https://habr.com/ru/post/271393/

в 2019м Nvidia купила Mellanox и теперь предлагает ConnectX®-7 SmartNIС (и BlueField-3) на 400Gb/s на pci-e 5.0 с простеньким чипом с 8(22)млр транзисторов.

наверно ошибка на картинке, тут https://docs.mellanox.com/pages/releaseview.action?pageId=28937481 в самом низу скорость 90Gb/sec

(0) https://selectel.ru/services/dedicated/configurator/

(164) >Шина PCIe не может напрямую обращатся к памяти
а мне это и не надо
к памяти может обращаться драйвер
который периодически в кучу потоков читает запросы из PCIe шины и возвращает туда данные из памяти - это для компа который свою RAM шарит для других