Logo

Pro SDDC. Гости - Broadcom and Mellanox. NVMe over Fabric (NVMeoF). - Shared screen with speaker view
nikolay.aralovets
34:34
на экране что-то демонстрируется?
Dmitry Glebov
34:53
Пока нет
Vaska
35:23
не слышу спикера, это нормально?
Alexey Darchenkov
35:41
Звук есть
Дрога Юрий
36:08
SSD NVMe на vSAN… 8) Там в любом случае Ethernet, так что слушаем...
Иван
36:41
+
Sergey.Yudin
01:02:17
Если говорить именно о протоколе NVMe, то один из основных его плюсов - значительное снижение нагрузки на хост для обработки IO, тк сам протокол гораздо проще, чем SCSI
Sergey.Yudin
01:02:47
отсюда вопрос, имеет смысл использовать NVMe over FC со всеми СХД, не обязательно AllFlash…
Sergey.Yudin
01:03:31
насколько мне известно, NetApp позволяет использовать NVMe с любыми СХД, в том числе гибридными...
the
01:03:47
Протокол не проще и не сложнее в имплементации, чем SCSI.
the
01:04:05
NVMe имеет смысл ТОЛЬКО при наличии end-to-end queue control.
Sergey.Yudin
01:06:47
в протоколе нвме на порядок меньше команд, чем в скази, и для обработки 1 ио нужно значительно меньше тактов процессора. если контроллер схд может работать с нвме дисками, и при этом с хостом по скази, те фактически осуществляет перевод, ничего не мешает переводить в обратную сторону - с дисками по скази, с хостом по нвме…
Sergey.Yudin
01:07:18
нагрузку на схд это не снизит, но снизит нагрузку на хосте и уменьшит накладные расходы сети, о чем коллеги выше говорили
Sergey.Yudin
01:07:58
в гибридной схд 80% ио приходится в быстрый тир дисков (ссд)… так что 80% трафика как раз будет энд ту энд нвме, при желании
Sergey.Yudin
01:08:14
вопрос в том, возможна ли такая имплементация, интересна ли участникам рынка, ведутся ли работы?
Alexsey Novik
01:15:55
NVME в репликации? ))
Alexsey Novik
01:18:01
совершенно не сравнимо
the
01:18:06
А чего б и нет? Если latency при синхронной репликации снижается, любая РСУБД будет давать больше TPS на поток.
Alexsey Novik
01:18:07
раза в 2 дешевле
the
01:20:56
Вопрос спикеру: как FC коммутаторы разграничивают очереди NVMe?
Aleksei Bogdanov
01:22:14
Это просто транспорт, нечего разграничивать
Aleksei Bogdanov
01:23:26
Фреймы на свитчах FC не разбираются
the
01:23:45
То есть FC-свитч оперирует фреймами на уровне кредитов? Тогда в NVMe-FC не имеет никакого смысла.
Aleksei Bogdanov
01:24:32
? Почему, всё интересное происходит на хосте и СХД
nikolay.aralovets
01:25:09
смысл в том что есть возможность сделать end-to-end nvme
Sergey.Yudin
01:25:24
Коллеги, будет запись?
the
01:25:26
Если весь SAN не видит submission queue id, то всё скатывается в тот же SCSI.
Sergey.Yudin
01:25:34
надо уйти... интересно досмотреть потом в оффлайне
nikolay.aralovets
01:26:06
ерунда какая-то, если буфер кредитов на портах хватает то не вижу никаких проблем
the
01:26:13
> смысл в том что есть возможность сделать end-to-end nvmeЗачем? Just cause we can?
the
01:26:38
Всё всегда хорошо, когда всегда всем всего хватает :)
Sergey.Yudin
01:26:42
спасибо
nikolay.aralovets
01:26:47
вы презентацию слушали?) затем чтобы уйти от scsi
the
01:27:23
От SCSI уходят потому, что I/O сваливается в одну кучу.
Nikolay Kulikov
01:28:40
https://drewtonnesen.wordpress.com/2020/04/02/vsphere7-fc-nvme/
the
01:28:57
Поэтому у меня ещё второй вопрос к VMware: как очереди разграничиваются на уровне SioC и virtual NVMe controller?
Nikolay Kulikov
01:29:00
тут есть видео с подключением fc
Света и Ксюша
01:29:33
Так вы уже большая компания после покупки вас компанией NVIDIA :)
Nikolay Kulikov
01:29:46
https://www.jacobhopkinson.com/2020/03/10/vsphere-7-0-configuring-nvme-roce-with-pure-storage/
Nikolay Kulikov
01:29:56
тут по roce v2
Alexsey Novik
01:30:31
по Роке в пюре всё просто, там NQN как в iSCSI
Alexsey Novik
01:30:46
а в FC интересно правда
nikolay.aralovets
01:30:51
в отношении vmware я бы еще спросил повлияет ли внедрение nvme на параметр outstanding io в esxi
V.Kruglov
01:34:28
Использует ли NetApp NS224 NVMeT?
nikolay.aralovets
01:36:22
что есть ns224? если речь про полку, то ds224
nikolay.aralovets
01:36:57
у нетапа есть модель a320, в ней реализовано подключение полок через nvme over tcp
Anton Kottsov
01:37:28
NS224 - это полка с поддержкой NVMe-драйвов
Alexsey Novik
01:38:15
там вроде софтварный таргет
Aleksei Bogdanov
01:39:15
Опасно это писать напрямую в чужой мозг :)
Alexander Lavrinovich
01:40:02
vSAN + RoCE планируется?
Vladimir.Skrebtsov
01:40:59
потому что роке в1 вообще странная штука
Alexander Petrovskiy
01:45:14
Про RoCEv1 уже можно забыть. Все адаптеры Mellanox начиная с ConnectX-3 Pro (4 поколения назад) уже по-умолчанию используют RoCEv2. Другие производители адаптеров также реализуют RoCEv2
Alexsey Novik
01:46:27
в НРС rdma для хранения используется уже годы
borisn
01:46:47
честно сказать, мы сейчас это все просто называем RoCE (подразумевая что это v2)
borisn
01:47:58
про NVIDIA, если кто то не знает - https://nvidianews.nvidia.com/news/nvidia-receives-approval-to-proceed-with-mellanox-acquisition-from-chinas-antitrust-authority#.XpmV23prTFw.linkedin
Vladimir.Skrebtsov
01:48:51
а кто видел в реальности клоза больше 3х уровней?
borisn
01:49:30
CLOSE3 + как правило называется 3D Close
borisn
01:49:53
Goggle, Facebook, Yandex, и прочие
Alexander Petrovskiy
01:50:33
Sberbank :)
the
01:50:57
Герман, перелогиньтесь :)
Alexsey Novik
02:01:46
можешь, NVMe
the
02:02:14
При потере пакетов просто i/o completion не будет.
Vladimir.Skrebtsov
02:02:15
а если карточки не мелланокс?
Alexsey Novik
02:02:18
с точки зрения стандарта нет ограничений
V.Kruglov
02:02:26
NetApp тоже
the
02:03:19
"Вы можете купить Ford T в любом цвете".
Vladimir.Skrebtsov
02:03:20
ну тогда вопрос в карточке сервера
Vladimir.Skrebtsov
02:04:23
"при условии, что этот цвет будет черным" а карточки мелланокс
nikolay.aralovets
02:05:07
вряд ли кто-то будет блокировать nvme если в сети нет dcb))
Владимир Лысиков
02:06:37
При потерях на сети (перегрузке) просто вырастет задержка, возможно до неприемлемой величины...
Alexsey Novik
02:11:15
https://support.purestorage.com/FlashArray/FlashArray_Hardware/94_FlashArray_X/FlashArray_X_Product_Information/NVMe-oF_Overview
Alexsey Novik
02:11:47
страница 15. Рекомендуется наличие PFC
Alexsey Novik
02:11:53
и lossless
borisn
02:16:27
если посмотреть на ситуацию у клиентов:1-Либо у них нет вообще сетевых адаптеров которые поддерживают RoCE и они выбирают новое оборудование - тогда мы докажем и покажем что мы лучше и тогда в сети будет только Mellanox (при проведении официального тендера и т.д. мы и по цене умеем выигрывать).2-Либо, если у клиента уже есть RoCE NIC, то это уже Mellanox :)так что всякие плюшки которые мы поддерживаем требуют наших карт с обеих сторон соединения - но те кто стремится к топовой производительности - тестирует и делает свой выбор.
the
02:18:52
Александр, тот же вопрос: есть ли контроль очередей на свитчах?
nikolay.aralovets
02:21:38
по прежнему не вижу никакого смысла в этом..
V.Kruglov
02:23:09
А как ситуация с очередями NVMe решена на FC коммутаторе?
nikolay.aralovets
02:24:42
а ее надо решать?
the
02:24:45
Так же никак.
the
02:25:07
> по прежнему не вижу никакого смысла в этом..Та же проблема шумного соседа, только на уровне буферов.
the
02:30:39
Все говорят про "низкие задержки" NVMe. Но, учитывая, что в SAN шина PCIe где-то далеко на бэкенде СХД, задача fabric for NVMe -- донести i/o запросы до контроллера в том же порядке, как если бы они шли локально, т.к. хост с HBA видит NVMe сторедж "у себя".
nikolay.aralovets
02:32:59
это не реально учитывая особенности одного и второго протокола
Noname
02:35:22
+
Vladimir.Skrebtsov
02:37:07
ANA?
Alexander Petrovskiy
02:37:39
https://nvmexpress.org/wp-content/uploads/NVMe-over-Fabrics-1.1-2019.10.22-Ratified.pdf
Alexander Petrovskiy
02:37:47
A controller is associated with exactly one host at a time. NVMe over Fabrics allows multiple hosts toconnect to different controllers in the NVM subsystem through the same port. All other aspects of NVMeover Fabrics multi-path I/O and namespace sharing are equivalent to that defined in the NVMe Basespecification.
Alexander Petrovskiy
02:38:00
Это к вопросу о мультипасинге
Alexsey Novik
02:38:34
NVMe ANA работает и с FC и c RoCE
Alexander Petrovskiy
02:41:38
NVMe-oF Initiator Multipath Configuration(Linux): https://community.mellanox.com/s/article/howto-configure-nvme-over-fabrics-with-multipath
Alexsey Novik
02:42:07
ну и к слову спецификация NVMeoF общая
Alexsey Novik
02:42:08
The NVMe Over Fabric 1.0 Specification was released in June 2016. The NVMe Over Fabrics 1.0 Specification includes RDMA (RoCE, IB, iWARP) and FC (includes FCoE) transports and supports Discovery Service. Note that FC-NVMe is specified by a separate INCITS T11 doc – see www.t11.org.
Игорь
02:44:43
спасибо большое
the
02:44:44
Thank you everyone!
Igor Minkovskiy
02:44:47
Спасибо!
the
02:44:58
Взял лопату, пошёл хоронить фибру...