на экране что-то демонстрируется?

Пока нет

не слышу спикера, это нормально?

Звук есть

SSD NVMe на vSAN… 8) Там в любом случае Ethernet, так что слушаем...

+

Если говорить именно о протоколе NVMe, то один из основных его плюсов - значительное снижение нагрузки на хост для обработки IO, тк сам протокол гораздо проще, чем SCSI

отсюда вопрос, имеет смысл использовать NVMe over FC со всеми СХД, не обязательно AllFlash…

насколько мне известно, NetApp позволяет использовать NVMe с любыми СХД, в том числе гибридными...

Протокол не проще и не сложнее в имплементации, чем SCSI.

NVMe имеет смысл ТОЛЬКО при наличии end-to-end queue control.

в протоколе нвме на порядок меньше команд, чем в скази, и для обработки 1 ио нужно значительно меньше тактов процессора. если контроллер схд может работать с нвме дисками, и при этом с хостом по скази, те фактически осуществляет перевод, ничего не мешает переводить в обратную сторону - с дисками по скази, с хостом по нвме…

нагрузку на схд это не снизит, но снизит нагрузку на хосте и уменьшит накладные расходы сети, о чем коллеги выше говорили

в гибридной схд 80% ио приходится в быстрый тир дисков (ссд)… так что 80% трафика как раз будет энд ту энд нвме, при желании

вопрос в том, возможна ли такая имплементация, интересна ли участникам рынка, ведутся ли работы?

NVME в репликации? ))

совершенно не сравнимо

А чего б и нет? Если latency при синхронной репликации снижается, любая РСУБД будет давать больше TPS на поток.

раза в 2 дешевле

Вопрос спикеру: как FC коммутаторы разграничивают очереди NVMe?

Это просто транспорт, нечего разграничивать

Фреймы на свитчах FC не разбираются

То есть FC-свитч оперирует фреймами на уровне кредитов? Тогда в NVMe-FC не имеет никакого смысла.

? Почему, всё интересное происходит на хосте и СХД

смысл в том что есть возможность сделать end-to-end nvme

Коллеги, будет запись?

Если весь SAN не видит submission queue id, то всё скатывается в тот же SCSI.

надо уйти... интересно досмотреть потом в оффлайне

ерунда какая-то, если буфер кредитов на портах хватает то не вижу никаких проблем

> смысл в том что есть возможность сделать end-to-end nvmeЗачем? Just cause we can?

Всё всегда хорошо, когда всегда всем всего хватает :)

спасибо

вы презентацию слушали?) затем чтобы уйти от scsi

От SCSI уходят потому, что I/O сваливается в одну кучу.

https://drewtonnesen.wordpress.com/2020/04/02/vsphere7-fc-nvme/

Поэтому у меня ещё второй вопрос к VMware: как очереди разграничиваются на уровне SioC и virtual NVMe controller?

тут есть видео с подключением fc

Так вы уже большая компания после покупки вас компанией NVIDIA :)

https://www.jacobhopkinson.com/2020/03/10/vsphere-7-0-configuring-nvme-roce-with-pure-storage/

тут по roce v2

по Роке в пюре всё просто, там NQN как в iSCSI

а в FC интересно правда

в отношении vmware я бы еще спросил повлияет ли внедрение nvme на параметр outstanding io в esxi

Использует ли NetApp NS224 NVMeT?

что есть ns224? если речь про полку, то ds224

у нетапа есть модель a320, в ней реализовано подключение полок через nvme over tcp

NS224 - это полка с поддержкой NVMe-драйвов

там вроде софтварный таргет

Опасно это писать напрямую в чужой мозг :)

vSAN + RoCE планируется?

потому что роке в1 вообще странная штука

Про RoCEv1 уже можно забыть. Все адаптеры Mellanox начиная с ConnectX-3 Pro (4 поколения назад) уже по-умолчанию используют RoCEv2. Другие производители адаптеров также реализуют RoCEv2

в НРС rdma для хранения используется уже годы

честно сказать, мы сейчас это все просто называем RoCE (подразумевая что это v2)

про NVIDIA, если кто то не знает - https://nvidianews.nvidia.com/news/nvidia-receives-approval-to-proceed-with-mellanox-acquisition-from-chinas-antitrust-authority#.XpmV23prTFw.linkedin

а кто видел в реальности клоза больше 3х уровней?

CLOSE3 + как правило называется 3D Close

Goggle, Facebook, Yandex, и прочие

Sberbank :)

Герман, перелогиньтесь :)

можешь, NVMe

При потере пакетов просто i/o completion не будет.

а если карточки не мелланокс?

с точки зрения стандарта нет ограничений

NetApp тоже

"Вы можете купить Ford T в любом цвете".

ну тогда вопрос в карточке сервера

"при условии, что этот цвет будет черным" а карточки мелланокс

вряд ли кто-то будет блокировать nvme если в сети нет dcb))

При потерях на сети (перегрузке) просто вырастет задержка, возможно до неприемлемой величины...

https://support.purestorage.com/FlashArray/FlashArray_Hardware/94_FlashArray_X/FlashArray_X_Product_Information/NVMe-oF_Overview

страница 15. Рекомендуется наличие PFC

и lossless

если посмотреть на ситуацию у клиентов:1-Либо у них нет вообще сетевых адаптеров которые поддерживают RoCE и они выбирают новое оборудование - тогда мы докажем и покажем что мы лучше и тогда в сети будет только Mellanox (при проведении официального тендера и т.д. мы и по цене умеем выигрывать).2-Либо, если у клиента уже есть RoCE NIC, то это уже Mellanox :)так что всякие плюшки которые мы поддерживаем требуют наших карт с обеих сторон соединения - но те кто стремится к топовой производительности - тестирует и делает свой выбор.

Александр, тот же вопрос: есть ли контроль очередей на свитчах?

по прежнему не вижу никакого смысла в этом..

А как ситуация с очередями NVMe решена на FC коммутаторе?

а ее надо решать?

Так же никак.

> по прежнему не вижу никакого смысла в этом..Та же проблема шумного соседа, только на уровне буферов.

Все говорят про "низкие задержки" NVMe. Но, учитывая, что в SAN шина PCIe где-то далеко на бэкенде СХД, задача fabric for NVMe -- донести i/o запросы до контроллера в том же порядке, как если бы они шли локально, т.к. хост с HBA видит NVMe сторедж "у себя".

это не реально учитывая особенности одного и второго протокола

+

ANA?

https://nvmexpress.org/wp-content/uploads/NVMe-over-Fabrics-1.1-2019.10.22-Ratified.pdf

A controller is associated with exactly one host at a time. NVMe over Fabrics allows multiple hosts toconnect to different controllers in the NVM subsystem through the same port. All other aspects of NVMeover Fabrics multi-path I/O and namespace sharing are equivalent to that defined in the NVMe Basespecification.

Это к вопросу о мультипасинге

NVMe ANA работает и с FC и c RoCE

NVMe-oF Initiator Multipath Configuration(Linux): https://community.mellanox.com/s/article/howto-configure-nvme-over-fabrics-with-multipath

ну и к слову спецификация NVMeoF общая

The NVMe Over Fabric 1.0 Specification was released in June 2016. The NVMe Over Fabrics 1.0 Specification includes RDMA (RoCE, IB, iWARP) and FC (includes FCoE) transports and supports Discovery Service. Note that FC-NVMe is specified by a separate INCITS T11 doc – see www.t11.org.

спасибо большое

Thank you everyone!

Спасибо!

Взял лопату, пошёл хоронить фибру...