iSCSI: Что это, как работает и как выбрать сеть и СХД

iSCSI представляет собой протокол передачи команд SCSI через TCP/IP. Он позволяет серверу обращаться к удаленному блочному хранилищу по IP-сети. Для операционной системы предоставленный том выглядит как дисковое устройство, хотя физически данные находятся в отдельной системе хранения.

Такое подключение используют для виртуализации, серверных приложений и централизованного хранения. Но iSCSI не превращает обычную локальную сеть в отказоустойчивую SAN автоматически. Результат зависит от сетевых путей, контроллеров СХД, настроек доступа, multipath и того, как приложение использует общий том.

Самая опасная ошибка: выдать один LUN нескольким серверам и одновременно смонтировать обычную файловую систему на каждом. Без поддерживаемого механизма координации записи это может повредить данные. Общая доступность блочного устройства и безопасная совместная работа с ним являются разными задачами.

Что такое iSCSI простыми словами

У локального диска сервер отправляет команды чтения и записи через подключенный контроллер. В iSCSI запросы к блочному устройству передаются по TCP-соединению удаленному target, который обслуживает операции с хранилищем.

Расшифровка iSCSI: Internet Small Computer System Interface. Несмотря на слово Internet, рабочую сеть хранения обычно проектируют как контролируемую инфраструктуру, а не открытый доступ к дискам из интернета. Стандартный TCP-порт iSCSI: 3260.

Инициатор, target, LUN и IQN

Как работает подключение iSCSI

Сначала на стороне хранения создают том и задают правила его предоставления. Сервер обнаруживает target, устанавливает сессию и проходит предусмотренную аутентификацию. После этого ОС видит назначенные логические устройства.

Когда приложение читает или записывает данные, запрос проходит через файловую систему либо слой виртуальных дисков, блочную подсистему ОС, инициатор и сеть. На стороне target операция попадает в контроллеры и накопители. Ответ возвращается тем же логическим путем.

Задержка складывается из работы всех этих компонентов. Поэтому быстрый Ethernet не гарантирует низкую задержку СХД, а установка SSD не устраняет перегруженный uplink или неправильно организованный multipath.

Правила самого протокола описаны в RFC 7143. Инструкции конкретной ОС и массива нужны дополнительно: стандарт не задает универсальную схему управления томами, снапшотами и политиками путей.

iSCSI, NFS, SMB и Fibre Channel: что выбирать

Сравнение iSCSI и NFS не сводится к утверждению «блоки всегда быстрее файлов». Производительность зависит от реализации, операции, кэширования и оборудования. Для виртуализации также важны доступные снапшоты, клонирование, интеграция с резервным копированием и поддержка выбранной версии гипервизора.

Fibre Channel и iSCSI решают близкую задачу предоставления блочного хранения, но используют разную транспортную инфраструктуру. Переход на iSCSI оправдан не только отсутствием FC-коммутаторов, а тем, что проект обеспечивает нужные задержки, отказоустойчивость и управляемость.

Как выбрать скорость сети для iSCSI

Начинать следует с профиля ввода-вывода: размера операций, числа IOPS, доли чтения и записи, случайного или последовательного доступа, числа серверов и допустимых задержек. Среднее использование сети не показывает, что происходит в момент резервного копирования или одновременного запуска множества VM.

Оценка полезного потока данных:

Байт/с = IOPS × размер операции в байтах

Учебный пример: 200 000 операций чтения в секунду по 8 КиБ дают 1 638 400 000 байт/с, или примерно 13,1 Гбит/с от хранилища к серверу. Это еще без сетевых накладных расходов. Один канал 10GbE не вместит такой поток в одном направлении. 25GbE можно рассматривать как кандидат, но этот расчет не доказывает, что массив и сервер обеспечат нужные IOPS и задержку.

При смешанной нагрузке отдельно считают направления. Ethernet работает в full duplex, поэтому нельзя автоматически сопоставлять сумму потоков чтения и записи с пределом одного направления. Дополнительно учитывают команды, подтверждения и прочие накладные расходы.

Здесь используются десятичные байтовые единицы. Полезная скорость приложения ниже арифметического предела и зависит от стека и профиля I/O.

Как построить отказоустойчивую схему

Для важных систем обычно рассматривают независимые сетевые пути от сервера к контроллерам СХД. Независимость означает отсутствие общей точки отказа в тех компонентах, отказ которых должен выдерживать проект.

Два сетевых порта, подключенные к одному коммутатору, не защищают от отказа этого коммутатора. Две сессии через один физический интерфейс не защищают от его отказа. Два контроллера массива не заменяют резервное копирование и не гарантируют отсутствие паузы при переключении.

Multipath и MPIO

Multipath объединяет несколько путей к одному логическому устройству. Операционная система должна понимать, что обнаруженные через разные соединения диски представляют один и тот же LUN. В Windows используется стек MPIO с подходящим модулем, в Linux часто применяется Device Mapper Multipath.

Политику выбора путей согласуют с массивом. ALUA позволяет учитывать состояние доступа через разные порты или контроллеры, но конкретные настройки должны соответствовать рекомендациям поставщика СХД и ОС. Нельзя назначать одинаковую политику всем массивам только потому, что они поддерживают iSCSI.

Почему LACP не заменяет MPIO

Объединение Ethernet-портов и управление путями к хранилищу работают на разных уровнях. LACP не проверяет состояние LUN и контроллера. Один TCP-поток также не обязан использовать суммарную полосу всех физических портов агрегата.

MPIO может распределять операции по поддерживаемым путям и переключать доступ при отказах, но удвоение числа путей не обещает удвоение скорости. Нужно учитывать политику, состояние контроллеров и то, какой компонент ограничивает систему.

VLAN, MTU и безопасность

Трафик хранения стоит отделять от обычного пользовательского доступа и управления. Выделенный VLAN упрощает сегментацию, но не является шифрованием и не заменяет правила доступа. Для критичных систем может требоваться физически отдельная сеть, если это следует из требований к производительности и отказам.

На коммутаторах проверяют скорость портов, доступную полосу между ними, ошибки интерфейсов и настройки согласно проекту. Общие принципы тегирования и разделения трафика описаны в статье о VLAN, access и trunk.

Нужны ли jumbo frames

Увеличенный MTU иногда снижает накладные расходы, но не является обязательным условием работы iSCSI. Его включают согласованно на всей цепочке и проверяют реальную передачу пакетов нужного размера. Числа в настройках устройств могут описывать разные уровни кадра или пакета, поэтому их нельзя механически копировать между платформами.

Рабочая схема с обычным MTU предпочтительнее частично включенных jumbo frames, вызывающих потери и нестабильность. После изменения измеряют результат, а не считают увеличение MTU самостоятельным доказательством ускорения.

CHAP не шифрует содержимое диска

CHAP используется для аутентификации. Он не делает передаваемые данные зашифрованными. Для защиты трафика применяют поддерживаемые механизмы, например IPsec, с учетом требований и производительности конечных систем.

Ограничивайте доступ конкретными инициаторами, используйте отдельные учетные данные и защищенную сеть управления. IQN является идентификатором, а не секретом. Открывать target в публичный интернет без специально спроектированной защиты не следует.

Как выбрать СХД для iSCSI

На первый план выходит сочетание задержки, IOPS, полосы и емкости. Надпись «25Gb iSCSI» описывает интерфейс, а не гарантированный результат любого дискового пула.

При подборе проверяют:

• поддержку ОС и гипервизора, версии прошивок и рекомендации multipath;

• число контроллеров и поведение при их переключении;

• производительность выбранных накопителей и схемы защиты данных;

• ресурс SSD и требования к устойчивой записи;

• полезную емкость с учетом резервов, снимков и роста;

• доступность снапшотов, репликации и необходимых лицензий;

• совместимость адаптеров, оптики или DAC, а также состав поставки.

В каталоге есть HPE MSA 2060 с 10GBASE-T iSCSI. Такое исполнение рассматривают для соответствующей медной Ethernet-инфраструктуры.

Если расчет требует другого интерфейса, можно сравнить вариант MSA 2060 с 25GbE iSCSI. Это не взаимозаменяемая строка спецификации: меняются физическое подключение и требования к сетевой части. Нужны точные контроллеры, трансиверы и согласованный комплект накопителей.

Thin provisioning позволяет выделять логическую емкость без немедленного физического резервирования всего объема. Но свободное место пула необходимо контролировать. Переполнение общего пула способно одновременно затронуть несколько томов и приложений.

Настройка iSCSI: безопасная последовательность

Интерфейсы Windows, Linux, Synology, TrueNAS и аппаратных СХД различаются. Вместо универсального набора команд полезно придерживаться последовательности, которая отделяет предоставление диска от его использования.

1. Зафиксировать схему сети, адреса, пути, MTU и правила доступа.

2. Создать отдельный тестовый том, проверить его идентификатор и отсутствие нужных данных.

3. Настроить target, разрешенные инициаторы и аутентификацию.

4. Подключить первый путь и убедиться, что сервер видит именно ожидаемый LUN.

5. Настроить multipath по документации ОС и массива, затем подключить остальные пути.

6. Проверить, что пути объединены в одно устройство с корректным идентификатором.

7. Только после этого создавать нужный слой хранения или подключать существующую файловую систему в согласованном режиме.

8. Провести тесты нагрузки, перезапуска и отказа путей на тестовых данных.

Windows и Linux

Windows может выступать инициатором, а поддерживаемый Windows Server с соответствующей ролью также может предоставлять target. В Linux распространен Open-iSCSI. Эти названия не означают, что настройки multipath и таймаутов одинаковы во всех версиях.

Для Astra Linux, Ubuntu и других систем ориентируются на поддерживаемую документацию конкретного выпуска. Команда из инструкции для одной ОС не подтверждает совместимость другой с выбранной СХД.

iSCSI и Proxmox VE

Proxmox VE умеет использовать iSCSI-хранилища. В распространенной схеме поверх предоставленного LUN организуют поддерживаемый общий слой LVM. При этом сам протокол iSCSI не управляет выделением виртуальных дисков, снапшотами и клонами.

Возможности зависят от storage backend и версии Proxmox. Обычный LVM-thin нельзя объявить безопасным общим хранилищем нескольких узлов одним флагом shared. Совместный доступ требует поддерживаемой схемы координации.

Отдельно проверьте миграцию VM, перезапуск узла, доступность томов со всех разрешенных серверов и восстановление путей. Общие принципы платформы разобраны в статье о Proxmox VE и выборе сервера для виртуализации.

Что проверить перед вводом в эксплуатацию

Сначала измеряют базовую нагрузку на отдельном тестовом томе. Тестовый инструмент должен работать только с явно выделенными тестовыми данными: запись непосредственно на блочное устройство может уничтожить его содержимое.

Фиксируют размер блока, глубину очереди, долю чтения и записи, продолжительность, объем тестовых данных и состояние кэшей. Результаты короткого прогона, полностью поместившегося в кэш, нельзя выдавать за устойчивую производительность накопителей.

Измеряют IOPS, полезную полосу и распределение задержек, включая хвостовые значения, а не только среднее. Затем проверяют несколько серверов одновременно и нагрузку после потери одного пути.

В согласованное окно испытаний проверяют отключение отдельного соединения, отказ коммутатора, переключение контроллера, перезапуск хоста и восстановление путей. Успешный ping не является проверкой работы приложения. Нужны отсутствие повреждения данных, приемлемая пауза и корректное возвращение схемы в штатное состояние.

Частые вопросы об iSCSI

Что такое инициатор iSCSI?

Это сторона подключения, которая отправляет команды к target. Обычно инициатор работает на сервере, использующем предоставленный LUN.

iSCSI работает только с дорогой СХД?

Нет. Target может быть программным или работать на поддерживающем эту функцию NAS. Но его пригодность для производственной нагрузки нужно проверить отдельно, включая отказоустойчивость и восстановление.

Нужен ли отдельный коммутатор?

Не всегда. Решение зависит от нагрузки и требований к изоляции и отказам. В критичной системе отсутствие общей точки отказа важнее формального количества сетевых портов.

Можно ли подключить один диск к двум Windows-серверам?

Сам протокол позволяет предоставить доступ нескольким инициаторам. Безопасная одновременная запись требует поддерживаемого кластерного решения и соответствующего режима работы. Обычное независимое монтирование тома на двух машинах недопустимо.

Чем iSCSI multipath отличается от двух сетевых кабелей?

Multipath распознает несколько путей к одному устройству и управляет их использованием. Два кабеля без корректной настройки могут дать дублирующиеся устройства или не обеспечить требуемое переключение.

Что быстрее: iSCSI или NFS?

Универсального ответа нет. Сравнивают одинаковую нагрузку, требования к задержкам и возможности интеграции с приложением. Протокол не компенсирует недостаточную скорость накопителей или перегруженную сеть.

Подходит ли iSCSI для Proxmox?

Да, в поддерживаемой схеме хранения. Перед внедрением проверяют backend, multipath, общий доступ, возможности снапшотов и ограничения конкретной версии.

Как подготовить требования к сети и СХД

Укажите число хостов, ОС или гипервизор, рабочую и перспективную емкость, профиль I/O и допустимую задержку. Отдельно опишите, какие отказы система должна выдержать и насколько может снизиться скорость в аварийном режиме.

В разделе систем хранения данных можно подобрать варианты под эти требования. Сравнивать стоит не только терабайты и скорость порта, но и весь комплект: массив, накопители, пути подключения, сетевое оборудование, лицензии и проверенную процедуру восстановления.