Горячий резерв и рост масштабов
В суперкластере Meta Prometheus в штате Огайо размещены системы NVIDIA Grace Blackwell (GB200 и GB300), а в будущем планируется развернуть ускорители Vera Rubin. Проект рассчитан на энергопотребление до 1 ГВт и масштабирование до 1 миллиона чипов. Однако гигантский масштаб неизбежно приводит к аппаратным сбоям. Более 11 % ИИ-ускорителей в Prometheus сейчас либо сломаны, либо простаивают в ожидании поломки активных компонентов.
На начальном этапе работы комплекса фиксировалось около 1000 прерываний вычислений в сутки на каждые 8000 ускорителей. Сбой любого чипа заставлял приостанавливать обучение моделей, таких как Muse Spark, и откатываться к последней контрольной точке. За год инженеры сократили число таких инцидентов на 99 % — до 11 случаев в день на каждые 8000 карт.
Одним из ключевых инструментов стали горячие резервы. В каждом домене NVLink из 72 ускорителей вычисления одновременно выполняют 64 чипа, а 8 находятся в запасе. При выходе из строя GPU прерывание вычислений все равно происходит, однако задействование резервного чипа позволяет кардинально сократить время на восстановление процесса.
| Параметр | NVIDIA H100 / H200 | NVIDIA Blackwell (GB200 / GB300) |
|---|---|---|
| Чипов в домене NVLink | 8 | 72 |
| Активных чипов в домене Meta | 8 | 64 |
| Чипов в горячем резерве | 0 | 8 |
Проблемы с NVLink и питанием
Переход на архитектуру Blackwell увеличил масштабы домена NVLink в девять раз по сравнению с H100 и H200. В инфраструктуре Meta задействовано свыше 600 тысяч соединений. При таком количестве даже небольшое падение качества сигнала вызывает циклы восстановления связей NVLink. Для выявления ненадёжных контактов до ввода в эксплуатацию компания применила стресс-тесты уровня L11 и непрерывную телеметрию.
Другой сложностью стали скачки энергопотребления. Одновременное включение и выключение десятков тысяч ускорителей при запуске задач перегружает питающее оборудование ЦОД. Чтобы минимизировать потери при сбоях, Meta использует параллелизм данных с несколькими копиями модели и многоуровневое сохранение контрольных точек.
Результаты и планы на миллион GPU
Несмотря на то, что в некоторых странах бизнес использует лишь половину ИИ-ускорителей, Meta добилась высокого уровня полезной работы (goodput): свыше 85 % при предварительном обучении и более 90 % при обучении с подкреплением модели Muse Wonder.
Компания сохраняет планы построить комплекс на миллион ускорителей. Инженеры рассчитывают снизить частоту прерываний до двух в сутки на каждые 8000 чипов и довести среднее время между сбоями до 100 тысяч GPU-часов.
Что это значит для вас
Будут ли серверные системы Grace Blackwell продаваться в России, в источниках не уточняется.
Для IT-специалистов и разработчиков этот опыт наглядно показывает уязвимость крупномасштабных ИИ-кластеров. При проектировании вычислений на большом числе GPU важно закладывать резервные мощности, внедрять параллельное обучение и автоматизировать восстановление из контрольных точек, поскольку аппаратные сбои на таком масштабе неизбежны.
