Гонка суперкомпьютеров продолжается

Nvidia и Национальный компьютерный научный центр энергетических исследований США, расположенный в университете Беркли, 27 мая запустили в работу самый мощный на сегодняшний день компьютер для задач в области искусственного интеллекта. Его назвали «Перлмуттер» в честь лауреата Нобелевской премии астрофизика Сола Перлмуттера. Он собран из 6144 процессоров Nvidia A100 Tensor Core. Его первой задачей будет составить объемную карту наблюдаемой вселенной, обработав данные аризонского телескопа DESI, наблюдающего за темной материей. 

Ученым из Беркли раньше требовалось несколько месяцев, чтобы обработать данные, собранные телескопом за один год. Теперь, благодаря новому компьютеру, время обработки уменьшится до пары дней, а статьи с результатами будут публиковаться чаще.

По заявлениям компании Nvidia, «Перлмуттер» уже сейчас является самой быстрой системой в мире для обработки данных, которые используются в задачах по обучению моделей искусственного интеллекта (ИИ). Во второй половине года на него установят дополнительные процессоры, что сделает его ещё мощней. После завершения второй фазы строительства «Перлмуттер» станет вторым в мире по скорости операций с плавающей точкой мире. Его мощность составит 180 петафлопс. То есть за одну секунду он сможет проводить 180 квадриллионов (180 000 000 000 000 000) вычислительных операций — приблизительно в 100 тысяч раз больше, чем средний настольный компьютер.  Самый быстрым компьютером в мире по количеству операций с плавающей точкой остается японский Fugaku, производительность которого составляет 442 петафлопс. 

Скорость линейных вычислений, где каждый следующий результат зависит от предыдущего, важна, например, для симуляции ядерных взрывов, климатических изменений и тому подобных задач. Но некоторые вычисления можно проводить не последовательно, а параллельно, разбивая их на куски. К таким процедурам относится подбор оптимальных параметров в системах искусственного интеллекта. В этой задаче «Перлмуттер» является самым быстрым компьютером с двукратным отрывом в производительности от преследователя. Благодаря тому, что в нем собраны воедино более шести тысяч процессоров, он способен производить независимые друг от друга вычисления невообразимо быстро: почти 4 квинтиллиона или 3 832 300 000 000 000 000  операций в секунду.

В ближайшем будущем появятся еще более мощные системы. Nvidia в апреле представила процессор на новой архитектуре, названный Grace в честь пионера компьютерной науки Грейс Хоппер. Он будет первым процессором, специально созданным для использования в дата-центрах, ориентированных на приложения в сфере ИИ. В коммерческую продажу он поступит в 2023 году. О своем интересе к нему уже заявила Национальная лаборатория Минэнерго США в Лос-Аламосе и швейцарский центр суперкомпьютеров. 

Разработчики утверждают, что процессор специально оптимизирован для выполнения сложных задач: обработку естественной речи, систем рекомендаций и других применений, для которых необходимо очень быстро обрабатывать гигантские объемы данных. Его тестировали на языковых моделях, которые содержат триллион параметров. Для сравнения: самая продвинутая модель естественного языка GPT-3 содержит 175 миллиардов параметров. Такие задачи сложно решать на вычислительной технике, которая распространена сейчас. Нужно увеличивать объемы доступной памяти и расширять пропускную способность шины передачи данных. Grace будет соединяться с картами и памятью новым способом, который обеспечивает пропускную способность в 900 гигабайт в секунду — в 30 раз больше, чем нынешние технологии. 

Суперкомпьютер «Альпы» на основе нового процессора, который будет установлен в швейцарском центре, будет обладать мощностью в 20 экзафлоп и будет в пять раз быстрее, чем «Перлмуттер». 

Список задач, для которых нужны такие вычислительные мощности, довольно длинный. В него входят проблемы в области материаловедения, астрофизики, гидродинамики, биологии, молекулярной химии, физики элементарных частиц, а также симуляция экономических и социальных процессов. Например, «Альпы» будут использоваться для обсчета результатов экспериментов, полученных на Большом адронном коллайдере, где обнаружили бозон Хиггса — частицу, которая дает массу всем другим элементам природы. 

Пространство для оптимизации с помощью требовательных к вычислительным ресурсам алгоритмов есть практически у любого процесса. Например, почтовая служба США в июне должна завершить оптимизацию своей системы распознавания образов, которую используют для автоматического определения адресов на письмах и открытках. В сутки эта система должна обрабатывать более 20 терабайт изображений, которые генерируют более 1000 систем сканирования писем. В почтовой службе надеются, что уже в следующем году 96% писем первого класса будут доставляться вовремя. Сейчас этот показатель находится на отметке 84%.

Свои суперкомпьютеры с производительностью более одного экзафлопа есть и в Китае. Тяньхэ-3 («Млечный путь-3») собран на основе исключительно китайских технологий, без использования наработок Nvidia. Он использует собственные процессоры, которые показывают, судя по опубликованным предварительным данным, хорошие результаты в работе со свёрточными нейронными сетями.

Самым мощным компьютером в России является «Кристофари», собранный на основе ускорителей Nvidia Tesla V100. По производительности он занимает сороковое место в мире. Машину, принадлежащую дочерней компании Сбербанка, в апреле арендовали для проведения хакатона «Норникеля». Команды разработчиков соревновались в решении двух проблем. Первая — определение по видео различных параметров пены в процессе флотации, когда готовят концентраты руды. Второе — создание модели предсказания уходов на больничный сотрудников. Победители конкурса предложили несколько моделей, которые со временем можно будет внедрить на производстве.

В уроке «Искусственный интеллект» программы «Цифроникель» можно познакомиться с задачами, которые можно решать с помощью ИИ, и узнать, как происходит обучение компьютерных помощников.