Самый большой микропроцессор в мире

Микросхема WSE изготовлена по современному 7-нм техпроцессу и содержит умопомрачительные 2,6 триллиона транзисторов, объединённых в 850 000 вычислительных ядер. Гигантский размер — не рекорд ради рекорда. Размещение огромного количества ядер на одном кристалле имеет существенные практические преимущества при моделировании нейронных сетей — а именно для этой цели предназначен новый супер-чип.

В настоящее время большая часть нейровычислений выполняется при помощи графических процессоров (GPU). Они подходят для этого лучше, чем CPU, поскольку содержат множество блоков, способных работать параллельно, и могут быстро выполнять операции над матрицами, к которым по большей части и сводится работа искусственных нейросетей. Но всё-таки изначально GPU разрабатывались с другими целями, и почти 90% их площади занимают компоненты, которые не могут быть использованы для задач искусственного интеллекта. Да и объём памяти на кристалле, которым располагают GPU, для этих целей слишком мал.

Вычислительная система CS-1 на базе Wafer Scale Engine

Архитектура WSE была специально разработана для нейровычислений и потому избавлена от вышеописанных недостатков. Здесь прямо на кристалле размещено 36 гигабайт памяти с максимально коротким временем доступа: все обращения обрабатываются за один такт, т. е. быстрее чем за наносекунду. Память обладает беспрецедентно высокой пропускной способностью — 9 петабайт в секунду (это в тысячи раз быстрее, чем в классических системах, где память реализована отдельно). Для связи между ядрами внутри одного блока и между разными блоками используются одинаковые интерфейсы, которые ещё на порядок быстрее.

И всё-таки в первую очередь создание WSE — это не архитектурный, а технологический триумф. Разработчикам пришлось решить массу проблем, которые просто не возникают в случае с чипами привычного размера. Так, супер-микросхема выделяет 15 кВт тепла, поэтому для неё не подходила ни одна из существующих систем охлаждения.

Блок с микросхемой WSE и системой питания. Справа — коннекторы для водяных помп

Высокопроизводительная помпа системы охлаждения

Более того, из-за огромных габаритов микросхемы возник эффект неравномерного теплового расширения кристалла и подложки, и пришлось ввести дополнительный компенсирующий слой. Трёхмерная система подвода электропитания, рассчитанная на ток 20 000 ампер, тоже была разработана специально для данного проекта. Корпусировку изделия и вовсе пришлось выполнять вручную.

Компания TSMC, на мощностях которой выпускаются гигантские «вафли», смогла обеспечить сверхнизкий процент производственного брака, что позволило заложить в схему всего 1% дополнительных ядер, которые должны подменять неработоспособные.

Важное преимущество разработки Cerebras Systems — полная совместимость с существующими программными комплексами для разработки систем глубокого обучения, в частности, PyTorch и TensorFlow. При переходе на WSE не требуется переписывать ПО. Разработчики подсчитали, что вычислительная система на базе Wafer Scale Engine — CS-1 — в 150 раз производительнее, чем лучший из нынешних серверов на GPU, DGX-1, при этом занимает в 40 раз меньше места и потребляет в 20 раз меньше энергии.

Вычислительная система CS-1 без корпуса

Наверное, последней в ряду впечатляющих цифр должна стать стоимость микросхемы. Компания её не раскрывает, но по косвенным признакам можно судить, что она превышает 2 млн долларов. Это не отпугивает потенциальных заказчиков. Системы CS-1 уже работают в Аргоннской национальной лаборатории под Чикаго и Ливерморской национальной лаборатории им. Лоуренса; также они должны лечь в основу нового суперкомпьютера Neocortex в Питтсбурге. Благодаря разработкам Cerebras Systems на обучение сложных нейросетей будут уходить часы, а не недели, а значит, можно будет опробовать намного больше разных вариантов.

Возможно, в перспективе подобные системы помогут в реализации таких амбициозных планов, как моделирование работы мозга высших животных в реальном времени.