Перейти к содержанию
Больше чем юмор, сильнее чем смех!

Самый большой микропроцессор в мире


Flanger

Рекомендуемые сообщения

161165242415539055.png

Микросхема WSE изготовлена по современному 7-нм техпроцессу и содержит умопомрачительные 2,6 триллиона транзисторов, объединённых в 850 000 вычислительных ядер. Гигантский размер — не рекорд ради рекорда. Размещение огромного количества ядер на одном кристалле имеет существенные практические преимущества при моделировании нейронных сетей — а именно для этой цели предназначен новый супер-чип.

1611654218111220044.jpg

В настоящее время большая часть нейровычислений выполняется при помощи графических процессоров (GPU). Они подходят для этого лучше, чем CPU, поскольку содержат множество блоков, способных работать параллельно, и могут быстро выполнять операции над матрицами, к которым по большей части и сводится работа искусственных нейросетей. Но всё-таки изначально GPU разрабатывались с другими целями, и почти 90% их площади занимают компоненты, которые не могут быть использованы для задач искусственного интеллекта. Да и объём памяти на кристалле, которым располагают GPU, для этих целей слишком мал.

1611652648125342411.png

Вычислительная система CS-1 на базе Wafer Scale Engine

Архитектура WSE была специально разработана для нейровычислений и потому избавлена от вышеописанных недостатков. Здесь прямо на кристалле размещено 36 гигабайт памяти с максимально коротким временем доступа: все обращения обрабатываются за один такт, т. е. быстрее чем за наносекунду. Память обладает беспрецедентно высокой пропускной способностью — 9 петабайт в секунду (это в тысячи раз быстрее, чем в классических системах, где память реализована отдельно). Для связи между ядрами внутри одного блока и между разными блоками используются одинаковые интерфейсы, которые ещё на порядок быстрее.

И всё-таки в первую очередь создание WSE — это не архитектурный, а технологический триумф. Разработчикам пришлось решить массу проблем, которые просто не возникают в случае с чипами привычного размера. Так, супер-микросхема выделяет 15 кВт тепла, поэтому для неё не подходила ни одна из существующих систем охлаждения.

1611653057181768247.jpg

Блок с микросхемой WSE и системой питания. Справа — коннекторы для водяных помп

1611653290181667712.png

Высокопроизводительная помпа системы охлаждения

Более того, из-за огромных габаритов микросхемы возник эффект неравномерного теплового расширения кристалла и подложки, и пришлось ввести дополнительный компенсирующий слой. Трёхмерная система подвода электропитания, рассчитанная на ток 20 000 ампер, тоже была разработана специально для данного проекта. Корпусировку изделия и вовсе пришлось выполнять вручную.

161165317914655063.png

Компания TSMC, на мощностях которой выпускаются гигантские «вафли», смогла обеспечить сверхнизкий процент производственного брака, что позволило заложить в схему всего 1% дополнительных ядер, которые должны подменять неработоспособные.

1611652572111620328.jpg
Важное преимущество разработки Cerebras Systems — полная совместимость с существующими программными комплексами для разработки систем глубокого обучения, в частности, PyTorch и TensorFlow. При переходе на WSE не требуется переписывать ПО. Разработчики подсчитали, что вычислительная система на базе Wafer Scale Engine — CS-1 — в 150 раз производительнее, чем лучший из нынешних серверов на GPU, DGX-1, при этом занимает в 40 раз меньше места и потребляет в 20 раз меньше энергии.

1611653757168729029.jpg
Вычислительная система CS-1 без корпуса

Наверное, последней в ряду впечатляющих цифр должна стать стоимость микросхемы. Компания её не раскрывает, но по косвенным признакам можно судить, что она превышает 2 млн долларов. Это не отпугивает потенциальных заказчиков. Системы CS-1 уже работают в Аргоннской национальной лаборатории под Чикаго и Ливерморской национальной лаборатории им. Лоуренса; также они должны лечь в основу нового суперкомпьютера Neocortex в Питтсбурге. Благодаря разработкам Cerebras Systems на обучение сложных нейросетей будут уходить часы, а не недели, а значит, можно будет опробовать намного больше разных вариантов.

Возможно, в перспективе подобные системы помогут в реализации таких амбициозных планов, как моделирование работы мозга высших животных в реальном времени.


Просмотр полной топик

Ссылка на комментарий
Поделиться на другие сайты

Присоединяйтесь к обсуждению

Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.

Гость
Ответить в этой теме...

×   Вставлено с форматированием.   Вставить как обычный текст

  Разрешено использовать не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отображать как обычную ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставлять изображения напрямую. Загружайте или вставляйте изображения по ссылке.

×
×
  • Создать...