MTIA 300: первый ИИ-чип M**a со встроенными 800GbE-адаптерами и механизмами разгрузки коммуникаций

M**a сообщила новые подробности о 667-Вт ИИ-ускорителе MTIA 300 — своём первом чипе, оптимизированном для обучения DLRM-моделей. В отличие от LLM, требующих огромной пропускной способности вычислений с плавающей запятой, рекомендательные модели сталкиваются с проблемой необходимости быстрого и эффективного взаимодействия ускорителей в сочетании с большой ёмкостью памяти и высокой пропускной способностью интерконнекта. Их таблицы эмбеддингов могут содержать более 99 % параметров модели, что требует гибридного параллелизма, генерирующего частые коллективные операции AllReduce, AllToAll и AllGath

Заголовки и краткие цитаты приведены со ссылкой на источник в порядке информирования. Полные тексты доступны на сайтах изданий, права на них принадлежат правообладателям.