Чип OpenAI разогнал Kimi K2.5 почти до 700 токенов в секунду

В июне OpenAI и Broadcom представили Jalapeño, первый собственный чип OpenAI для инференса языковых моделей. Тогда компании рассказывали в основном про архитектуру и обещали начать развёртывание до конца года. Теперь появились первые результаты . На Kimi K2.5 чип выдаёт 694 токена в секунду на пользователя против 182 у топового железа NVIDIA текущего поколения. На DeepSeek R1 разрыв получился ещё немного больше: 700 против 169 токенов в секунду. Читать далее

Заголовки и краткие цитаты приведены со ссылкой на источник в порядке информирования. Полные тексты доступны на сайтах изданий, права на них принадлежат правообладателям.