NVIDIA выпустила PAIR — виртуальный маршрутизатор локального инференса для домашних ПК

NVIDIA представила открытый инструмент NVIDIA PAIR ® (Personal AI Router ® ), распространяемый по лицензии Apache 2.0. Разработка предназначена для балансировки и маршрутизации запросов на инференс больших языковых моделей между компьютерами в рамках единой локальной сети. По оценкам инженеров, большинство домашних систем с дискретными графическими ускорителями большую часть времени работают с низкой загрузкой. При наличии в доме нескольких компьютеров — например, основного ПК с видеокартой GeForce RTX ® и второго ПК или ноутбука — их суммарная вычислительная мощность в простое остается невост

Заголовки и краткие цитаты приведены со ссылкой на источник в порядке информирования. Полные тексты доступны на сайтах изданий, права на них принадлежат правообладателям.