Стартап Taalas анонсировал аппаратную платформу для ИИ-инференса и представил первый продукт — чип HC1 с жестко прошитой моделью Llama* 3.1 8B, доступный в виде демо-чатбота и API-сервиса. По данным компании, чип обеспечивает 17 000 токенов в секунду на пользователя — почти в 10 раз быстрее текущего лидера рынка — при стоимости производства в 20 раз ниже и потреблении энергии в 10 раз меньше.
Архитектура Taalas основана на трех принципах: полная специализация кремния под каждую конкретную модель, объединение памяти и вычислений на одном чипе с плотностью уровня DRAM, а также радикальное упрощение — без HBM-стеков, жидкостного охлаждения и сложной упаковки. Компания утверждает, что устранение границы между памятью и вычислениями позволяет на порядок снизить общую стоимость системы. Кремниевая версия Llama* использует агрессивное квантование — комбинацию 3-битных и 6-битных параметров, — что, по словам разработчиков, вносит незначительные деградации качества по сравнению с GPU-версиями. Второе поколение кремния HC2, которое устранит эти ограничения за счет стандартного 4-битного формата с плавающей точкой, запланировано к выпуску зимой 2026 года.
Taalas основана два с половиной года назад и насчитывает 24 сотрудника; суммарные расходы на первый продукт составили 30 млн долларов из привлеченных более 200 млн долларов. Компания позиционирует себя как противовес тренду на масштабирование: по словам основателей, «точно определенные цели и дисциплинированный фокус достигают того, чего не может грубая сила».
*Компании и продукты, признанные экстремистскими и запрещены в РФ.
Источник новости и обложки: taalas.com