Компания inclusionAI представила Ling-1T — первую открытую языковую модель с 1 триллионом общих параметров, из которых 50 миллиардов активны для каждого токена. Это как иметь огромную библиотеку знаний, где одновременно используется только небольшая, но самая релевантная часть. Модель обучена на 20+ триллионах высококачественных токенов и поддерживает контекст до 128 000 токенов.
В математических соревнованиях AIME 2025 Ling-1T показала результат 70.42%, что сопоставимо с GPT-5 (59.43%) и Gemini 2.5 Pro (70.10%). Особенно впечатляет производительность в программировании: на бенчмарке LiveCodeBench модель достигла 61.68% против 48.57% у GPT-5. Это значит, что китайская модель лучше решает актуальные задачи по кодингу, которые появились уже после её обучения.
Архитектурно Ling-1T использует MoE (Mixture of Experts) с соотношением активации 1/32 — то есть работает только 3.1% от всех параметров одновременно. Это как швейцарский армейский нож, где для каждой задачи выбирается нужный инструмент. Модель стала крупнейшей из обученных в формате FP8, что дало прирост скорости на 15%+ и улучшение эффективности памяти.
В тестах на создание фронтенд-кода и визуальном понимании Ling-1T заняла первое место среди открытых моделей на ArtifactsBench с результатом 59.31%. Интересно, что модель показала ≈70% точности в использовании инструментов (BFCL V3) практически без специального обучения на таких задачах — это говорит о серьезных эмерджентных способностях на триллионном масштабе.
Доступ к модели уже открыт через Hugging Face и API-сервис ZenMux. Поддерживаются популярные фреймворки vLLM и SGLang для развертывания. Правда, разработчики честно признают ограничения: относительно дорогое внимание GQA для длинного контекста и пока слабые агентские способности в многоходовых диалогах.
Источник новости и обложки: huggingface.co