Исследователи представили Tiny Recursive Model (TRM) — нейросеть всего с 7 миллионов параметров, которая показала 45% точности на тестах ARC-AGI-1 и 8% на ARC-AGI-2. Для сравнения: большинство крупных языковых моделей вроде Deepseek R1 или Gemini 2.5 Pro справляются хуже, используя при этом в 10 000 раз больше параметров.
TRM развивает идею Hierarchical Reasoning Model (HRM), но кардинально упрощает архитектуру — вместо двух сетей используется одна с всего 2 слоями. Если представить обычную нейросеть как огромный завод с миллионами рабочих, то TRM — это небольшая мастерская, где каждый инструмент используется многократно для решения сложной задачи по частям.
y с помощью компактной сети. Она начинается с векторного представления входного вопроса x, начального векторного представления ответа y и латентного состояния z. В течение до N_up = 16 шагов улучшения модель пытается усовершенствовать свой ответ y. Это происходит следующим образом: 1. рекурсивно обновляет n раз свое латентное состояние z на основе вопроса x, текущего ответа y и текущего латентного состояния z (рекурсивные рассуждения), а затем 2) обновляет свой ответ y на основе текущего ответа y и текущего латентного состояния z. Этот рекурсивный процесс позволяет модели постепенно улучшать свой ответ (потенциально исправляя ошибки из предыдущего ответа) чрезвычайно эффективным с точки зрения параметров способом, минимизируя переобучение.Секрет успеха кроется в рекурсивном подходе — модель буквально «думает вслух», многократно применяя одни и те же простые операции. На задачах типа судоку, лабиринтов и тестов ARC-AGI такой метод оказался эффективнее грубой силы больших моделей. HRM-предшественник с 27 миллионами параметров обучался всего на 1000 примерах, но уже тогда обгонял языковые гиганты.
Результаты ставят под сомнение господствующую парадигму «больше параметров — лучше результат». Возможно, для логических задач важнее не размер модели, а качество рассуждений. TRM может стать прорывом для устройств с ограниченными ресурсами — там, где развернуть модель на сотни миллиардов параметров просто невозможно.
Источник новости и обложки: arxiv.org