Паттерн универсален: проверено на трех масштабах моделей (355M–70B параметров), трех архитектурах (GPT-Neo, RoBERTa, Llama*) и восьми задачах
@ИИ
Трансформеры
Работа ставит под сомнение традиционный подход к построению AI, который требует месяцев обучения, миллиардов долларов и тысяч мегаватт энергии
