Исследователи OpenAI представили результаты применения языковых моделей в соревновательном программировании. Модель o3 достигла рейтинга 2724 на платформе CodeForces, что соответствует 99.8 перцентилю среди всех участников, значительно превзойдя предыдущую версию o1-ioi с рейтингом 2214.
На Международной олимпиаде по информатике (IOI) 2024 года модель o3 набрала 395.64 балла, превысив порог золотой медали в 360 баллов. При этом более ранняя версия o1-ioi с применением специальных стратегий смогла набрать только 362.14 балла.”
Вжное достижение — модель o3 показала высокие результаты без использования специализированных стратегий тестирования, которые требовались предыдущим версиям. На реальных задачах разработки ПО в тесте SWE-bench verified модель достигла точности в 71.7%, улучшив результат предшественника o1 на 22.8%.
Исследование демонстрирует, что масштабирование обучения с подкреплением более эффективно, чем разработка узкоспециализированных решений. Модель o3 достигла уровня элитных программистов, решая как олимпиадные задачи, так и практические задачи разработки.
Источник новости и обложки: arxiv.org