Anthropic представила концепцию context engineering — новый подход к работе с языковыми моделями, который приходит на смену классическому промт-инжинирингу. Если раньше разработчики фокусировались на поиске правильных слов и фраз для промптов, то теперь главный вопрос звучит иначе: какая конфигурация контекста с наибольшей вероятностью даст желаемое поведение модели? Context engineering — это искусство управления всем набором токенов, доступных модели во время инференса, включая системные инструкции, инструменты, внешние данные и историю сообщений.
Ключевая проблема больших языковых моделей — ограниченный «бюджет внимания». Исследования показали феномен context rot: с увеличением количества токенов в контекстном окне способность модели точно извлекать информацию снижается. Это связано с архитектурой трансформеров, где каждый токен взаимодействует с каждым другим, создавая n² парных связей для n токенов. При росте длины контекста способность модели улавливать эти связи размывается, создавая естественное противоречие между размером контекста и фокусом внимания.
Эффективный контекст требует минимального набора высокосигнальных токенов, которые максимизируют вероятность желаемого результата. Системные промпты должны использовать простой, прямой язык на правильной «высоте» — не слишком детализированный, но и не слишком расплывчатый. Anthropic рекомендует организовывать промпты в отдельные секции с XML-тегами или Markdown-заголовками, стремясь к минимальному набору информации, который полностью описывает ожидаемое поведение.
Команда Anthropic наблюдает переход от предварительного поиска контекста к стратегии «just in time». Вместо предварительной обработки всех релевантных данных агенты поддерживают легкие идентификаторы (пути к файлам, сохраненные запросы, веб-ссылки) и динамически загружают данные в контекст во время выполнения с помощью инструментов. Решение Claude Code использует этот подход для анализа больших баз данных — модель пишет целевые запросы и использует Bash-команды без загрузки полных объектов данных в контекст.
Для долгосрочных задач, где количество токенов превышает контекстное окно модели, Anthropic разработала три специализированные техники: компактификацию (сжатие истории разговора), структурированное ведение заметок (агентная память) и архитектуры с подагентами. В Claude Code компактификация сохраняет архитектурные решения и детали реализации, отбрасывая избыточные выводы инструментов. Агент, играющий в Pokémon, демонстрирует силу памяти — отслеживает прогресс на протяжении 1 234 шагов, запоминая уровни покемонов и боевые стратегии.
Context engineering представляет фундаментальный сдвиг в построении LLM-приложений. По мере улучшения моделей задача смещается от создания идеального промпта к продуманному курированию информации, поступающей в ограниченный бюджет внимания модели на каждом шаге. Более умные модели требуют менее предписывающего инжиниринга, позволяя агентам работать с большей автономией, но принцип остается неизменным: найти наименьший набор высокосигнальных токенов для максимизации вероятности желаемого результата.
Источник новости и обложки: www.anthropic.com