Профессор когнитивистики из UC San Diego Филип Го рассказал, как добавил функционал ИИ-чата в свой образовательный проект Python Tutor. За 15 лет существования этим бесплатным онлайн-инструментом для визуализации кода воспользовались десятки миллионов человек по всему миру.
Новая функция ИИ-репетитора позволяет студентам задавать вопросы о своем коде прямо в интерфейсе Python Tutor. ИИ анализирует не только сам код, но и текущее состояние его выполнения, включая стек вызовов и структуры данных. Это дает более точные ответы по сравнению с простым анализом текста кода в ChatGPT.
Для реализации проекта автор использовал облачный API-сервис OpenRouter и модель Llama* 3.3 70B. При ограничении в 1 запрос в минуту на пользователя, сервис обрабатывает около 2000 запросов в день, что обходится менее чем в 1 доллар.
Интересно, что изначально автор планировал развернуть локальную версию LLM на университетских серверах, используя более легкие модели Llama* 3.2 1B и 3B. Однако технические ограничения заставили перейти на облачное решение, что в итоге оказалось более эффективным как с точки зрения производительности, так и обслуживания.
*Компании и продукты, признанные экстремистскими и запрещены в РФ.
Источник новости и обложки: www.oreilly.com