Разработчик Бинь Фам создал необычный проект — он превратил Raspberry Pi Zero в USB-накопитель с локальной языковой моделью (LLM). Устройство работает автономно благодаря связке llama.cpp и llamafile, но из-за ограничений железа — всего 512 МБ оперативной памяти — пришлось серьезно повозиться с оптимизацией.
Главная проблема возникла из-за устаревшего процессора ARMv6. Автору пришлось переписать часть кода llama.cpp, изначально рассчитанного на ARMv8, убрав все оптимизации для современного железа. После этого он создал систему, генерирующую текст на основе простых текстовых промтов.
В тестах самая компактная модель Tiny15M показала скорость 223 мс на токен. Более сложные модели оказались заметно медленнее: Lamini-T5-Flan-77M работает со скоростью 2.5 секунды на токен, а SmolLM2-136M — 2.2 секунды.
Хотя проект и выглядит интересным, такая скорость делает его непрактичным для реального использования. Для серьезной работы с LLM лучше обратить внимание на более мощные решения, например, запуск Deepseek на Raspberry Pi 5.
Источник новости и обложки: www.tomshardware.com