Google анонсировала Coral NPU — полнофункциональную open-source платформу для создания энергоэффективных чипов искусственного интеллекта. Новая архитектура способна обеспечить производительность до 512 гигаопераций в секунду при потреблении всего нескольких милливатт, что делает возможным круглосуточную работу ИИ на смартфонах, наушниках и умных часах.
Основная проблема современных edge-устройств — выбор между универсальными процессорами и специализированными ускорителями. Первые предлагают гибкость, но неэффективны для задач машинного обучения. Вторые показывают высокую производительность в ИИ-задачах, но сложны в программировании. Coral NPU переворачивает традиционный подход к проектированию чипов, ставя матричный движок для ИИ в центр архитектуры вместо скалярных вычислений.
Техническая архитектура включает три основных компонента: легковесное RISC-V ядро для управления потоками данных, векторный блок SIMD для обработки больших массивов данных и специализированный матричный движок для нейросетевых операций. Платформа совместима с популярными фреймворками — TensorFlow, JAX и PyTorch, используя стандартные компиляторы IREE и TFLM.
Первым коммерческим партнером стала компания Synaptics, которая выпустила процессоры Astra SL2610 с NPU-подсистемой Torq на базе Coral NPU. Эти чипы уже поддерживают трансформерные модели и способны работать с малыми языковыми моделями типа Gemma прямо на носимых устройствах — что может стать первым случаем запуска LLM на умных часах или наушниках.
Источник новости и обложки: developers.googleblog.com