Инженеры объединили нейроморфные чипы Loihi2 и кластер NVIDIA DGX A100, научив гуманоида Ameca играть на терменвоксе в дуэте с человеком. Это первый случай деплоя риал-тайм зрения на такой системе: трекинг рук выполняется через DVS-камеру с задержкой всего 220 мкс. Событийная камера фиксирует изменения яркости асинхронно, что позволяет алгоритмам на чипе Loihi2 мгновенно реагировать на движения.
Классическая архитектура фон Неймана страдает от боттлнека при передаче данных между памятью и процессором, что критично для социальной робототехники. Обычно мощные GPU обеспечивают интеллект, но потребляют киловатты, тогда как роботам нужна мгновенная реакция с минимальным энергопотреблением. Для решения этой проблемы использована гетерогенная платформа, разделяющая задачи восприятия и когнитивного планирования.
В основе системы лежит когнитивная модель Spaun 2.0 на 6.5 млн нейронов, развернутая на 7 GPU A100 для управления состояниями и памятью. Параллельно нейроморфный чип Loihi2 обрабатывает спайки с сенсоров для управления руками робота. Для общения с пользователем задействован пайплайн из модели распознавания речи Whisper и LLM LLaMA* с 13 млрд параметров.
Расчеты показывают, что миграция модели Spaun на чипы SpiNNaker2 позволит снизить энергопотребление в 5.4–13.5 раз по сравнению с текущим GPU-сетапом. Дополнительно внедрена система прямого жидкостного охлаждения, которая утилизирует тепло и снижает затраты энергии на 70% относительно воздушного охлаждения. Такой подход открывает путь к созданию энергоэффективных когнитивных городов, где роботы и инфраструктура говорят на одном языке событийных протоколов.
*Компании и продукты, признанные экстремистскими и запрещены в РФ.
Источник новости и обложки: arxiv.org