In-sensor computing: роботы видят в 230 раз быстрее

Синаптические фотодетекторы сжимают изображение 5×5 пикселей в 5 выходных значений через резервуарные вычисления. Это снижает нагрузку на ИИ-модели и ускоряет передачу данных. Нейронные сенсоры генерируют спайки со скоростью 0.04 мс против 9.23 мс у базового метода — разница в 230 раз.

Традиционные роботы захватывают сырые кадры, которые проходят шумоподавление, балансировку белого, извлечение контуров — десятки этапов препроцессинга перед подачей в ИИ. Это увеличивает задержку и энергопотребление. In-sensor computing решает проблему: синапсы, нейроны и иерархические сети обрабатывают данные прямо в сенсоре.

Схематическая иллюстрация традиционных роботов, работающих по заранее заданным инструкциям в структурированных средах: промышленные роботы, выполняющие повторяющиеся задачи низкого уровня (i), домашние роботы, помогающие в простых бытовых делах (ii), и медицинские роботы, служащие инструментами для операций под контролем человека (iii). b Схематическая иллюстрация AI-нативных роботов, обладающих подобной человеку автономностью для работы в неструктурированных средах: промышленные роботы, способные к контекстно-зависимой интерпретации и адаптивному выполнению задач (i), домашние роботы, распознающие намерения пользователя и автономно выполняющие домашние задачи (ii), и медицинские роботы, способные к оценке состояния пациента, диагностике и проведению операций в реальном времени с минимальным вмешательством человека (iii). c. Процессы обработки изображений и данных в традиционных системах машинного зрения роботов, где исходные изображения, захваченные сенсорами, проходят несколько этапов предварительной обработки перед передачей на внешние высокопроизводительные процессоры для выполнения AI-выводов. d. Оптимизированный процесс обработки изображений и данных в AI-нативных системах машинного зрения роботов, где синаптические, нейронные и иерархические системы зрения генерируют оптимизированные для AI данные, пригодные для выполнения AI-выводов.

Синаптические сенсоры накапливают фототок пропорционально дозе света — произведению интенсивности на длительность экспозиции. Это фильтрует шум: случайные всплески дают слабый сигнал, а повторяющиеся паттерны усиливаются. Один сенсор отсек субпороговые выбросы, подняв точность ResNet-50 с 50% до 86%.

Нейронные сенсоры кодируют свет в спайки — дискретные импульсы, совместимые со спайковыми нейросетями. Event-driven камеры генерируют спайки только при изменении яркости пикселя, игнорируя статичный фон. Это снижает объем данных и позволяет детектить движение с низкой задержкой. Один MIS-сенсор генерирует спайки при включении и выключении света благодаря емкостной структуре — без сложных аналоговых схем.

Источник новости и обложки: www.nature.com

Сенсоры научились думать: роботы видят в 230 раз быстрее