Исследователи из Johns Hopkins University показали, что AI-системы с биологически вдохновленной архитектурой имитируют активность человеческого мозга до обучения на данных. Результаты опубликованы в Nature Machine Intelligence. Работа ставит под сомнение традиционный подход к построению AI, который требует месяцев обучения, миллиардов долларов и тысяч мегаватт энергии.
Ведущий автор Mick Bonner, профессор когнитивных наук в Johns Hopkins, отмечает, что современный подход требует ресурсов размером с небольшой город и сотен миллиардов долларов. При этом люди учатся видеть на очень малом объеме данных. Эволюция могла прийти к такому дизайну не случайно, и мозгоподобные архитектуры ставят AI в выгодную стартовую позицию.
Команда сфокусировалась на трех классах архитектур: трансформеры, полносвязные сети и сверточные сети. Ученые многократно модифицировали эти архитектуры, создавая десятки уникальных нейросетей. Новые необученные сети подвергались воздействию изображений объектов, людей и животных, после чего их отклики сравнивались с активностью мозга людей и приматов при просмотре тех же изображений.
При модификации трансформеров и полносвязных сетей путем увеличения количества искусственных нейронов изменений почти не наблюдалось. Однако аналогичные модификации сверточных сетей позволили генерировать паттерны активности, которые лучше имитировали паттерны человеческого мозга. Необученные сверточные сети сравнимы с традиционными AI-системами, которые обучаются на миллионах или миллиардах изображений.
По словам Bonner, если бы обучение на массивных данных было ключевым фактором, то невозможно было бы достичь мозгоподобных систем только через модификации архитектуры. Это означает, что правильная архитектура и биологические инсайты могут ускорить обучение AI-систем. Исследователи работают над разработкой простых алгоритмов обучения, смоделированных по биологии, для нового фреймворка глубокого обучения.
Источник новости и обложки: techxplore.com