Исследователи предложили рассматривать прунинг нейросетей как стратегическую игру между группами параметров. Каждая группа параметров — вес, нейрон или фильтр — выбирает уровень участия в сети, балансируя вклад против избыточности и конкуренции. Разреженность возникает естественным образом, когда продолжение участия становится доминируемой стратегией в равновесии.
Большинство существующих методов прунинга рассматривают разреженность как внешнее ограничение, применяемое через эвристические оценки важности или регуляризацию во время обучения. Эти методы неявно предполагают, что разреженность должна быть навязана сети извне. Параметры оцениваются, ранжируются и удаляются по внешнему критерию, обычно основанному на величине, градиентах или динамике обучения.
Авторы моделируют группы параметров как игроков в игре, чьи стратегии определяют уровень их участия в сети. Каждый игрок получает выигрыш, который балансирует вклад в целевую функцию обучения против стоимости избыточности и конкуренции с другими игроками. Прунинг возникает естественным образом, когда оптимальная стратегия игрока схлопывается к нулю в равновесии, указывая на то, что продолжение участия больше не выгодно.
Эксперименты на MNIST показали, что конфигурация L1+L2 Combined сохраняет менее 2% нейронов при точности более 91%. Финальные распределения участия демонстрируют бимодальную структуру с концентрацией значений около нуля или около единицы. Эта бимодальность указывает на то, что динамика равновесия приводит к почти бинарным решениям, несмотря на непрерывное пространство стратегий.
Источник новости и обложки: arxiv.org