Исследователи из Тюбингенского университета представили PlanT 2.0 — легковесный трансформер для планирования траекторий автономных автомобилей в симуляторе CARLA. Для решения сложных сценариев, введенных в CARLA Leaderboard 2.0, они внедрили множество улучшений в PlanT, достигнув state-of-the-art результатов на Longest6 v2, Bench2Drive и официальных валидационных маршрутах CARLA.
Главное отличие PlanT 2.0 от сенсорных моделей — объектно-ориентированное представление входных данных. Это позволяет легко манипулировать сценой: перемещать транспортные средства, добавлять пешеходов или изменять сигналы светофоров для контролируемого анализа поведения модели. Они расширили представление объектов, включив пять новых классов: пешеходов, статические объекты, машины экстренных служб, знаки Stop и светофоры.
Систематический анализ выявил критическую проблему: модель не формирует понимание окружения и роли статических препятствий, а заучивает шаблонные реакции на конкретные сценарии. Когда исследователи переместили строительное ограждение на противоположную полосу или правее от полосы движения, модель все равно реагировала так, будто препятствие находится на траектории. В отдельном эксперименте они обнаружили, что модель реагирует именно на конусы позади каждого строительного ограждения и полностью игнорирует главное предупреждение о дорожных работах. Отсутствие вариативности препятствий в CARLA позволяет модели заучивать нереалистичные шорткаты, которые не обобщаются на новые ситуации.
Вторая проблема — переобучение на фиксированный набор траекторий экспертной политики. Они варьировали дистанцию автомобиля до препятствия и анализировали предсказанные траектории: модель надежно работает на средних дистанциях, но не может скорректировать траекторию при слишком близком расположении, генерируя траектории, которые приводят к столкновениям. Датасет демонстрирует очень низкую вариативность в перестроениях, поскольку экспертная политика неизменно генерирует одинаковые траектории, а сценариев со сменой полосы ограниченное количество. В результате модель в первую очередь запоминает траектории, сгенерированные экспертом, и терпит неудачу, когда требуются альтернативные варианты перестроения.
Исследователи также обнаружили эксплуатируемый шорткат: модель использует собственный угол поворота как предиктивный сигнал о том, что дорога свободна для обгона препятствия. Они систематически поворачивали автомобиль в сценариях объезда препятствий со встречным трафиком: во всех четырех сценариях при значениях поворота около 10-15 градусов предсказанная скорость резко возрастает, сигнализируя об обычном движении. Это происходит потому, что эксперт PDM-Lite начинает поворот только когда дорога свободна, а датасет включает только корректно решенные примеры — модель заучивает всегда завершать маневр обгона после его начала, игнорируя потенциальный трафик. Основываясь на этих находках, авторы выступают за переход к data-centric разработке с фокусом на более богатые, робастные и менее смещенные датасеты.
Источник новости и обложки: arxiv.org