Российские исследователи изобрели новый способ управления автономным транспортом с применением сквозного обучения нейронных сетей и получили на него евразийский патент. Разработка позволяет автомобилю напрямую, без сложной ручной обработки, интерпретировать данные с камер и лидаров, прогнозировать траекторию и выдавать команды для движения. Это станет основой для более безопасных, надежных и самостоятельных автономных систем, способных работать в сложных погодных и дорожных условиях, минимизируя риски, связанные с человеческим фактором. Об этом CNews сообщили представители унеиверситета «Иннополис».

Изобретение решает ключевую проблему создания точных и производительных систем для автономного транспорта. По словам разработчиков, традиционные подходы часто требуют раздельной обработки сигналов от разных датчиков и сложной ручной настройки алгоритмов. Предложенный в университете «Иннополис» метод основан на сквозном обучении. Эксперты обучили нейронную сеть TransFuser на входных сигналах — необработанных пикселях изображений с камер и точках облака данных с лидара, которые, выявляя сложные паттерны в данных, сразу генерируют управляющие команды: продолжать движение, объехать препятствие, повернуть или остановиться.

Архитектура модели TransFuser состоит из двух частей, имитирующих процесс принятия решений водителем: сети синтеза и прогнозирования. Сеть синтеза на основе трансформера выступает в роли «мозга», отвечающего за восприятие окружающей обстановки. Она разделена на две параллельные ветви, обрабатывающие информацию разного типа: ветвь изображения анализирует картинку с камеры при помощи серии сверточных кодировщиков, извлекая визуальные признаки и мелкие детали, а ветвь вида с высоты птичьего полета обрабатывает облако точек с лидара. Это дает системе точное геометрическое и пространственное понимание трехмерной структуры окружающего мира: расположение препятствий, рельефа, дистанции между объектами.

Модуль трансформера выполняет ключевую операцию — совместно обрабатывает и синтезирует информацию от обеих ветвей. Его ядро вычисляет значимость каждого элемента данных относительно других. Например, система может определить, что светофор на изображении соответствует конкретному участку в 3D-пространстве и оценить приоритет этой информации для управления автомобилем.

Сеть прогнозирования пути получает обогащенные и объединенные признаки от трансформера и прогнозирует оптимальную траекторию движения беспилотного автомобиля на несколько шагов вперед. Эти данные затем поступают на стандартные пропорционально-интегрально-дифференцирующие регуляторы, которые непосредственно управляют рулевым механизмом, ускорением и торможением транспортного средства.

Бадер Рашид, старший научный сотрудник Лаборатории инновационных технологий обработки видеоконтента университета «Иннополис»: «Для повышения надежности и способности модели к обобщению в процесс обучения нейросетей мы включили четыре вспомогательные задачи: оценку глубины по 2D-изображению, семантическую сегментацию сцены, построение детальной HD-карты дороги и детекцию 3D-объектов с помощью ограничивающих параллелепипедов. Это позволило ИИ сформировать более целостное и устойчивое представление об окружающей среде».

Эффективность архитектуры изобретения подтверждена в нескольких средах. Первичное обучение и тестирование проводились в реалистичном симуляторе городского движения CARLA. Для оценки способности модели работать с реальными данными специалисты использовали признанный мировой эталон — открытый набор данных KITTI Vision, содержащий синхронизированные записи с камер и лидаров реального автомобиля.

Мостафа Хегази, ассистент Лаборатории интеллектуальных робототехнических систем университета «Иннополис»: «Важно, что гибкость подхода позволила адаптировать наш метод и для других типов беспилотных транспортных средств. Наша команда успешно перенесла и протестировала модель на данных, полученных c беспилотных судов, что демонстрирует универсальность предложенной архитектуры для различных сред передвижения».

Короткая ссылка