Как искусственный интеллект учит электромобили слушать мир

«Автомобиль со слухом» распознает звуки для более безопасного вождения. Искусственный интеллект вместе с микрофонами помогает транспортным средствам обнаруживать скрытые опасности, которые не видны глазу

Автономные транспортные средства уже оснащены глазами — камерами, лидерами и радарами. Но могут ли они иметь уши? Именно над этим работают исследователи Ольденбургского отделения слуховых, языковых и аудиотехнологий Института цифровых медиатехнологий Фраунгофера в Германии, создавая проект «Автомобиль со слухом». Суть идеи состоит в том, чтобы оборудовать транспортные средства внешними микрофонами и искусственным интеллектом, которые обнаруживали, локализовали и классифицировали звуки окружающей среды. Это позволит автомобилям реагировать на остающиеся вне поля зрения угрозы. Речь идет о приближении автомобилей экстренных служб, а в перспективе — о пешеходах, проколе шин или отказе тормозов

“Речь идет о том, чтобы наделить автомобиль еще одним ощущением, чтобы он мог воспринимать акустический мир вокруг себя”, – отмечает Мориц Брандес, руководитель проекта “Автомобиль со слухом”

В марте 2025 года исследователи из Fraunhofer IDMT протестировали прототип «Автомобиля со слухом», проехав им 1500 километров из Ольденбурга до испытательного полигона на севере Швеции. Брандес рассказывает, что во время этой поездки систему испытывали в условиях грязи, снега, слякоти, дорожной соли и при минусовых температурах

Как создать автомобиль, умеющий слушать?

Команде пришлось найти ответы на несколько ключевых вопросов: что произойдет, если корпуса микрофонов запачкаются или покроются инеем? Как это отразится на локализации и классификации звуков? Тестирование показало, что производительность системы ухудшилась меньше, чем ожидалось, после очистки и сушки модулей. Кроме того, команда подтвердила, что микрофоны выдерживают процедуру мойки автомобиля

Каждый внешний микрофонный модуль (EMM) состоит из трех микрофонов, расположенных в корпусе шириной 15 сантиметров. Они устанавливаются в задней части автомобиля, где шум ветра самый низкий, и захватывают звук, оцифровывают его, превращают в спектрограммы и передают в нейронную сеть на основе регионов (RCNN), которая научена обнаруживать аудиособытия

Если RCNN классифицирует аудиосигнал как сирену, результат проверяется с помощью камер автомобиля: есть ли синий мигающий свет? Сочетание таких “сенсоров” повышает надежность системы, уменьшая вероятность ошибочных положительных результатов. Локализация аудиосигналов осуществляется посредством формирования луча, хотя Фраунгофер не разглашает детали этой методики

Вся обработка данных производится непосредственно на борту автомобиля, чтобы минимизировать задержки. Это также «устраняет обеспокоенность по поводу того, что произойдет в зонах с плохим интернет-соединением или большим количеством помех от радиочастотного шума», — объясняет Брандес

По словам Брандеса, ранние тесты системы “Автомобиль со слухом” включают обнаружение сирен на расстоянии до 400 метров в тихих условиях при низкой скорости. Этот показатель, как он отмечает, сокращается до менее 100 метров на скорости автомагистрали из-за ветра и шума дороги. Уведомления активируются примерно через 2 секунды — этого достаточно, чтобы водители или автономные системы успели отреагировать

Корни концепции «Автомобиля со слухом» уходят более десяти лет

«Мы работаем над тем, чтобы автомобили могли слышать с 2014 года», — рассказывает Брандес. Ранние эксперименты были довольно скромными: обнаружение гвоздя в шине по ритмичному постукиванию по асфальту или открытие багажника с помощью голосовой команды

Через несколько лет поддержка от поставщика первого уровня (компании, поставляющей комплектные системы или основные компоненты, такие как трансмиссии, тормозные системы, аккумуляторы или усовершенствованные системы помощи водителю (ADAS), непосредственно производителям автомобилей), перевела работу на уровень автомобильного класса, к которой вскоре присоединился крупный автопроизводитель. С ростом распространения электромобилей автопроизводители стали осознавать, почему уши имеют не меньшую важность, чем глаза

«Человек слышит сирену и реагирует — еще до того, как увидит, откуда звучит звук. Автономное транспортное средство должно делать то же, если оно стремится безопасно сосуществовать с нами» — Эоин Кинг, звуковая лаборатория университета Голуэй

Брандес вспоминает один показательный момент: сидя на испытательной трассе внутри электромобиля, хорошо изолированного от дорожного шума, он не слышал аварийной сирены, пока автомобиль почти не приблизился к ней. “Это был момент большого прозрения, который продемонстрировал, насколько важным станет “Автомобиль со слухом” с ростом распространения электромобилей”, – говорит он

Эоин Кинг, профессор машиностроения в Университете Голуэй в Ирландии, считает переход от физики процессов к искусственному интеллекту настоящей трансформацией

“Моя команда выбрала очень физический подход”, – говорит он, вспоминая свою работу в этой области исследований в 2020 году в Университете Гартфорда в Коннектикуте. «Мы рассматривали направление прибытия – измеряя задержки между микрофонами, чтобы триангулировать местонахождение звука. Это показало целесообразность. Но сегодня искусственный интеллект может пойти гораздо дальше. Машинное прослушивание действительно меняет правила игры»

Будущее звука в автономных транспортных средствах

Несмотря на прогресс, Кинг, руководящий исследованиями акустики, шума и вибрации в Голуэйской звуковой лаборатории, остается осторожным

“Через пять лет я вижу это как нишевую сферу”, – говорит он. «Нужно время, чтобы технологии стали стандартными. Предупреждения о выезде из полосы движения когда-то тоже были нишевыми, но теперь они повсюду. Технологии слуха достигнут этого, но шаг за шагом». В ближайшее время внедрение, вероятно, состоится в премиальных автомобилях или автономных автопарках, а массовое внедрение – позже

Кинг представляет транспортные средства с мультисенсорным сознанием: камеры и лидер для зрения, микрофоны для слуха, возможно даже датчики вибрации для мониторинга дорожного покрытия. «Запах? Это уже будет слишком», — шутит он

Шведские дорожные испытания Фраунгофера показали, что долговечность не является большим препятствием. Кинг указывает на еще одну проблемную область: ложные тревоги

«Если Вы научите автомобиль останавливаться, когда он слышит, как кто-то кричит «помогите», что произойдет, когда дети будут так шутить?» – спрашивает он. «Мы должны усердно протестовать эти системы, прежде чем выпустить их на дорогу. Это не бытовая электроника, где, если ChatGPT даст вам неправильный ответ, вы можете просто перефразировать вопросы — на кону жизни людей»

Стоимость не такая проблема: микрофоны дешевые и прочные. Настоящий вызов состоит в том, чтобы алгоритмы могли распознавать шумные городские звуковые пейзажи, наполненные гудками, мусоровозами и строительными работами

Фраунгофер сейчас усовершенствует алгоритмы с более широкими наборами данных, включая сирены из Соединенных Штатов, Германии и Дании. Тем временем лаборатория Кинга улучшает обнаружение звука в помещении, которое можно было бы перепрофилировать для автомобилей

И Брандес, и Кинг соглашаются, что одного ощущения недостаточно. Камеры, радар, лидер, а теперь и микрофоны должны работать вместе. “Автономные транспортные средства, которые полагаются только на зрение, ограничены линией видимости”, – говорит Кинг. «Добавление акустики добавляет еще один уровень безопасности»