Як штучний інтелект навчає електромобілі слухати світ

«Автомобіль зі слухом» розпізнає звуки задля безпечнішого водіння. Штучний інтелект разом із мікрофонами допомагає транспортним засобам виявляти приховані небезпеки, які не видно оку

Автономні транспортні засоби вже оснащені «очима» — камерами, лідарами та радарами. Але чи можуть вони мати «вуха»? Саме над цим працюють дослідники з Ольденбурзького відділення слухових, мовних та аудіотехнологій Інституту цифрових медіатехнологій Фраунгофера в Німеччині, створюючи проєкт «Автомобіль зі слухом». Суть ідеї полягає в тому, аби обладнати транспортні засоби зовнішніми мікрофонами та штучним інтелектом, які б виявляли, локалізували та класифікували звуки навколишнього середовища. Це дозволить автомобілям реагувати на загрози, які залишаються поза полем зору. Наразі йдеться про наближення автомобілів екстрених служб, а в перспективі — про пішоходів, прокол шин чи відмову гальм

«Йдеться про те, щоб наділити автомобіль ще одним відчуттям, аби він міг сприймати акустичний світ навколо себе», — зазначає Моріц Брандес, керівник проєкту «Автомобіль зі слухом»

У березні 2025 року дослідники з Fraunhofer IDMT протестували прототип «Автомобіля зі слухом», проїхавши ним 1500 кілометрів з Ольденбурга до випробувального полігону на півночі Швеції. Брандес розповідає, що під час цієї поїздки систему випробовували в умовах бруду, снігу, сльоти, дорожньої солі та за мінусових температур

Як створити автомобіль, що вміє слухати? 

Команді довелося знайти відповіді на кілька ключових запитань: що станеться, якщо корпуси мікрофонів забрудняться чи вкриються інеєм? Як це вплине на локалізацію та класифікацію звуків? Тестування продемонструвало, що продуктивність системи погіршилася менше, ніж очікувалося, після очищення та сушіння модулів. Крім того, команда підтвердила, що мікрофони витримують процедуру миття автомобіля

Кожен зовнішній мікрофонний модуль (EMM) складається з трьох мікрофонів, розміщених у корпусі завширшки 15 сантиметрів. Вони встановлюються в задній частині автомобіля, де шум вітру є найнижчим, і захоплюють звук, оцифровують його, перетворюють на спектрограми та передають до нейронної мережі на основі регіонів (RCNN), яка навчена виявляти аудіоподії

Якщо RCNN класифікує аудіосигнал як сирену, результат перевіряється за допомогою камер автомобіля: чи є синє миготливе світло? Поєднання таких «сенсорів» підвищує надійність системи, зменшуючи ймовірність помилкових позитивних результатів. Локалізація аудіосигналів здійснюється за допомогою формування променя, хоча Фраунгофер не розголошує деталі цієї методики

Уся обробка даних відбувається безпосередньо на борту автомобіля, аби мінімізувати затримки. Це також «усуває занепокоєння щодо того, що трапиться в зонах з поганим інтернет-з’єднанням чи великою кількістю перешкод від радіочастотного шуму», — пояснює Брандес

За словами Брандеса, ранні тести системи «Автомобіль зі слухом» включають виявлення сирен на відстані до 400 метрів у тихих умовах при низькій швидкості. Цей показник, як він зазначає, скорочується до менш ніж 100 метрів на швидкості автомагістралі через вітер та шум дороги. Сповіщення активуються приблизно за 2 секунди — цього достатньо, аби водії чи автономні системи встигли відреагувати

Коріння концепції «Автомобіля зі слухом» сягає понад десятиліття 

«Ми працюємо над тим, щоб автомобілі могли чути, з 2014 року», — розповідає Брандес. Ранні експерименти були доволі скромними: виявлення цвяха в шині за ритмічним постукуванням по асфальту чи відкриття багажника за допомогою голосової команди

Через кілька років підтримка від постачальника першого рівня (компанії, яка постачає комплектні системи або основні компоненти, такі як трансмісії, гальмівні системи, акумулятори чи вдосконалені системи допомоги водієві (ADAS), безпосередньо виробникам автомобілів) перевела роботу на рівень автомобільного класу, до якої невдовзі приєднався великий автовиробник. Зі зростанням поширення електромобілів автовиробники почали усвідомлювати, чому «вуха» мають не меншу важливість, ніж «очі»

«Людина чує сирену та реагує — ще до того, як побачить, звідки лунає звук. Автономний транспортний засіб повинен робити те саме, якщо він прагне безпечно співіснувати з нами» — Еоін Кінг, звукова лабораторія університету Голуей

Брандес згадує один показовий момент: сидячи на випробувальній трасі всередині електромобіля, добре ізольованого від дорожнього шуму, він не чув аварійної сирени, доки автомобіль майже не наблизився до неї. «Це був момент великого прозріння, який продемонстрував, наскільки важливим стане «Автомобіль зі слухом» зі зростанням поширення електромобілів», — каже він

Еоін Кінг, професор машинобудування в Університеті Голуей в Ірландії, вважає перехід від фізики процесів до штучного інтелекту справжньою трансформацією

«Моя команда обрала дуже фізичний підхід», — каже він, згадуючи свою роботу в цій галузі досліджень у 2020 році в Університеті Гартфорда в Коннектикуті. «Ми розглядали напрямок прибуття — вимірюючи затримки між мікрофонами, щоб триангулювати місцезнаходження звуку. Це продемонструвало доцільність. Але сьогодні штучний інтелект може піти набагато далі. Машинне прослуховування справді змінює правила гри»

Майбутнє звуку в автономних транспортних засобах 

Незважаючи на прогрес, Кінг, який керує дослідженнями акустики, шуму та вібрації в Голуейській звуковій лабораторії, залишається обережним

«Через п’ять років я бачу це як нішеву сферу», — каже він. «Потрібен час, щоб технології стали стандартними. Попередження про виїзд зі смуги руху колись також були нішевими, але тепер вони всюди. Технології слуху досягнуть цього, але крок за кроком». Найближчим часом впровадження, ймовірно, відбудеться в преміальних автомобілях або автономних автопарках, а масове впровадження — пізніше

Кінг уявляє транспортні засоби з мультисенсорною свідомістю: камери та лідар для зору, мікрофони для слуху, можливо, навіть датчики вібрації для моніторингу дорожнього покриття. «Запах? Це вже буде занадто», — жартує він

Шведські дорожні випробування Фраунгофера показали, що довговічність не є великою перешкодою. Кінг вказує на ще одну проблемну область: хибні тривоги

«Якщо Ви навчите автомобіль зупинятися, коли він чує, як хтось кричить «допоможіть», що станеться, коли діти будуть так жартувати?» — запитує він. «Ми повинні ретельно протестувати ці системи, перш ніж випустити їх на дорогу. Це не побутова електроніка, де, якщо ChatGPT дасть Вам неправильну відповідь, Ви можете просто перефразувати запитання — на кону життя людей»

Вартість не є такою проблемою: мікрофони дешеві та міцні. Справжній виклик полягає в тому, щоб алгоритми могли розпізнавати галасливі міські звукові пейзажі, наповнені гудками, сміттєвозами та будівельними роботами

Фраунгофер зараз удосконалює алгоритми з ширшими наборами даних, включаючи сирени зі Сполучених Штатів, Німеччини та Данії. Тим часом лабораторія Кінга покращує виявлення звуку в приміщенні, які можна було б перепрофілювати для автомобілів

І Брандес, і Кінг погоджуються, що одного відчуття недостатньо. Камери, радар, лідар, а тепер і мікрофони, повинні працювати разом. «Автономні транспортні засоби, які покладаються лише на зір, обмежені лінією видимості», — каже Кінг. «Додавання акустики додає ще один рівень безпеки»