Инженеры разрабатывают систему для прогнозирования типов звуков, которые могут быть услышаны в определенных местах.
Представьте себя на прекрасном пляже. Вы, вероятно, представляете себе песок и море, но также слышите симфонию порывов ветра, грохота волн и карканья чаек. В этой сцене, а также в городских условиях, когда соседи разговаривают, лают собаки и свистят машины, звуки являются важнейшими компонентами общего ощущения места.
Действительно, звук является одним из фундаментальных чувств, которые помогают людям понимать окружающую среду, и было доказано, что звуковые условия окружающей среды тесно связаны с психическим и физическим здоровьем человека. Таким образом, надежные методы понимания звукового ландшафта в конкретной географической области ценны для различных приложений, начиная от коллективной политики в области городского планирования и борьбы с шумом и заканчивая индивидуальными решениями о том, где купить дом или открыть бизнес.
Натан Джейкобс, профессор информатики и инженерии, вместе с аспирантами Субашом Ханалом, Шрикумаром Састри и Аюшем Дхакалом, изучающими информатику и инженерное дело, в Инженерной школе МакКелви Вашингтонского университета в Сент-Луисе, разработали метод контрастирования с учетом географии. Предварительная подготовка языкового аудио (GeoCLAP) — новая система картографирования звукового ландшафта, которую можно применять в любой точке мира.
Они представили свою работу 22 ноября на Британской конференции по машинному зрению в Абердине, Великобритания. Статья также размещена на сервере препринтов arXiv.
Ключевое нововведение команды связано с использованием трех различных модальностей или типов данных в своей структуре, которая включает в себя аудио с геотегами, текстовое описание и изображения. В отличие от предыдущих методов картирования звукового ландшафта, которые фокусировались только на двух модальностях, более глубокое понимание GeoCLAP позволяет пользователям создавать вероятные звуковые ландшафты на основе текстовых или аудиозапросов для любого географического местоположения.
«Мы разработали простой и масштабируемый способ создания карты звукового ландшафта для любой географической области », — сказал Джейкобс. «Наш подход преодолевает ограничения предыдущих методов картографирования звукового ландшафта, которые основывались на правилах, часто упускали важные источники звука или полагались на прямые человеческие наблюдения, которые трудно получить в достаточных количествах вдали от популярных туристических направлений.
«Используя внутреннюю связь между звуком и локализованными визуальными сигналами , наш мультимодальный инструмент и свободно доступные изображения позволяют нам создавать карты звукового ландшафта для любой области мира».
Теги: ИИ
