Новая совместная работа MBARI и других исследовательских институтов заключается в использовании возможностей искусственного интеллекта и машинного обучения для ускорения усилий по изучению океана.
Чтобы справиться с последствиями изменения климата и других угроз, исследователям срочно необходимо больше узнать об обитателях океана , экосистемах и процессах. Поскольку ученые и инженеры разрабатывают передовую робототехнику, которая может визуализировать морскую жизнь и окружающую среду для отслеживания изменений в состоянии океана, они сталкиваются с фундаментальной проблемой: сбор изображений, видео и других визуальных данных значительно превышает возможности исследователей для анализа.
FathomNet — это база данных изображений с открытым исходным кодом, в которой используются самые современные алгоритмы обработки данных, помогающие обрабатывать накопившиеся визуальные данные. Использование искусственного интеллекта и машинного обучения устранит узкое место для анализа подводных изображений и ускорит важные исследования здоровья океана.
«Большому океану нужны большие данные. Исследователи собирают большое количество визуальных данных, чтобы наблюдать за жизнью в океане. Как мы можем обрабатывать всю эту информацию без автоматизации? Машинное обучение открывает путь вперед, однако эти подходы основаны на массивных наборах данных для обучения. «FathomNet был создан, чтобы заполнить этот пробел», — сказал главный инженер MBARI Какани Катия.
Соучредители проекта Катия, Кэти Крофф Белл (Ocean Discovery League) и Бен Вудворд (CVision AI) вместе с членами расширенной команды FathomNet подробно описали разработку этой новой базы данных изображений в недавней исследовательской публикации в Scientific Reports .
Недавние достижения в области машинного обучения обеспечивают быстрый и сложный анализ визуальных данных, но использование искусственного интеллекта в исследованиях океана ограничено отсутствием стандартного набора существующих изображений, которые можно было бы использовать для обучения машин распознаванию и каталогизации подводных объектов. и жизнь. FathomNet удовлетворяет эту потребность, объединяя изображения из нескольких источников для создания общедоступной базы данных для обучения подводным изображениям.
«За последние пять лет машинное обучение произвело революцию в автоматизированном визуальном анализе, в основном за счет массивных коллекций размеченных данных. мы даже не начали прикасаться к возможностям машинного обучения для подводного визуального анализа», — сказал Бен Вудворд, соучредитель и генеральный директор CVision AI и соучредитель FathomNet.
«С FathomNet мы стремимся предоставить богатый и интересный эталон для вовлечения сообщества машинного обучения в новую область».
За последние 35 лет MBARI записал почти 28 000 часов глубоководных видео и собрал более 1 миллиона глубоководных изображений. Этот кладезь визуальных данных был подробно аннотирован специалистами-исследователями видеолаборатории MBARI. Видеоархив MBARI включает около 8,2 миллиона аннотаций, в которых записаны наблюдения за животными, местами обитания и объектами. Этот богатый набор данных является бесценным ресурсом для исследователей института и сотрудников по всему миру.
FathomNet включает часть набора данных MBARI, а также ресурсы National Geographic и NOAA.
Лаборатория исследовательских технологий Национального географического общества с 2010 года развертывает версии своей автономной бентической платформы Deep Sea Camera System, собирая более 1000 часов видеоданных из мест во всех океанских бассейнах и в различных морских средах обитания. Эти видеоролики впоследствии были загружены в облачную платформу совместного анализа CVision AI и прокомментированы профильными специалистами из Гавайского университета и OceansTurn.
Национальное управление океанических и атмосферных исследований (NOAA) Ocean Exploration начало собирать видеоданные с помощью двойной дистанционно управляемой транспортной системы на борту NOAA Ship Okeanos Explorer в 2010 году. Более 271 терабайт заархивирован и общедоступен из Национального центра информации об окружающей среде NOAA (NCEI). Первоначально NOAA Ocean Exploration собирала аннотации через участвовавших добровольцев ученых, а в 2015 году начала поддерживать экспертов-таксономистов для более тщательного аннотирования собранного видео.
«FathomNet — отличный пример того, как сотрудничество и общественная наука могут способствовать прорыву в том, как мы изучаем океан. Используя данные MBARI и других сотрудников в качестве основы, мы надеемся, что FathomNet может помочь ускорить исследования океана в то время, когда понимание океана важнее, чем когда-либо», — сказал Лонни Лундстен, старший научный сотрудник видеолаборатории MBARI, соавтор и член команды FathomNet.
В качестве веб-ресурса с открытым исходным кодом другие учреждения могут вносить свой вклад и использовать FathomNet вместо традиционных, ресурсоемких усилий по обработке и анализу визуальных данных. MBARI запустил пилотную программу по использованию моделей машинного обучения, обученных FathomNet, для аннотирования видео, снятого дистанционно управляемыми подводными аппаратами (ROV). Использование алгоритмов ИИ сократило усилия человека на 81 процент и увеличило скорость маркировки в десять раз.
Модели машинного обучения, обученные с использованием данных FathomNet, также могут совершить революцию в исследованиях и мониторинге океана. Например, оснащение роботизированных транспортных средств камерами и усовершенствованными алгоритмами машинного обучения может в конечном итоге обеспечить автоматический поиск и отслеживание морских животных и других подводных объектов.
«Четыре года назад мы планировали использовать машинное обучение для анализа тысяч часов океанского видео, но в то время это было невозможно в первую очередь из-за отсутствия аннотированных изображений. Теперь FathomNet воплотит это видение в реальность, открывая возможности для открытий и предоставляя инструменты, которые исследователи, ученые и общественность могут использовать для ускорения темпов открытия океана», — сказала Кэти Крофф Белл, основатель и президент Лиги океанических открытий и соучредитель FathomNet.
По состоянию на сентябрь 2022 года FathomNet содержал 84 454 изображения, представляющих 175 875 локализаций из 81 отдельной коллекции для 2243 концепций, при этом дополнительные дополнения продолжаются.
FathomNet стремится получить 1000 независимых наблюдений за более чем 200 000 видов животных в различных позах и условиях изображения — в конечном итоге более 200 миллионов общих наблюдений. Чтобы FathomNet достиг намеченных целей, потребуется активное участие сообщества, в том числе высококачественный вклад широкого круга групп и отдельных лиц, и широкое использование базы данных.
«Хотя FathomNet — это веб-платформа, основанная на API, где люди могут загружать помеченные данные для обучения новым алгоритмам, мы также хотим, чтобы она служила сообществом, в котором исследователи океана и энтузиасты с любым опытом могут поделиться своими знаниями и опытом и помочь решить проблемы, связанные с визуальными данными океана, которые невозможны без широкого участия», — сказала Катия.
Теги: ИИ, океан
