В то время как кричащие заголовки, рекламирующие силу шоколада, чтобы вылечить все, от прыщей до рака, безусловно, привлекают внимание, эти статьи могут быть не обычным явлением в научной коммуникации.
Крупномасштабное исследование Мичиганского университета неопределенности в научных коммуникациях показывает, что журналисты склонны умерять, а не преувеличивать научные заявления.
Новое исследование, проведенное учеными UM School of Information Джиаксин Пей и Дэвидом Юргенсом, изучило, как научная неопределенность передается в новостных статьях, и проверило, преувеличены ли научные утверждения. Они также хотели увидеть, как научные заявления в новостях могут отличаться между уважаемыми, рецензируемыми журналами и менее строгими публикациями.
«Я чувствую, что когда мы говорим о том, что журналисты могут преувеличивать заявления, это всегда крайние случаи», — сказал Юргенс, доцент кафедры информации. «Мы хотели посмотреть, есть ли разница, когда мы сопоставили то, что сказал ученый, и то, что сказал журналист для одной и той же статьи».
В целом, Пей и Юргенс обнаружили положительные новости о научном общении.
«Наши результаты показывают, что журналисты на самом деле довольно осторожны, когда сообщают о науке», — сказал Пей, добавив, что во всяком случае некоторые коммуникаторы — не журналисты — снижают достоверность научных утверждений.
«У журналистов тяжелая работа», — сказал Юргенс, который признает, что для того, чтобы донести научные результаты до широкой аудитории, требуется мастерство. «Приятно видеть, что журналисты действительно пытаются контекстуализировать и корректировать научные выводы в более широком контексте».
В своем исследовании исследователи рассмотрели уверенность, которую можно выразить тонкими способами.
«Есть много слов, которые покажут, насколько вы уверены в себе», — сказал Юргенс. «Это спектр».
Например, добавление таких слов, как «предполагать», «приблизительно» или «может быть», увеличивает неопределенность, тогда как использование точного числа в измерениях указывает на большую уверенность.
Пей и Юргенс получили данные новостей от Altmetrics, компании, которая отслеживает упоминания научных статей в новостях. Они собрали около 129 000 новостей, в которых упоминались конкретные научные статьи для анализа.
В каждой новости и научной статье они анализировали все предложения, содержащие слова открытия, такие как «найти» или «заключить», чтобы увидеть, как журналисты и ученые излагают утверждения статьи. Группа аннотаторов просмотрела научные статьи и новостные статьи, отметив уровни достоверности более чем 1500 научных открытий.
«Мы взяли абстрактные утверждения и попытались сопоставить их с заявлениями, найденными в новостях», — сказал Юргенс. «Поэтому мы сказали: «Хорошо, вот два разных человека — ученые и журналисты — пытаются описать одно и то же, но для двух разных аудиторий. Что мы видим с точки зрения определенности?»
Затем исследователи построили компьютерную модель, чтобы посмотреть, смогут ли они воспроизвести уровни достоверности, указанные читателями-людьми. Их модель сильно коррелировала с человеческими оценками достоверности утверждения.
«Производительность модели достаточно хороша для крупномасштабного анализа, но не идеальна», — сказал Пей, докторант UMSI и первый автор статьи, который объяснил, что существует разрыв между человеческими суждениями и машинными прогнозами, в основном из-за субъективности. .
«При выявлении неопределенности в тексте восприятие людей может различаться, что очень затрудняет сравнение предсказаний модели и человеческих суждений. Иногда люди могут во многом не соглашаться».
Пей говорит, что перевод исследований может стать более туманным, когда речь идет о качестве журнала или о том, что исследователи называют импакт-факторами журнала. Некоторые авторы научных новостей сообщают об одинаковом уровне достоверности новостей, независимо от того, где опубликовано оригинальное исследование.
«Это может быть проблематично, учитывая, что импакт-фактор журнала является важным показателем качества исследований», — сказал он. «Если журналисты сообщают об исследованиях, опубликованных в Nature или Science , а также в некоторых неизвестных журналах с одинаковой степенью достоверности, аудитории может быть непонятно, какой вывод заслуживает большего доверия».
В целом исследователи рассматривают эту работу как важный шаг к лучшему пониманию неопределенности в научных новостях. Они создали пакет программного обеспечения для ученых и журналистов для расчета неопределенности в исследованиях и репортажах.
Хотя журналисты могут получить пользу от достоверной проверки своей работы, Юргенс говорит, что этот инструмент может быть полезен и читателям.
«Легко разочароваться в неопределенности, — сказал он. «Я думаю, что предоставление такого инструмента может в некоторой степени оказать успокаивающее действие. Эта работа не является волшебной палочкой, но я думаю, что этот инструмент может сыграть роль в целостном понимании для читателей».
Работа была опубликована в материалах конференции 2021 года по эмпирическим методам обработки естественного языка.
