Ученые-когнитивисты долгое время пытались понять, что делает некоторые предложения более трудными для понимания, чем другие. Исследователи полагают, что любой отчет о понимании языка выиграл бы от понимания трудностей в понимании.

В последние годы исследователи успешно разработали две модели, объясняющие два существенных типа трудностей в понимании и составлении предложений. Хотя эти модели успешно предсказывают конкретные паттерны трудностей с пониманием, их предсказания ограничены и не полностью соответствуют результатам поведенческих экспериментов. Более того, до недавнего времени исследователи не могли объединить эти две модели в единое описание.

Новое исследование, проведенное учеными из отдела мозга и когнитивных наук Массачусетского технологического института (BCS), теперь дает такой унифицированный отчет о трудностях в понимании языка. Основываясь на последних достижениях в области машинного обучения, исследователи разработали модель, которая лучше предсказывает легкость или ее отсутствие, с которой люди создают и понимают предложения. Недавно они опубликовали свои выводы в журнале Proceedings of the National Academy of Sciences.

Старшими авторами статьи являются профессора BCS Роджер Леви и Эдвард (Тед) Гибсон. Ведущим автором является бывший приглашенный студент Леви и Гибсона Майкл Хан, ныне профессор Саарского университета. Второй автор - Ричард Футрелл, еще один бывший студент Леви и Гибсона, который сейчас является профессором Калифорнийского университета в Ирвине.

"Это не только расширенная версия существующих объяснений трудностей понимания, - говорит Гибсон. - Мы предлагаем новый базовый теоретический подход, который позволяет делать более точные прогнозы".

Исследователи опирались на две существующие модели, чтобы создать единый теоретический отчет о трудностях понимания. Каждая из этих старых моделей определяет отдельного виновника неудовлетворительного понимания: трудности с ожиданием и трудности с восстановлением памяти. Мы испытываем трудности в ожидании, когда предложение не позволяет нам легко предугадать его предстоящие слова. Мы испытываем трудности с восстановлением памяти, когда нам трудно отследить предложение со сложной структурой встроенных предложений, например: "Тот факт, что врач, которому адвокат не доверял, раздражал пациента, был неожиданным".

В 2020 году Футрелл впервые разработал теорию, объединяющую эти две модели. Он утверждал, что ограничения в памяти влияют не только на поиск в предложениях со встроенными предложениями, но и на все понимание языка; ограничения нашей памяти не позволяют нам идеально представлять контексты предложений во время понимания языка в более общем плане.

Таким образом, согласно этой унифицированной модели, ограничения памяти могут создать новый источник трудностей в ожидании. У нас могут возникнуть трудности с предвосхищением следующего слова в предложении, даже если это слово должно быть легко предсказуемо из контекста — в случае, если сам контекст предложения трудно удержать в памяти. Рассмотрим, например, предложение, начинающееся со слов "Боб выбросил мусор...", мы легко можем предугадать последнее слово — "вон". Но если контекст предложения, предшествующий последнему слову, более сложный, возникают трудности с ожиданием: "Боб выбросил старый мусор, который пролежал на кухне несколько дней [наружу]".

Исследователи количественно оценивают сложность понимания, измеряя время, необходимое читателям для ответа на различные задания на понимание. Чем больше время ответа, тем сложнее понимание данного предложения. Результаты предыдущих экспериментов показали, что унифицированный аккаунт Futrell лучше предсказывал трудности с пониманием читателями, чем две старые модели. Но его модель не определила, какие части предложения мы склонны забывать — и как именно этот сбой при извлечении из памяти затрудняет понимание.

Новое исследование Хана восполняет эти пробелы. В новой статье ученые-когнитивисты из Массачусетского технологического института присоединились к Футреллу, чтобы предложить дополненную модель, основанную на новой согласованной теоретической базе. Новая модель идентифицирует и исправляет недостающие элементы в единой учетной записи Futrell и предоставляет новые уточненные прогнозы, которые лучше соответствуют результатам эмпирических экспериментов.

Как и в оригинальной модели Футрелла, исследователи исходят из идеи, что наш разум из-за ограничений памяти не идеально представляет предложения, с которыми мы сталкиваемся. Но к этому они добавляют теоретический принцип когнитивной эффективности. Они предполагают, что разум склонен использовать свои ограниченные ресурсы памяти таким образом, чтобы оптимизировать свою способность точно предсказывать ввод новых слов в предложения.

Это понятие приводит к нескольким эмпирическим предсказаниям. Согласно одному из ключевых предсказаний, читатели компенсируют свои несовершенные представления в памяти, полагаясь на свои знания о статистических совпадениях слов, чтобы неявно реконструировать прочитанные предложения в уме. Предложения, содержащие более редкие слова и словосочетания, поэтому труднее запомнить в совершенстве, что затрудняет предвосхищение предстоящих слов. В результате такие предложения, как правило, более сложны для понимания.

Чтобы оценить, соответствует ли это предсказание нашему лингвистическому поведению, исследователи использовали GPT-2, инструмент искусственного интеллекта для изучения естественного языка, основанный на моделировании нейронных сетей. Этот инструмент машинного обучения, впервые обнародованный в 2019 году, позволил исследователям протестировать модель на крупномасштабных текстовых данных способом, который раньше был невозможен. Но мощная способность GPT-2 к языковому моделированию также создала проблему: в отличие от людей, безупречная память GPT-2 идеально представляет все слова даже в очень длинных и сложных текстах, которые он обрабатывает.

Чтобы более точно охарактеризовать понимание человеческого языка, исследователи добавили компонент, который имитирует человеческие ограничения на ресурсы памяти — как в оригинальной модели Футрелла — и использовали методы машинного обучения для оптимизации использования этих ресурсов — как в их новой предложенной модели. Полученная модель сохраняет способность GPT-2 точно предсказывать слова большую часть времени, но показывает человеческие сбои в случаях предложений с редкими сочетаниями слов и фраз.

"Это прекрасная иллюстрация того, как современные инструменты машинного обучения могут помочь развить когнитивную теорию и наше понимание того, как работает разум", - говорит Гибсон. "Мы не смогли бы провести это исследование здесь даже несколько лет назад".

Исследователи снабдили модель машинного обучения набором предложений со сложными встроенными предложениями, такими как: "Сообщение о том, что врач, которому адвокат не доверял, раздражал пациента, было неожиданным". Затем исследователи взяли эти предложения и заменили их вводные существительные — "отчет" в приведенном выше примере — другими существительными, каждое из которых имело свою собственную вероятность встречаться со следующим предложением или нет.

Некоторые существительные облегчали программе искусственного интеллекта "понимание" предложений, в которые они были вставлены. Например, модель смогла более точно предсказать, как заканчиваются эти предложения, когда они начинались с обычной фразы "Факт, что", чем когда они начинались с более редкой фразы "Отчет о том, что".

Затем исследователи решили подтвердить результаты, основанные на искусственном интеллекте, проведя эксперименты с участниками, которые читали похожие предложения. Время их реакции на задания на понимание было таким же, как и у предсказаний модели. "Когда предложения начинаются со слов "сообщить об этом", люди, как правило, запоминают предложение искаженным образом", - говорит Гибсон. Редкая формулировка еще больше ограничила их память и, как следствие, ограничила их понимание.

Эти результаты демонстрируют, что новая модель превосходит существующие модели в прогнозировании того, как люди обрабатывают язык.

Еще одним преимуществом, которое демонстрирует модель, является ее способность предлагать различные прогнозы в зависимости от языка. "Предыдущие модели могли объяснить, почему с определенными языковыми структурами, такими как предложения со встроенными предложениями, в целом может быть сложнее работать в рамках ограничений памяти, но наша новая модель может объяснить, почему одни и те же ограничения ведут себя по-разному в разных языках", - говорит Леви.

"Предложения со встроенными в центр предложениями, например, кажутся более легкими для носителей немецкого языка, чем для носителей английского, поскольку носители немецкого языка привыкли читать предложения, в которых придаточные предложения выдвигают глагол в конец предложения".

По словам Леви, необходимы дальнейшие исследования модели для выявления причин неточного представления предложений, отличных от встроенных предложений. "Есть и другие виды "путаницы", которые нам нужно проверить". Одновременно, добавляет Хан, "модель может предсказывать другие "путаницы", о которых никто даже не думал. Сейчас мы пытаемся найти их и посмотреть, влияют ли они на человеческое понимание, как было предсказано ".

Другой вопрос для будущих исследований заключается в том, приведет ли новая модель к переосмыслению длинной линии исследований, посвященных трудностям интеграции предложений: "Многие исследователи подчеркивали трудности, связанные с процессом, в ходе которого мы реконструируем языковые структуры в нашем сознании", - говорит Леви. "Новая модель, возможно, показывает, что трудность связана не с процессом ментальной реконструкции этих предложений, а с поддержанием ментального представления после того, как они уже построены. Большой вопрос заключается в том, являются ли это две разные вещи или нет".

Так или иначе, добавляет Гибсон, "такого рода работа знаменует будущее исследований по этим вопросам".