Языковые модели не способны отследить перечитывание текста человеком: вероятностный показатель провалил тест на синтаксический анали?
Масштабное исследование с участием 368 читателей и 409 нейросетевых оценок показало, что генерация следующего токена не отражает работу мозга при исправлении ошибок в сложных предложениях
Учёные из Нью-Йоркского университета (New York University) и Университета Массачусетса в Амхерсте (University of Massachusetts Amherst) установили, что популярная метрика вероятности следующего токена в языковых нейросетях не способна отразить то, как человеческий мозг справляется с ошибками понимания при чтении. В исследовании, опубликованном в журнале Национальной академии наук США (Proceedings of the National Academy of Sciences, PNAS), сравнили движения глаз 368 взрослых читателей с 409 оценками вероятности слов, полученными от различных языковых моделей.
Эксперимент показал, что простой принцип предсказания следующего слова описывает только первичное беглое чтение, но полностью упускает процессы синтаксического переанализа и возвратные движения глаз, которые совершает человек при столкновении со сложными фразами.
Для проверки когнитивной точности нейросетей исследователи использовали метод айтрекинга (eye-tracking, отслеживание движения глаз) и разделили процесс чтения на 4 отслеживаемых параметра: время первого прямого прохода по слову, факт совершения регрессии (возвратного движения взгляда к ранее прочитанным словам), время до совершения регрессии и суммарное время повторного чтения.
Участникам предлагалось читать контролируемые предложения с синтаксической неоднозначностью — предложения «гарден-пат» (garden-path — фразу, где начальная структура сбивает читателя с толку и заставляет переосмыслить смысл ближе к концу). Во всех протестированных семействах моделей математический показатель «сюрпризал» (surprisal — мера того, насколько слово неожиданно для алгоритма на основе предыдущего текста) хорошо совпал с замедлением читателя при первом проходе, но сильно недооценил временные затраты на повторный разбор структуры.
Изображение сгенерировано: Nano Banana
Результаты эксперимента подтверждают многостадийную гипотезу человеческого чтения. Предсказание следующего слова помогает объяснить распознавание знакомых понятий и быструю интеграцию смыслов при простом тексте, но оказывается неприменимо для описания механизмов обнаружения ошибок и реструктуризации предложения. Когда первоначальная интерпретация текста рушится, человек осознанно возвращает взгляд к конкретным ключевым словам для исправления логики, тогда как «статистический сюрпризал» нейросетей оценивает лишь линейную вероятность токенов без построения и пересчёта иерархических грамматических связей.
Авторы подчёркивают, что работа не ставит целью обесценить языковые модели как инструмент, но указывает на чёткие границы их применения в когнитивных науках. Вероятность следующего токена больше нельзя использовать как единственный и полный эквивалент сложности текста для человеческого восприятия.
Для разработчиков, создающих системы оценки понятности интерфейсов или вспомогательные инструменты для людей с нарушениями чтения, использование классической авторегрессионной вероятности недостаточно. Будущие сервисы оценки сложности текста должны включать явные механизмы структурного анализа, регистрации и подсчёта ошибок и «синтаксического ремонта».