Что означает «читать» и «писать» для системы, у которой нет мозга? Новое исследование, опубликованное на arXiv исследователем Диего Сальданья Ульоа, относится к этому вопросу всерьёз — и результаты показывают нечто по‑настоящему поразительное о том, как большие языковые модели обрабатывают чтение и письмо по сравнению с человеческим разумом.
Summary
Ключевые выводы
- В человеческом мозге чтение и письмо — это двойственно диссоциируемые системы, работающие через различные нейронные пути; повреждение одной не обязательно нарушает другую.
- LLM-декодеры, такие как GPT-2, OPT и Pythia, обрабатывают и ввод, и вывод через один авторегрессионный путь, переплетая то, что мозг держит раздельно.
- Индекс переплетения E между 0,23 и 0,35 показывает, что у несвязанных моделей коды чтения и письма частично совпадают, но не полностью.
- Выходные коды смещаются примерно в 3,2 раза сильнее, чем входные, по децилям частоты слов, что указывает на асимметричную специализацию внутри общего механизма.
- Поведенческая связь между пониманием и порождением статистически значима во всех 12 недегенеративных протестированных моделях (p < 0,001), что является прямой противоположностью паттерна в мозге.
Раздельные нейронные системы чтения и письма в человеческом мозге
В грамотном человеческом мозге чтение и письмо не используют одну и ту же нейронную «машину». Они функционируют как двойственно диссоциируемые системы, то есть каждая из них может быть избирательно нарушена без затрагивания другой. Пациент с чистой алексией теряет способность читать, при этом письмо остаётся сохранным; пациент с чистой аграфией теряет письмо, но сохраняет чтение. Эти клинические синдромы соответствуют двум различимым нейронным маршрутам: вентральному маршруту декодирования для чтения и фронто-париетальному маршруту кодирования для письма. Две системы разделяют лишь частичное орфографическое ядро.
Эта диссоциация — не курьёз неврологии. Она отражает архитектуру, сформированную эволюцией и развитием, когда различные когнитивные требования «выточили» различные нейронные решения. Чтение, в конце концов, — культурно изобретённый навык: люди практикуют его всего несколько тысяч лет, — но мозг частично приспособил и переиспользовал уже существующие цепи, чтобы обслуживать его.
Единый механизм чтения и письма в больших языковых моделях
LLM подходят к задаче принципиально иначе. Там, где мозг разделяет, большая языковая модель-декодер объединяет. Модели вроде GPT-2, OPT и Pythia осуществляют и обработку входа, и генерацию выхода через один авторегрессионный прямой проход. Архитектурного аналога вентрального маршрута чтения или фронто-париетального маршрута письма нет — есть только один путь, оптимизируемый от начала до конца на огромных массивах текста.
Измерение переплетения с помощью индекса E
Чтобы количественно оценить, насколько этот общий путь переплетает чтение и письмо, Сальданья Ульоа разработал индекс переплетения E в диапазоне от 0 (полностью независимые коды) до 1 (полностью связанные). Индекс сравнивает код чтения на стороне входа с кодом письма на стороне выхода, используя три геометрические меры: CKA, остаток Прокруста и взаимных k-ближайших соседей. Для калибровки шкалы используются как нижняя граница независимой инициализации, так и верхняя граница полностью связанных весов, что придаёт метрике реальную интерпретируемость, а не произвольные единицы.
Эмпирический анализ переплетения чтения и письма в разных LLM
В исследовании были проанализированы девять проб по шести семействам моделей — GPT-2, OPT, Pythia (от 14 миллионов до 1,4 миллиарда параметров), T5, BERT и RoBERTa. Шесть проб консолидировали ранее установленные результаты; три ввели непосредственно новый анализ переплетения чтения/письма.
Количественные результаты: непредельное переплетение и дрейф кодов
Для несвязанных моделей — тех, где матрицы входных и выходных эмбеддингов не принудительно идентичны, — индекс переплетения лежит в диапазоне E = 0,23–0,35. Этот диапазон значительно выше независимого «пола», что подтверждает реальное сцепление, но никогда не достигает «потолка», который дали бы полностью связанные веса. Коды общие, но не слитые.
Есть и примечательная асимметрия. Выходные коды смещаются примерно в 3,2 раза сильнее, чем входные, во всех децилях частоты слов. Писательская сторона общего механизма оказывается более чувствительной к частоте слов, чем читательская — тонкое, но измеримое расхождение внутри номинально единой системы.
Поведенческая связь между пониманием и порождением
Представленческая картина отражается и на поведенческом уровне. Во всех 12 недегенеративных протестированных моделях показатели понимания и порождения положительно связаны: модель, хорошо справляющаяся с одной задачей, как правило, хорошо справляется и с другой. Знаковый тест подтверждает, что это не случайность: p < 0,001. Это прямой инверс того, что показывает нейронаука о людях, где эти две способности могут и действительно диссоциируют чисто.
Модели энкодер–декодер: раздельные представления, тот же поведенческий паттерн
Можно было бы ожидать, что архитектуры энкодер–декодер, которые физически разделяют обработку входа и выхода на отдельные модули, разрушат поведенческую связь. Этого не происходит. Модели вроде T5 достигают показателей разделения представлений до 0,96, почти полностью расплетая коды чтения и письма в пространстве весов. Однако на поведенческом уровне понимание и порождение остаются связанными. Структурная независимость представлений не приводит к независимости производительности.
Это один из наиболее аналитически значимых результатов исследования. Он предполагает, что сцепление в LLM — не просто следствие совместного использования эмбеддингов. Что‑то более глубокое — возможно, то, как модели обучаются на одной и той же текстовой задаче, — удерживает показатели чтения и письма связанными, независимо от того, как архитектура распределяет представления.
Разрыв между геометрией и поведением
Подкрепляя этот вывод, исследование сообщает о нулевой корреляции между геометрическим сходством кодов и поведенческим сцеплением: ρ = 0,00. Насколько похожи представления чтения и письма модели в пространстве весов, ничего не говорит о том, будут ли её показатели чтения и письма коррелировать. Два уровня анализа — геометрический и поведенческий — совпадают по направлению, но в остальном независимы друг от друга.
Последствия: расхождение между архитектурами чтения–письма у людей и LLM
В совокупности результаты представляют большие языковые модели как по‑настоящему отличную когнитивную архитектуру — не цифровую аппроксимацию человеческого мозга, а другую точку в том, что в исследовании называют «пространством возможных разумов». Аналогия с человеческим чтением и письмом полезна для постановки вопросов, но механизмы не гомологичны.
Это различие важно для того, как мы интерпретируем возможности и ограничения LLM. Когда модель с трудом перефразирует текст, который она, по‑видимому, «поняла», или порождает беглое письмо, искажающее вход, источник ошибки может быть не «сбоем обработки» в каком‑либо интуитивном смысле. Это может отражать структурное следствие коллапса того, что мозг держит раздельно, в один переплетённый прямой проход — дизайн, который делает поведенческое сцепление почти неизбежным побочным продуктом.
Исследование чётко очерчивает свой охват. Анализируемые модели имеют размер до 1,4 миллиарда параметров, и авторы открыто сообщают о своих нулевых результатах: моста от геометрии к поведению в данных просто нет. Останется ли картина переплетения иной у более крупных или по‑другому устроенных моделей — открытый эмпирический вопрос, который становится всё более насущным по мере того, как ИИ‑системы внедряются в контексты, где понимание прочитанного и порождение текста предполагаются независимыми, поддающимися оценке навыками.
FAQ
Чем отличаются процессы чтения и письма в человеческом мозге?
Они функционируют как двойственно диссоциируемые системы, использующие различные нейронные маршруты: вентральный маршрут декодирования для чтения и фронто-париетальный маршрут кодирования для письма. Повреждение одного маршрута — как при чистой алексии или чистой аграфии — может оставить другой в значительной степени нетронутым.
Как большие языковые модели обрабатывают чтение и письмо?
LLM-декодеры обрабатывают и чтение (декодирование входа), и письмо (кодирование выхода) через один авторегрессионный путь. Такая архитектура переплетает функции, которые мозг удерживает в раздельных нейронных системах.
Что измеряет индекс переплетения E в этом исследовании?
Он количественно оценивает перекрытие между кодами входа (чтения) и выхода (письма) в LLM по шкале от 0 (независимы) до 1 (полностью связаны). Несвязанные модели в этом исследовании набрали от E = 0,23 до E = 0,35 — существенно выше независимого «пола», но ниже полной связи.
Полностью ли модели энкодер–декодер разделяют представления чтения и письма?
На уровне представлений модели энкодер–декодер близки к этому — достигают показателей разделения до 0,96. Но на поведенческом уровне показатели чтения и письма остаются положительно связанными даже в этих архитектурах, что говорит о том, что сцепление уходит глубже, чем одна лишь геометрия в пространстве весов.
{«@context»:»https://schema.org»,»@type»:»FAQPage»,»mainEntity»:[{«@type»:»Question»,»name»:»Чем отличаются процессы чтения и письма в человеческом мозге?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Они функционируют как двойственно диссоциируемые системы, использующие различные нейронные маршруты: вентральный маршрут декодирования для чтения и фронто-париетальный маршрут кодирования для письма. Повреждение одного маршрута — как при чистой алексии или чистой аграфии — может оставить другой в значительной степени нетронутым.»}},{«@type»:»Question»,»name»:»Как большие языковые модели обрабатывают чтение и письмо?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»LLM-декодеры обрабатывают и чтение (декодирование входа), и письмо (кодирование выхода) через один авторегрессионный путь. Такая архитектура переплетает функции, которые мозг удерживает в раздельных нейронных системах.»}},{«@type»:»Question»,»name»:»Что измеряет индекс переплетения E в этом исследовании?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Он количественно оценивает перекрытие между кодами входа (чтения) и выхода (письма) в LLM по шкале от 0 (независимы) до 1 (полностью связаны). Несвязанные модели в этом исследовании набрали от E = 0,23 до E = 0,35 — существенно выше независимого «пола», но ниже полной связи.»}},{«@type»:»Question»,»name»:»Полностью ли модели энкодер–декодер разделяют представления чтения и письма?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»На уровне представлений модели энкодер–декодер близки к этому — достигают показателей разделения до 0,96. Но на поведенческом уровне показатели чтения и письма остаются положительно связанными даже в этих архитектурах, что говорит о том, что сцепление уходит глубже, чем одна лишь геометрия в пространстве весов.»}}]}
Статья подготовлена при содействии искусственного интеллекта и проверена редакционной командой.
