Когда языковая модель проходит тонкую настройку на полезность и безопасность, происходит нечто тихое — она начинает звучать как все остальные. Этот эффект гомогенизации, известный как коллапс мод, долгое время считался побочным продуктом несовершенных алгоритмов обучения. Но новые исследования оспаривают это предположение в корне, связывая проблему не с алгоритмом, а с самими данными — и в частности с глубоко человеческой когнитивной особенностью, заложенной в каждой метке предпочтения.
Summary
Ключевые выводы
- Выравнивание после обучения снижает разнообразие в больших языковых моделях, вызывая коллапс мод — склонность генерировать повторяющиеся, предсказуемые ответы.
- Корневая причина — смещение типичности в данных предпочтений: человеческие аннотаторы последовательно отдают предпочтение знакомо звучащему тексту, что в масштабах формирует поведение модели.
- Смещение типичности опирается на когнитивную психологию и теперь теоретически формализовано и эмпирически подтверждено на датасетах предпочтений.
- Verbalized Sampling (VS) — это метод промптинга без дополнительного обучения, который противодействует коллапсу мод, заставляя модель генерировать несколько ответов вместе с оценками вероятностей.
- В задачах креативного письма VS увеличивает разнообразие выходов в 1,6–2,1 раза по сравнению с прямым промптингом, с улучшениями в диалогах, открытых вопросах-ответах и синтетической генерации данных.
Коллапс мод, вызванный выравниванием после обучения и смещением типичности
Смягчение коллапса мод стало одной из наиболее насущных задач в современной разработке ИИ именно потому, что проблему так легко не заметить. Тонко настроенная модель по-прежнему отвечает на вопросы. Она по-прежнему пишет стихи. Она просто пишет один и тот же тип стихотворения снова и снова, немного разными словами.
Влияние выравнивания после обучения на разнообразие LLM
Выравнивание после обучения — процесс, в ходе которого базовая языковая модель с помощью человеческой обратной связи формируется так, чтобы быть более полезной, безвредной и честной, — последовательно снижает генеративное разнообразие больших языковых моделей. Результатом становится сужение пространства выходов: модели сходятся к меньшему набору «приемлемых» ответов, подрезая хвосты распределения таким образом, что жертвуют оригинальностью и вариативностью.
Это не незначительная стилистическая деталь. Для таких приложений, как синтетическая генерация данных, креативное письмо или симуляция диалогов, разнообразие является функциональным требованием. Модель, которая схлопывается к среднему, производит обучающие данные, усиливающие те же самые предвзятости, диалоги, которые ощущаются как сценарий, и креативный контент, который кажется производным.
Роль смещения типичности в данных предпочтений
Смещение типичности — это механизм в самом сердце проблемы. Когда человеческие аннотаторы оценивают выходы модели и помечают, какие ответы они предпочитают, они систематически отдают предпочтение тексту, который кажется знакомым — ответам, соответствующим их интуитивному представлению о том, как выглядит «типичный» хороший ответ. Это предпочтение прототипичного перед новым — не изъян, уникальный для разметчиков ИИ; оно отражает хорошо установленные результаты когнитивной психологии о том, как люди категоризуют и оценивают информацию.
Последствия в масштабе значительны. Датасеты предпочтений, построенные на тысячах таких аннотаций, кодируют структурную предвзятость против необычных, но корректных ответов. Обученные на этих данных модели неявно усваивают, что незнакомые выходы менее желательны — даже когда эти выходы верны, креативны или существенно отличаются от медианных. Смещение типичности в системах ИИ, другими словами, — это наследие человеческого мышления, переданное через конвейер обучения.
Теоретический и эмпирический анализ смещения типичности
Исследование, лежащее в основе этих выводов, не ограничивается констатацией проблемы. Авторы теоретически формализуют смещение типичности, создавая строгую рамку, объясняющую, как предпочтения аннотаторов искажают выученное распределение выровненных моделей. Затем они проверяют этот эффект эмпирически, тестируя его на реальных датасетах предпочтений, чтобы подтвердить, что смещение не случайно, а повсеместно и является центральным для феномена коллапса мод.
Этот двойной подход — теоретическая формализация, за которой следует эмпирическая валидация, — важен, потому что он переводит коллапс мод из размытого наблюдения в решаемую, четко определенную проблему. Он также открывает путь к принципиальным решениям, а не к разовым инженерным заплаткам. Понимая, почему выравнивание сужает разнообразие выходов, исследователи могут разрабатывать методы, которые устраняют причину, а не маскируют симптом.
Verbalized Sampling: подход без дополнительного обучения для смягчения коллапса мод
Предложенное средство называется Verbalized Sampling, и его ключевая идея элегантна в своей простоте. Вместо того чтобы переобучать модель или модифицировать конвейер выравнивания — оба варианта дороги и технически сложны — Verbalized Sampling работает полностью на этапе инференса, за счет изменения того, как формулируется промпт.
Механика промптинга Verbalized Sampling
Вместо запроса к модели выдать один ответ Verbalized Sampling инструктирует модель сгенерировать набор кандидатных ответов и назначить каждому явную оценку вероятности. Промпт может звучать так: «Сгенерируй 5 шуток про кофе и их соответствующие вероятности». Заставляя модель рассуждать над распределением возможных выходов, а не сразу фиксироваться на одном, VS обходит склонность к коллапсу мод, привитую выравниванием. Предобученное генеративное разнообразие модели, подавленное, но не стёртое тонкой настройкой, реактивируется через такую вероятностную постановку.
Практическая привлекательность здесь очевидна. Никакого переобучения. Никаких новых датасетов. Никаких изменений архитектуры модели. Метод применим к любой выровненной языковой модели и не создает дополнительной инфраструктурной нагрузки.
Улучшение показателей в различных задачах
Эксперименты с Verbalized Sampling в широком спектре задач подтверждают, что подход работает — и улучшения нельзя назвать незначительными. В задачах креативного письма (стихи, рассказы, шутки) VS увеличивает разнообразие выходов в 1,6–2,1 раза по сравнению с прямым промптингом. Схожие улучшения наблюдаются в симуляции диалогов, открытых вопросах-ответах и синтетической генерации данных. Важно, что это увеличение разнообразия не достигается ценой фактической точности или безопасности — обе характеристики сохраняются.
В данных проявляется и дополнительный паттерн: более способные модели, по-видимому, выигрывают от Verbalized Sampling больше, чем менее способные. Это говорит о том, что у более сильных базовых моделей есть больше подавленного разнообразия, которое можно разблокировать: их выравнивание ограничило более богатое исходное распределение, и VS предоставляет более эффективный ключ к его раскрытию.
Почему это меняет разговор о разнообразии LLM
Аналитическая значимость этой работы в том переосмыслении, которое она предлагает. Большинство предыдущих исследований рассматривали коллапс мод как алгоритмическую проблему — нечто, что нужно исправить, улучшая методы RLHF, модифицируя модели вознаграждения или настраивая цели обучения. Это исследование переопределяет диагноз: узкое место находится в данных, а не в алгоритме. Датасеты предпочтений, создаваемые людьми, применяющими человеческие когнитивные паттерны, несут структурные смещения, которые никакое совершенствование алгоритмов полностью не устранит, если исходные метки останутся прежними.
Такой ориентированный на данные взгляд имеет более широкие последствия. Он предполагает, что качество человеческой обратной связи — не только ее количество — является фундаментальным ограничением того, насколько разнообразными и генеративными могут быть выровненные модели. Для исследователей и практиков, создающих датасеты предпочтений, обнаружение смещения типичности — это конкретное предупреждение: склонности аннотаторов формируют «личность» модели систематично, измеримо и с существенными последствиями.
Verbalized Sampling, в свою очередь, представляет собой практическое решение на этапе инференса для проблемы, возникающей на этапе обучения. Его ценность не только в том разнообразии, которое он дает уже сегодня, но и в том, что он демонстрирует: генеративная широта предобученных моделей не теряется при выравнивании — она лишь подавляется и может быть восстановлена без начала всего процесса с нуля.
FAQ
Что вызывает коллапс мод в больших языковых моделях?
Коллапс мод в первую очередь вызывается смещением типичности в данных предпочтений, используемых при выравнивании после обучения, когда аннотаторы систематически отдают предпочтение знакомо звучащему тексту. Это смещение, коренящееся в когнитивной психологии, обучает модели сходиться к предсказуемым выходам и избегать необычных, но корректных ответов.
Как Verbalized Sampling смягчает коллапс мод?
Verbalized Sampling побуждает модель сгенерировать набор кандидатных ответов и вербализовать распределение вероятностей по ним — например, выдать пять вариантов ответа вместе с оценками их правдоподобия. Такой подход реактивирует предобученное генеративное разнообразие модели без необходимости дополнительного обучения или изменений архитектуры.
В каких приложениях Verbalized Sampling повышает разнообразие?
Verbalized Sampling повышает разнообразие выходов в задачах креативного письма (стихи, рассказы, шутки), симуляции диалогов, открытых вопросах-ответах и синтетической генерации данных — увеличивая разнообразие в 1,6–2,1 раза по сравнению с прямым промптингом только в задачах креативного письма.
Влияет ли Verbalized Sampling на фактическую точность или безопасность?
Нет. Согласно исследованию, Verbalized Sampling повышает разнообразие, не жертвуя фактической точностью или безопасностью, что делает его жизнеспособным вариантом для промышленных сценариев, где требуются и вариативность, и надежность.
{«@context»:»https://schema.org»,»@type»:»FAQPage»,»mainEntity»:[{«@type»:»Question»,»name»:»Что вызывает коллапс мод в больших языковых моделях?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Коллапс мод в первую очередь вызывается смещением типичности в данных предпочтений, используемых при выравнивании после обучения, когда аннотаторы систематически отдают предпочтение знакомо звучащему тексту. Это смещение, коренящееся в когнитивной психологии, обучает модели сходиться к предсказуемым выходам и избегать необычных, но корректных ответов.»}},{«@type»:»Question»,»name»:»Как Verbalized Sampling смягчает коллапс мод?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Verbalized Sampling побуждает модель сгенерировать набор кандидатных ответов и вербализовать распределение вероятностей по ним — например, выдать пять вариантов ответа вместе с оценками их правдоподобия. Такой подход реактивирует предобученное генеративное разнообразие модели без необходимости дополнительного обучения или изменений архитектуры.»}},{«@type»:»Question»,»name»:»В каких приложениях Verbalized Sampling повышает разнообразие?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Verbalized Sampling повышает разнообразие выходов в задачах креативного письма (стихи, рассказы, шутки), симуляции диалогов, открытых вопросах-ответах и синтетической генерации данных — увеличивая разнообразие в 1,6–2,1 раза по сравнению с прямым промптингом только в задачах креативного письма.»}},{«@type»:»Question»,»name»:»Влияет ли Verbalized Sampling на фактическую точность или безопасность?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Нет. Согласно исследованию, Verbalized Sampling повышает разнообразие, не жертвуя фактической точностью или безопасностью, что делает его жизнеспособным вариантом для промышленных сценариев, где требуются и вариативность, и надежность.»}}]}
Статья подготовлена при содействии искусственного интеллекта и проверена редакционной командой.
