Возможно, не существует полностью защищённой большой языковой модели. К такому неприятному выводу приходит новая статья, представленная на Международной конференции по машинному обучению 2026 года (ICML), где исследователи утверждают, что уязвимости безопасности LLM являются не просто результатом неполного обучения или поверхностного red-teaming-а — они заложены в фундаментальную архитектуру того, как эти системы работают.
Summary
Ключевые выводы
- Фундаментальный изъян в том, как LLM определяют источник инструкций, делает их по своей природе и постоянно уязвимыми к манипуляциям, согласно исследованию, представленному на ICML в июле 2026 года.
- Техника атаки под названием подделка цепочки рассуждений (chain-of-thought forgery) выиграла хакатон по red-teaming-у OpenAI в августе 2025 года и с тех пор показала свою применимость к моделям OpenAI, Anthropic, Alibaba и DeepSeek.
- LLM отслеживают источники инструкций с помощью ролей-тегов, но исследования показывают, что на самом деле они опираются на стиль текста, а не на теги — то есть злоумышленники могут подделать любую роль, просто имитируя нужный стиль письма.
- Обучение и red-teaming, сосредоточенные на определении ролей, не могут полностью закрыть этот пробел; ни один список запрещённых инструкций не может быть исчерпывающим.
- Исследователи советуют организациям рассматривать все выводы LLM-агентов как потенциально небезопасные, особенно в чувствительных или критически важных сценариях использования.
Фундаментальный изъян в определении источника инструкций LLM
Суть проблемы обманчиво проста. Когда LLM обрабатывает текст, ей нужно понимать, кто говорит — это инструкция от пользователя, системного дизайнера, инструмента или внутреннее рассуждение самой модели? Для этого чат-боты используют роли-теги: текст, обёрнутый в метки вроде <user>, <assistant>, <system>, <think> и <tool>, чтобы обозначить источник каждого фрагмента содержимого. В основу большинства подходов к безопасности заложено предположение, что модели уважают эти теги и используют их, чтобы отличать доверенные инструкции от недоверенных.
Исследователи выяснили, что это предположение неверно.
В серии экспериментов независимые исследователи Жасмин Цуй (Jasmine Cui) и Чарльз Е (Charles Ye), соавторы статьи для ICML, обнаружили, что LLM на самом деле не определяют роли, читая теги. Вместо этого модели, по-видимому, классифицируют текст по его стилю и словесным шаблонам. Поменяйте теги местами — например, поставьте теги <user> вокруг текста, который выглядит как внутренняя цепочка рассуждений, — и модель всё равно будет воспринимать его как цепочку рассуждений. Сами теги почти не играют роли.
Почему интерпретация по стилю создаёт окно возможностей для атакующих
Это открытие меняет постановку всей проблемы. Если модель не может надёжно отличить пользовательскую инструкцию от собственного внутреннего рассуждения, опираясь только на теги, то любой атакующий, способный имитировать нужный стиль текста, получает тот же уровень доверия, который модель предоставляет самой себе. Это не частный случай. Это структурная брешь, присутствующая во всех LLM, использующих такую архитектуру.
«Когда мы с вами разговариваем, я могу понять, какие слова исходят из моего рта, потому что чувствую, как он двигается», — объяснила Цуй в исследовании. LLM, напротив, обрабатывает всё как один непрерывный поток токенов — пользовательские запросы, предыдущие ответы, черновые заметки, веб-контент. Всё это перемешано, и модель должна выводить, кто что сказал, по самой фактуре текста.
Подделка цепочки рассуждений: атака, выявившая изъян
Подделка цепочки рассуждений (chain-of-thought forgery) — это техника атаки, которую Цуй и Е разработали, эксплуатируя эту слабость. Идея состоит в том, чтобы внедрить поддельную внутреннюю заметку рассуждений — текст, имитирующий стиль черновых записей цепочки рассуждений модели — прямо в запрос. Модель, не способная отличить реальное внутреннее рассуждение от искусной подделки, воспринимает эту заметку как собственную мысль и действует в соответствии с ней.
Исследователи продемонстрировали метод на открытой модели OpenAI gpt-oss-20b. Запрос с просьбой дать инструкции по синтезу наркотиков, дополненный поддельной заметкой цепочки рассуждений, в которой придумывалась фиктивная политика, разрешающая такой запрос при определённых условиях, привёл к тому, что модель выдала пошаговый ответ. GPT-5 повела себя аналогично, причём модель явно сослалась на поддельное условие перед тем, как выполнить запрос.
Это открытие было отмечено на самом высоком уровне тестирования безопасности ИИ: подделка цепочки рассуждений выиграла хакатон по red-teaming-у OpenAI в августе 2025 года. Техника оказалась не узкоспециализированным трюком. Она работала, была задокументирована и обошла все остальные представленные атаки.
Шаблон, выходящий за рамки одной модели
Статья для ICML была сосредоточена на моделях OpenAI, но Цуй и Е с тех пор протестировали технику на системах Anthropic, Alibaba и DeepSeek, получив сопоставимые результаты для всех них. Уязвимость — не причуда процесса обучения одной компании. Она отражает нечто общее в том, как устроены LLM и как они интерпретируют получаемый текст.
Масштаб и последствия уязвимости
Список затронутых моделей — OpenAI, Anthropic, Alibaba и DeepSeek — охватывает большинство доминирующих LLM, которые сейчас используются в коммерческих, государственных и исследовательских средах.
Последствия выходят далеко за рамки неловких ответов. LLM уже встроены в системы, обрабатывающие медицинскую информацию, юридический анализ, финансовые решения, военную логистику и национальную инфраструктуру. Каждое из этих внедрений предполагает базовый уровень надёжности ответов модели. Исследование показывает, что этот базовый уровень сложнее гарантировать, чем считалось ранее.
Флориан Трэмэр (Florian Tramèr), специалист по компьютерным наукам, работающий над LLM и кибербезопасностью в ETH Zürich, назвал идею атаки «действительно изящной» и признал, что хотя ведущие модели стало сложнее скомпрометировать с помощью внедрения подсказок (prompt injection), существующие защиты могут быть недостаточны для особо чувствительных сценариев. «Неясно, будет ли этого достаточно для крайне чувствительных случаев», — сказал он.
Ограничения текущих защит и предупреждения экспертов
Стандартные защиты от атак на LLM опираются на два подхода: обучение моделей распознавать и отклонять вредоносные инструкции на основе контекста ролей и AI red-teaming — использование человеческих тестировщиков или автоматизированных систем вроде GPT-Red от OpenAI для поиска новых векторов атак до развёртывания. Логика здравая, но реализация упирается в жёсткий потолок.
Цуй сравнила этот подход с тем, как Барт Симпсон пишет строки на школьной доске. Обучение модели списку того, чего она не должна делать, всё равно оставляет всё, чего нет в этом списке, в зоне допустимого. А поскольку ни один список не может быть исчерпывающим и поскольку LLM интерпретируют роли по стилю, а не по тегу, поверхность атаки восстанавливается быстрее, чем защитники успевают её картировать.
- Обучение на основе ролей учит модели отклонять инструкции, появляющиеся в «неправильной» роли — но если модель не может надёжно определять роли по тегам, она не может надёжно применять такое обучение.
- Red-teaming выявляет известные шаблоны атак, но не способен предугадать каждую новую вариацию, которую может придумать атакующий.
Е, другой соавтор статьи, выразился предельно ясно: лучшая доступная защита может заключаться в том, чтобы исходить из худшего сценария. «Организации не должны доверять LLM, — сказал он, — и им следует ожидать, что всё, что делают агенты, может быть небезопасным». Это не самый оптимистичный взгляд для отрасли, которая спешит внедрять AI-агентов в всё более рискованные области.
Реальность развёртывания делает ставки вполне осязаемыми. «Поразительно, что эти системы повсюду внедряются для управления сверхкритичными системами, — сказал Е. — Фундаментальная наука здесь вообще не изучена. Мы всё делаем на глазок».
Исследование было представлено на ICML в июле 2026 года, одном из самых престижных форумов в этой области. Сам факт, что статья была принята на ICML, показывает, что сообщество исследователей безопасности относится к аргументам серьёзно. Остаётся открытым вопрос, воспринимают ли их достаточно серьёзно организации, внедряющие эти системы — в здравоохранении, государственном секторе, обороне и финансах.
FAQ
В чём заключается фундаментальный изъян, делающий LLM уязвимыми для атак?
LLM не могут надёжно определить источник инструкций, потому что они в большей степени полагаются на стиль текста, чем на роли-теги. Даже когда присутствуют роли-теги вроде <user> или <think>, модели, по-видимому, классифицируют текст по тому, как он написан, а не по метке вокруг него — что делает их уязвимыми к подделке со стороны любого, кто может имитировать нужный стиль письма.
Что такое подделка цепочки рассуждений в контексте безопасности LLM?
Подделка цепочки рассуждений — это атака, которая обманывает LLM, имитируя стиль их внутреннего текста рассуждений. Внедряя поддельные «черновые» заметки, похожие на собственные мысли модели, атакующие могут заставить модель следовать вредоносным инструкциям так, как если бы она сгенерировала их сама. Эта техника выиграла хакатон по red-teaming-у OpenAI в августе 2025 года.
Могут ли обучение и red-teaming полностью устранить эти уязвимости безопасности LLM?
Нет. Обучение и red-teaming, сосредоточенные на определении ролей, не могут полностью решить проблему, потому что ни один список запрещённых инструкций не может быть исчерпывающим, а LLM интерпретируют роли по стилю текста, а не по структурным тегам. Улучшенное обучение сокращает разрыв, но не устраняет его.
Модели каких компаний затронуты этой уязвимостью?
Популярные LLM от OpenAI, Anthropic, Alibaba и DeepSeek продемонстрировали уязвимость к подделке цепочки рассуждений, согласно тестированию Цуй и Е, описанному в статье для ICML.
Статья подготовлена при содействии искусственного интеллекта и проверена редакционной командой.
