Новое исследование показывает, что сам способ, которым модели искусственного интеллекта совершают клики по вашему экрану, может быть обращён против них. Исследователи обнаружили ранее упущенную уязвимость в том, как модели GUI visual grounding — системы ИИ, которые переводят экранные инструкции в реальные клики — генерируют координаты, и создали рабочую эксплуатацию под названием MissClick, чтобы это доказать. Результаты, опубликованные исследователем Ю Жанем (Yu Ran), раскрывают новую категорию адверсариальных атак на модели GUI, с которыми они сталкиваются по мере всё более глубокого встраивания в автоматизацию задач на платформах настольных, веб- и мобильных устройств.
Summary
Ключевые выводы
- Модели GUI visual grounding генерируют координаты кликов по экрану как последовательности цифровых токенов, а не как сырые числа.
- Изменение одной цифры в разряде с высоким весом, например в разряде сотен, может сдвинуть клик на 100 единиц на экране.
- MissClick — это white-box-атака с двумя вариантами: MissClick-U для нетаргетированного нарушения и MissClick-T для таргетированного перехвата.
- MissClick-U достигла нетаргетированных показателей успешности 75,07% на OS-Atlas и 72,93% на UGround.
- MissClick-T достигла таргетированных показателей успешности 44,86% на OS-Atlas и 62,67% на UGround.
Как модели GUI Visual Grounding генерируют координаты
Модели GUI visual grounding предсказывают, куда кликнуть, выдавая результат по цифрам, а не в виде прямых числовых координат, и этот, на первый взгляд, небольшой выбор архитектуры на деле несёт серьёзные последствия для безопасности. Согласно исследованию, эти модели изначально не проектировались с учётом противодействия манипуляциям на уровне отдельных цифр, и именно этот пробел и использует MissClick.
Цифрово-сериализованное предсказание координат
Вместо того чтобы выводить координату X-Y как одно число, эти модели генерируют её как последовательность отдельных цифровых токенов, которые затем разбираются в пригодное числовое значение, сопоставляемое с конкретной точкой на экране. Каждый цифровой токен по сути рассматривается моделью как категориальный выбор, аналогичный выбору слова из словаря, а не как часть непрерывного числа.
Влияние разрядности цифр на смещение координат
Это различие приобретает огромное значение, когда цифры снова преобразуются в числа. Исследование показало, что изменение цифры в разряде сотен всего на одну единицу может сдвинуть соответствующую компоненту координаты на 100 единиц после её преобразования в позицию на экране. На практике крошечная, почти незаметная правка одного токена может увести клик далеко от целевой точки — это несоответствие между тем, как модель «думает» о цифрах, и тем, как эти цифры в итоге ведут себя, будучи превращёнными в реальные пиксели.
MissClick: адверсариальные атаки на модели GUI Grounding
Непосредственно опираясь на это открытие, исследователь представляет MissClick — white-box адверсариальную атаку, разработанную для эксплуатации несоответствия между категориальным предсказанием цифр и числовым выводом координат. В отличие от типовых адверсариальных атак, с которыми модели GUI сталкивались ранее, MissClick специально заточена под разрядную структуру цифрово-сериализованных координат, а не рассматривает вывод как обычный текст.
Варианты атаки: MissClick-U и MissClick-T
MissClick существует в двух чётко различающихся вариантах в зависимости от цели атакующего. MissClick-U — нетаргетированная версия, нацеленная просто на то, чтобы заставить модель кликнуть неправильно — любой клик вне корректной области считается успехом. MissClick-T — таргетированная версия, спроектированная так, чтобы направить клик в конкретную, выбранную атакующим область, а не просто случайно его сбить.
Различные цели атак и стратегии оптимизации
Два варианта опираются на разные математические целевые функции, поскольку нетаргетированное и таргетированное нарушение требуют разных условий успешности. MissClick-U работает за счёт максимизации того, что в исследовании называется soft-coordinate displacement — по сути, она отталкивает предсказанный клик как можно дальше от правильного местоположения. MissClick-T, напротив, минимизирует взвешенную по разрядам целевую потерю по цифрам (place-weighted target-digit loss), технику, которая специально отдаёт приоритет манипуляции цифрами в старших разрядах, поскольку именно они дают наибольшие скачки после разбора координаты. Это разделение на таргетированную и нетаргетированную атаки отражает более широкий принцип в исследованиях по безопасности GUI visual grounding: атакующие оптимизируют свои действия по-разному в зависимости от того, нужна ли им хаотичная дестабилизация или точечная перенастройка.
Экспериментальная оценка и показатели успешности атак
Оба варианта MissClick были протестированы против существующих атак на двух признанных бенчмарках — OS-Atlas и UGround, которые охватывают задачи grounding для настольных, веб- и мобильных интерфейсов. Результаты показывают, что эта уязвимость цифрово-сериализованных координат — не маргинальный частный случай: её можно эксплуатировать в масштабах, причём оба типа атак существенно превосходят предыдущие методы.
Производительность нетаргетированных атак на OS-Atlas и UGround
MissClick-U показала нетаргетированные показатели успешности 75,07% на OS-Atlas и 72,93% на UGround, что на 16,62 и 30,72 процентных пункта выше существующих базовых линий атак соответственно. Это наивысшие результаты среди протестированных целевых функций для нетаргетированного нарушения, и исследование связывает это преимущество именно с подходом soft-coordinate displacement.
Производительность таргетированных атак на OS-Atlas и UGround
Показатели MissClick-T рассказывают столь же наглядную историю на стороне таргетированных атак: успешность составила 44,86% на OS-Atlas и 62,67% на UGround, что на 31,73 и 47,06 процентных пункта выше предыдущих методов. Представленные здесь показатели успешности атак MissClick подтверждают, что оптимизация целевых цифр с учётом разрядных весов (place-weighted target-digit optimization) является на данный момент самой сильной стратегией, когда атакующему нужна точность, а не просто дестабилизация, поскольку она стабильно превосходила другие таргетированные целевые функции, протестированные в исследовании.
В совокупности разрыв между нетаргетированной и таргетированной производительностью подчёркивает практическое противоречие: перехват клика в конкретную точку по своей природе сложнее, чем просто заставить модель промахнуться, потому что требует одновременного контроля над несколькими разрядами, а не просто выталкивания одного числа наружу. Эта асимметрия может повлиять на приоритизацию будущих механизмов защиты, поскольку модель, устойчивую к случайным промахам, нельзя автоматически считать устойчивой к точечной перенаправляющей атаке — различие, которое имеет огромное значение для любой системы, полагающейся на автоматические клики для выполнения реальных задач.
FAQ
В чём основная уязвимость, которую использует MissClick в моделях GUI grounding?
MissClick использует процесс цифрово-сериализованной генерации координат, при котором каждая цифра является категориальным токеном, а изменения цифр в старших разрядах вызывают большие смещения координат после разбора этих токенов в числа.
Каковы два варианта атаки MissClick и их цели?
MissClick-U — это нетаргетированная атака, которая максимизирует смещение координат, чтобы в целом нарушать клики, тогда как MissClick-T — таргетированная атака, которая минимизирует взвешенную по разрядам целевую потерю по цифрам, чтобы перехватывать координаты и направлять их в области, заданные атакующим.
Насколько эффективны атаки MissClick на разных датасетах?
MissClick-U достигла нетаргетированных показателей успешности около 75% на OS-Atlas и 73% на UGround, тогда как MissClick-T достигла таргетированных показателей успешности примерно 45% на OS-Atlas и 63% на UGround.
{«@context»:»https://schema.org»,»@type»:»FAQPage»,»mainEntity»:[{«@type»:»Question»,»name»:»В чём основная уязвимость, которую использует MissClick в моделях GUI grounding?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»MissClick использует процесс цифрово-сериализованной генерации координат, при котором каждая цифра является категориальным токеном, а изменения цифр в старших разрядах вызывают большие смещения координат после разбора этих токенов в числа.»}},{«@type»:»Question»,»name»:»Каковы два варианта атаки MissClick и их цели?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»MissClick-U — это нетаргетированная атака, которая максимизирует смещение координат, чтобы в целом нарушать клики, тогда как MissClick-T — таргетированная атака, которая минимизирует взвешенную по разрядам целевую потерю по цифрам, чтобы перехватывать координаты и направлять их в области, заданные атакующим.»}},{«@type»:»Question»,»name»:»Насколько эффективны атаки MissClick на разных датасетах?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»MissClick-U достигла нетаргетированных показателей успешности около 75% на OS-Atlas и 73% на UGround, тогда как MissClick-T достигла таргетированных показателей успешности примерно 45% на OS-Atlas и 63% на UGround.»}}]}
Статья подготовлена при содействии искусственного интеллекта и проверена редакционной командой.
