В сердце цифровой вселенной свободных знаний, Wikimedia сегодня сталкивается с одним из самых сложных вызовов в своей недавней истории: растущей волной автоматических ботов AI, которые систематически грабят её контент.
В частности, в последние месяцы произошло увеличение трафика на 50%, генерируемого так называемыми crawler AI, что ставит под серьезное испытание как технические возможности, так и экономическую устойчивость платформы.
Summary
Увеличивается влияние искусственного интеллекта (AI) на цифровую инфраструктуру: случай Wikimedia
Начиная с января 2024, был зафиксирован стремительный рост объема данных, загружаемых с таких платформ, как Wikipedia и другие проекты Wikimedia.
Этот рост не может быть отнесен на счет увеличения участия человеческих пользователей, а скорее на систематическое и часто плохо регулируемое использование автоматических ботов, применяемых компаниями, которые разрабатывают модели искусственного интеллекта.
Эти инструменты, разработанные для сбора и анализа больших объемов текста, изображений и других материалов, используют Wikimedia в качестве основного источника данных для обучения своих алгоритмов.
Операция, которая, с одной стороны, свидетельствует о центральной роли платформы в экосистеме цифровых знаний, с другой стороны, оказывает невыносимое давление на ее информационную инфраструктуру.
Проблема заключается не только в количестве переданных данных. Настоящая критическая точка представлена способом, с помощью которого эти боты получают доступ к контенту.
В большинстве случаев, на самом деле, запросы направлены на редкие или мало посещаемые страницы, то есть те, которые не входят в системы кэширования. То есть механизмы, которые позволяют временно сохранять копии наиболее просматриваемых страниц для ускорения их загрузки.
Когда это происходит, запросы должны обрабатываться непосредственно центральными серверами, что приводит к значительному увеличению рабочей нагрузки и, прежде всего, затрат.
Этот сценарий становится особенно критичным в связи с событиями с высокой медийной значимостью, во время которых «человеческий» трафик уже достигает высоких уровней.
Боты вне контроля: игнорируют правила, обходят блокировки
Еще одно тревожное измерение этого явления представлено все более изощренным и, иногда, некорректным поведением crawler. Многие из этих ботов, действительно, игнорируют установленные соглашения, обходят системы автоматической блокировки и маскируются, чтобы казаться легитимными пользователями.
Questo tipo di condotta non solo viola le norme di buon uso della rete, ma costringe i team tecnici di Wikimedia a un постоянный мониторинг и к постоянному использованию ресурсов для защиты инфраструктуры.
Ресурсы, которые могли бы быть вместо этого направлены на усиление платформы или на обогащение её контента.
В ответ на эту ситуацию Фонд Викимедиа старается не ограничиваться только технической или оборонительной реакцией. Предложенное решение выходит за рамки простого сдерживания проблемы и нацелено на совместное и устойчивое управление свободными знаниями.
Так рождается WE5, новая стратегическая инициатива, которая ставит своей целью продвижение более справедливых и ответственных подходов в приобретении и использовании данных, размещенных на платформе.
Проект представляет собой приглашение для компаний в сфере технологий и разработчиков искусственного интеллекта.
В частности, призыв соблюдать правила, вносить вклад в расходы на управление сетью и гарантировать выживание инфраструктуры, на которой основывается один из основных источников свободной информации в мире.
Вся эта история поднимает важный вопрос для будущего свободного доступа к знаниям: в эпоху, когда данные стали жизненно важной частью искусственного интеллекта, кто оплачивает хранение и распространение этих данных?
Wikimedia, всегда движимая принципом бесплатности и обмена, теперь находится на перекрестке между открытостью и устойчивостью.
Без изменения курса со стороны крупных технологических компаний и участников, которые массово используют контент фонда, проект может быть вынужден сократить доступность или ввести более строгие ограничения для защиты своей инфраструктуры.
Призыв к уважению цифрового общественного блага
Сообщение, которое Wikimedia отправляет миру, ясно. А именно, что свободные знания — это общее благо и, как таковое, оно должно рассматриваться с уважением и ответственностью.
Использование в коммерческих целях огромного информационного наследия, предоставленного фондом, должно происходить в прозрачной форме, в соответствии с правилами и. Кроме того, при необходимости, сопровождаться формами справедливого вклада.
В цифровом мире, где все больше доминируют алгоритмы и автоматизация, крайне важно гарантировать, чтобы доступ к знаниям не был скомпрометирован экономическими интересами немногих.
Только через открытый диалог между сообществами, учреждениями и компаниями будет возможно сохранить живой мечту о свободной, доступной и устойчивой глобальной энциклопедии.
