От Cloudflare приходит эпохальный поворот: гигант интернет-инфраструктуры блокирует основные crawler AI, чтобы защитить онлайн-контент. Это решение переопределяет баланс между создателями, технологическими компаниями и потребителями, обещая революционизировать управление и защиту данных в интернете.
Summary
Борьба с AI-краулерами: решение Cloudflare
Cloudflare запустила с первого июля наступление на основные компании искусственного интеллекта, которые собирают данные с веб-сайтов без разрешения. Как заявила сама компания, AI crawlers будут блокироваться по умолчанию на всех новых сайтах, использующих Cloudflare, если только владельцы не дадут явное разрешение. В прошлом, напротив, именно управляющие сайтами должны были активно исключать AI ботов из сбора своих данных.
Эта инверсия логики защищает более 20% веба, долю, покрытую клиентами Cloudflare, и отвечает на растущие сообщения о замедлениях и сбоях, вызванных чрезвычайными потоками автоматизированных запросов от ботов крупных имен AI, таких как GPTBot от OpenAI и ClaudeBot от Anthropic.
Влияние AI-краулеров: цифры явления
Объем трафика, создаваемого AI crawling bots, достиг впечатляющих уровней. Например, GoogleBot обнаружил, что Vercel, сервис облачного хостинга, получает более 4,5 миллиардов запросов в месяц от этих программ. В отличие от обычных поисковых роботов, AI боты оказывают на серверы агрессивное воздействие, посещая одни и те же страницы несколько раз в течение нескольких часов или засыпая сайты сотнями запросов в секунду.
Результат? Более медленные сайты, трудности с доступом для реальных пользователей и распространенное ощущение того, что они становятся объектом настоящей «добычи» контента без правил и компенсаций. Многочисленные издатели и компании, от The Associated Press до Condé Nast и Ziff Davis, осудили практику массового и несанкционированного сбора данных со стороны крупных технологических компаний AI.
Новые правила и технологии для защиты контента
Шаг Cloudflare не ограничивается поверхностным баном. Компания объявила о использовании машинного обучения и поведенческого анализа для обнаружения так называемых «shadow scrapers», замаскированных ботов, которые пытаются обойти традиционные блокировки. Таким образом, будут перехвачены не только заявленные краулеры, но и более сложные попытки scraping.
Кроме того, поставщики AI теперь должны запрашивать разрешение перед доступом к данным, четко указывая цели использования, будь то для обучения алгоритмов или для простых функций поиска. Cloudflare таким образом возвращает издателям возможность решать, кто может взаимодействовать с их информацией.
Протесты основных издательских групп способствовали появлению этой новой политики. Текущие системы исключения, такие как традиционный robots.txt, часто игнорируются ботами AI, которые склонны «добывать» веб, не соблюдая нормы уважения к цифровой интеллектуальной собственности.
Pay Per Crawl: к новому экономическому моделированию для контента
Революция от Cloudflare также вводит еще одно новшество: программу Pay Per Crawl. Эта система, которая сейчас находится в стадии закрытого бета-тестирования, позволит издателям устанавливать цены за доступ для тех, кто желает использовать их контент в целях обучения AI. Доступ будет предоставлен только после оплаты, или будет отказано в противном случае.
С технической точки зрения, Cloudflare будет использовать код HTTP 402 «Payment Required», возвращаемый неавторизованным краулерам. Потенциально эффективное решение, уже готовое к внедрению благодаря своей совместимости с существующими веб-системами.
Реакции из мира AI и нормативные узлы
Решение Cloudflare напрямую влияет на AI-компании, которые до сих пор неохотно платили за лицензии или компенсации. Nicholas Thompson, генеральный директор The Atlantic, подчеркнул, что до сегодняшнего дня компании могли действовать безнаказанно, тогда как теперь им придется вести переговоры и признавать право собственности на контент. С другой стороны, некоторые лидеры технологического мира, такие как Nick Clegg из Meta, предупреждают, что введение строгих ограничений может поставить под угрозу рост и инновации в секторе AI.
Дебаты распространяются и на нормативный уровень. Отчет Copyright Office признал, что некоторые использования генеративных технологий могут быть «трансформативными». Тем не менее, массовый сбор без согласия не может считаться добросовестным использованием. Позиция, которая имела серьезные институциональные последствия, включая немедленную замену ответственного за Управление интеллектуальной собственности администрацией Трампа.
Будущее защиты контента онлайн
Инициатива Cloudflare изменяет баланс между теми, кто создает и кто использует онлайн-контент. Возможность блокировать и монетизировать доступ к данным предоставляет издателям реальную власть над тем, где и как используются их произведения. В результате многие AI-компании будут вынуждены реорганизовать стратегии и процессы сбора данных, стремясь к большей прозрачности и сотрудничеству с издательским миром.
Пока цифровая экосистема приспосабливается к этой смене парадигмы, вероятно, что другие крупные игроки инфраструктурного сектора последуют примеру Cloudflare. Таким образом, можно запустить новую эру в защите цифровых прав, где те, кто создают ценность, будут поощряться и защищаться. Остаются открытыми вопросы о сроках и способах внедрения модели Pay Per Crawl и о влиянии, которое она окажет на развитие искусственного интеллекта.
В постоянно меняющемся контексте мониторинг эволюции стратегий anti-crawler AI и активное участие в дебатах становятся фундаментальными для всех вовлеченных сторон. Война с неавторизованными ботами может быть только началом нового сезона для повышения ценности интернета как коллективного и устойчивого блага.
