Интернет для ботов: как ИИ-скрейпинг меняет облик мировой сети
Большая часть интернет-трафика в ближайшие годы будет формироваться не пользователями, а автоматизированными ИИ-ботами, которые массово собирают данные с сайтов. К такому выводу пришли аналитики, изучающие рост активности ботов и эскалацию борьбы между владельцами ресурсов и автоматизированными системами.
Еще несколько лет назад основным «читателем» сайтов считался человек — пользователь, который заходит за новостями, товарами или услугами. Сегодня эту картину стремительно меняет скрейпинг — автоматический сбор данных с веб-страниц с помощью программных ботов. Такие боты массово обходят сайты, копируют тексты, изображения и структуру страниц, чтобы затем использовать эти данные для обучения ИИ-моделей, аналитики или коммерческих сервисов. Формально скрейпинг не всегда нарушает закон, но по факту он превращается в новый тип цифрового потребления, который создает нагрузку на инфраструктуру, меняет экономику медиа и ставит под вопрос привычные правила работы интернета.
Именно этот сдвиг — от «интернета людей» к «интернету ботов» — и лежит в основе происходящих сегодня процессов.
Именно этот сдвиг — от «интернета людей» к «интернету ботов» — и лежит в основе происходящих сегодня процессов.
По данным отчета компании TollBit, специализирующейся на отслеживании веб-скрейпинга, доля ИИ-ботов в общем трафике растет взрывными темпами. Если в первом квартале 2025 года на ИИ-ботов приходилось лишь одно из примерно 200 посещений сайтов клиентов компании, то к четвертому кварталу этот показатель вырос до одного визита из 31. Параллельно данные компании Akamai, заметного игрока в индустрии облачных вычислений, подтверждают: автомаизированный трафик перестает быть фоновым и становится системным.
Сооснователь и генеральный директор TollBit Тошит Паниграхи отмечает, что интернет входит в новую фазу своего развития, где боты становятся полноценными «посетителями». По его словам, речь идет не только о проблеме авторского права, но и о появлении нового вида участников цифровой экономики, которые потребляют контент, не создавая привычной для сайтов ценности — просмотров, рекламы или подписок.
Отчет также фиксирует рост агрессивности ИИ-ботов. В четвертом квартале 2025 года более 13% запросов от ботов игнорировали файл robots.txt, который используется сайтами для ограничения доступа автоматизированных систем.
По оценке TollBit, за период со второго по четвертый квартал доля ИИ-ботов, обходящих эти ограничения, выросла на 400%. Это указывает на ускоряющуюся «гонку вооружений» между разработчиками ботов и системами защиты сайтов.
Экономические последствия феномена скрейпинга выходят далеко за рамки IT-сферы.
!
Массовый скрейпинг увеличивает нагрузку на серверы, повышает расходы на инфраструктуру и кибербезопасность, а также подрывает рекламную модель интернета, поскольку значительная часть трафика перестает быть монетизируемой.
Для медиа, онлайн-сервисов и торговых платформ эра массового скрейпинга неразрывно связана с ростом издержек без пропорционального увеличения доходов. В более широком смысле формируется новый дисбаланс: ценность контента и данных извлекается ИИ-системами, тогда как экономическая отдача от этого процесса все чаще концентрируется вне площадок, которые этот контент создают.
🧭
В результате интернет постепенно трансформируется из среды взаимодействия людей в инфраструктуру для обучения и обслуживания искусственного интеллекта. Этот сдвиг уже влияет на бизнес-модели, регулирование и распределение доходов в цифровой экономике, и в ближайшие годы его последствия будут ощущаться не только в технологическом секторе, но и в медиа, торговле и финансовых услугах.
