Крупные сайты начали массово блокировать веб-скрейпинг ИИ-агентов
Крупные сайты блокируют ИИ-агентов, ломая автоматизацию закупок и бронирований: бизнес теряет клиентов, а суды только начинают решать, чьи права важнее.
OpenAI, Meta*, Google и стартапы вроде Instinct и xAI выпускают автономных агентов — программы, которые должны действовать в интернете от имени пользователя: бронировать столы, покупать товары, чистить почту, заполнять формы. Но крупнейшие сервисы сети не хотят их пускать. За последние недели Яндекс, Delta Air Lines, JPMorgan Chase, Charles Schwab, Cars.com, Amtrak и Amazon ограничили или полностью закрыли доступ агентам. Причины разные: безопасность, защита рекламной модели, желание монетизировать данные. Результат один — обещанная «автоматизация всего» натыкается на закрытые двери.
Для владельца малого бизнеса это не абстрактная история про большие корпорации. Если ваши клиенты начнут пользоваться агентами для поиска товаров или услуг, а ваш сайт или маркетплейс их блокирует — вы потеряете заказ. Если вы сами хотите нанять агента для закупок у поставщиков или бронирований — он может не справиться с банковским порталом или сайтом ЖД. Ситуация меняется быстро, и ждать, пока гиганты договорятся, рискованно.
Почему крупные сайты закрывают доступ ИИ-агентам
Мотивация у игроков разная, но она сводится к трём факторам: деньги, безопасность, нагрузка на инфраструктуру.
Яндекс заявил TechCrunch, что доступ агентам открыт только через платную программу лицензирования данных. Компания не хочет отдавать контент бесплатно тем, кто монетизирует его в своих продуктах. Delta Air Lines блокирует покупку билетов агентами — авиакомпания боится потери контроля над транзакцией и возможного мошенничества. JPMorgan Chase и Charles Schwab ссылаются на безопасность: агенты не проходят стандарты идентификации клиента, требуемые регуляторами.
Amazon — самый агрессивный игрок. Как пишет The Verge, в прошлом году компания запретила агенту Perplexity совершать покупки и подала в суд. Аргумент Amazon: сторонние сервисы, покупающие от имени клиентов, должны действовать открыто и уважать решение площадки участвовать или нет. Perplexity отвечала, что Amazon боится потери просмотров рекламы живыми людьми, и сравнила агента с наемным помощником пользователя. Суд первой инстанции запретил Perplexity работать на Amazon, но апелляция отменила это решение в августе. Amazon подала исправленное заявление — процесс идет.
Meta, столкнувшись с блокировкой своего агента Muse на Amazon, пошла по другому пути. Компания заключила партнерства с Walmart, Gap, Sephora, Best Buy и Shopify. Muse может покупать на их сайтах. Позиция Meta: «Отказ персональному агенту — это отказ клиенту, стоящему за ним». Но даже на сайтах партнеров возникают сбои: пользователи жалуются на проблемы с оформлением заказа на Walmart.
Что происходит с правовым полем: дело Amazon и Perplexity
Спор Amazon и Perplexity — первый крупный прецедент, определяющий правила игры. В центре вопроса: есть ли у пользователя право нанять цифрового помощника, который будет действовать на сайте так же, как живой человек?
Amazon считает, что нет. Площадка контролирует доступ к своей инфраструктуре, данным каталога, системе корзины и оплаты. Агент Perplexity сканирует страницы, извлекает цены, добавляет товары в корзину, оформляет заказ — не показывая пользователю баннеры, рекомендации и рекламу, которые лежат в основе модели Amazon.
Perplexity настаивает: агент — это расширение воли пользователя. Запрет агента — это запрет пользователю выбирать инструменты. Апелляционный суд пока поддержал эту логику, разрешив агенту работать до полного разбирательства по существу.
Для бизнеса в России и СНГ прецедент важен тем, что он легализует понятие «агент пользователя» как отдельного субъекта доступа. Пока российские суды не рассматривали такие споры, но логика будет похожей: если маркетплейс (Ozon, Wildberries, Яндекс Маркет) заблокирует агента, пользователь может потребовать доступ через суд, ссылаясь на права потребителя. И наоборот — маркетплейс будет защищать свою рекламную модель и безопасность.
Как маркетплейсы и банки защищаются
Помимо прямых запретов, работают невидимые барьеры. Системы защиты от ботов — CAPTCHA, анализ поведения, отпечатки браузера — не отличают «плохого» бота-скрапера от «хорошего» агента-ассистента.
Как пишет The Verge, генеральный директор EquiStamp Крис Канал отмечает: агенты запускают те же триггеры безопасности, что и вредоносные скрипты. Пользователи сообщают, что Google блокирует аккаунты, через которые работает Muse, за «подозрительную активность». На Walmart, несмотря на партнерство с Meta*, агенты не могут пройти чекаут.
Банки в России (Сбер, Т-Банк, Альфа) пока не комментировали работу с ИИ-агентами открыто. Но их антифрод-системы настроены на обнаружение аномального поведения: быстрые переходы, отсутствие движений мыши, нестандартные User-Agent. Агент, входящий в личный кабинет за клиентом, с высокой вероятностью получит бан или требование СМС-подтверждения на каждом шаге. Это делает бесполезной саму идею «автономного» помощника для финансовых задач.
Роль Cloudflare и систем защиты от ботов
Инфраструктурный игрок Cloudflare в 2025 году ввел «однокликовую» блокировку ИИ-краулеров. Затем начал блокировать ботов, которые одновременно сканируют сайт для поисковой индексации и для обучения ИИ. Цель — снизить нагрузку на каналы и серверы от взрывного роста ИИ-трафика.
По данным The Verge, Канал предупреждает: такие меры сделают веб «раздражающим» для людей. Сайты будут чаще требовать доказать, что ты не робот — даже в простых задачах вроде заказа продуктов. Каждый новый уровень проверки — это падение конверсии.
Для российского бизнеса урок прост: если вы ставите на сайт агрессивную защиту от ботов (например, через Cloudflare или аналоги Яндекс.Облака, Qrator), вы рискуете отсечь не только скраперы, но и легальный трафик от агентов-ассистентов, а также реальных пользователей с нестандартными настройками браузеров или VPN. Баланс между защитой и доступностью сдвигается в сторону закрытости.
| Аспект | До блокировки ИИ-агентов | После блокировки ИИ-агентов |
|---|---|---|
| Автоматизация закупок | Высокая эффективность, скорость обработки | Снижение скорости, необходимость ручного контроля |
| Сбор данных о ценах | Полный охват рынка, актуальные данные | Ограниченный доступ, риск устаревшей информации |
| Управление бронированиями | Мгновенное подтверждение, оптимизация загрузки | Увеличение времени обработки, возможные ошибки |
| Конкурентоспособность | Преимущество за счёт скорости и точности | Риск отставания от конкурентов с ручными процессами |
Что это значит для бизнеса в России и СНГ: конкретные шаги
Ситуация в рунете повторяет глобальную с опозданием в 6–12 месяцев. Яндекс уже монетизирует данные через API для партнеров. Маркетплейсы ужесточают API-лимиты и вводят платный доступ к каталогам. Банки уже давно блокируют «левые» автоматизации. Через год-полтора появятся российские ИИ-агенты (от Яндекса, Сбера, Т-Банка, стартапов), и начнется та же война за доступ.
Что сделать на этой неделе:
- Проверьте аналитику сайта на бот-трафик. Посмотрите в Яндекс.Метрике или Google Analytics (если есть доступ) долю посещений с подозрительными User-Agent, высокой скоростью просмотра, отсутствием скролла. Поймите: это конкуренты парсят цены, ИИ обучается на вашем контенте или уже приходят агенты-покупатели.
- Решитесь с политикой доступа для агентов. Три варианта: а) блокировать всех (через robots.txt, WAF, Cloudflare) — теряете потенциальных клиентов-агентов; б) открывать всем — получаете нагрузку на сервер и утечку данных конкурентам; в) выборочный доступ — выдаете API-ключи или разрешаете доступ только верифицированным агентам крупных платформ (Яндекс, Сбер, Т-Банк) по договору. Для малого бизнеса оптимален вариант «в» с минимальным набором партнеров.
- Протестируйте свой сайт через ИИ-агента. Запустите простой сценарий: «Найди у меня на сайте товар Х, добавь в корзину, начни оформление». Используйте браузерные агенты вроде Browserbase или ручную эмуляцию через Playwright/Puppeteer с заголовками агента. Увидите, где ломается воронка: CAPTCHA, динамическая загрузка цен, сложные селекторы, обязательные поля, невидимые для скрипта.
- Подготовьте структурированные данные. Schema.org (Product, Offer, LocalBusiness), фиды в Яндекс.Маркет/Товары, корректный sitemap.xml — это язык, на котором агенты понимают ваш каталог без парсинга HTML. Чем чище разметка, тем выше шанс, что агент приведет клиента именно к вам, а не к конкуренту с лучшей структурой.
- Оцените риски для собственных процессов. Если вы используете автоматизацию для закупок у поставщиков, мониторинга цен конкурентов, сбора отзывов — проверьте, не заблокировали ли доноры ваши скрипты. Готовьтесь к тому, что доступ к банковским кабинетам, ЖД, сайтам крупных поставщиков через скрипты будет закрыт. Планируйте переход на официальные API (часто платные) или ручные процессы.
- Обновите пользовательское соглашение и политику конфиденциальности. Добавьте пункт об обработке запросов от ИИ-агентов от имени пользователя. Определите, считаете ли вы такие запросы действиями самого пользователя (для исполнения договора, согласия на рассылки и т.д.). Это снизит правовые риски при спорах.
Вывод
Интернет делится на две зоны: открытую для людей и закрытую для автономных программ. Гиганты — Amazon, Google, банки, авиакомпании — строят заборы. Малый бизнес в России и СНГ не может позволить себе игнорировать этот тренд. Агенты не исчезнут, но их путь к вашему клиенту будет лежать через официальные API, партнерские интеграции и чистую разметку данных. Кто подготовит инфраструктуру раньше — получит трафик от новых интерфейсов. Кто ждет — потеряет контакт с покупателем, который просто скажет ассистенту: «Купи как обычно», и ассистент купит у конкурента, у которого открыт API.
- Деятельность Meta Platforms Inc. (социальные сети Facebook и Instagram*) признана экстремистской и запрещена на территории Российской Федерации.
Часто задаваемые вопросы
Почему крупные сайты блокируют ИИ-агентов?
Крупные сайты блокируют ИИ-агентов для защиты своих данных, предотвращения недобросовестной конкуренции и снижения нагрузки на серверы. Это также способ контроля над условиями использования своих услуг и контента.
Как блокировка ИИ-агентов влияет на бизнес?
Блокировка ИИ-агентов нарушает автоматизированные процессы, такие как сбор цен, мониторинг конкурентов и массовые закупки. Это приводит к увеличению операционных расходов, потере клиентов и снижению эффективности бизнес-процессов.
Какие юридические последствия могут возникнуть?
Юридические последствия включают судебные иски по поводу нарушения авторских прав, несанкционированного доступа к данным и недобросовестной конкуренции. Суды рассматривают вопросы о том, чьи права приоритетнее — владельцев сайтов или разработчиков ИИ-агентов.
Эксперт по созданию сайтов, рекламе в интернете и маркетингу с 2012 года. Основатель агентства AIFORSALE.