Meta* обновила условия: теперь алгоритмы сканируют открытые сайты для обучения моделей
Meta* обновила условия: теперь она может сканировать сайты бизнеса для обучения ИИ бесплатно, игнорируя robots.txt и без согласия владельцев.
Meta вводит в силу новые коммерческие условия с 30 октября. По данным The Verge, изменения дают компании право автоматически сканировать и собирать контент с любых веб-страниц, «связанных» с бизнес-аккаунтами в Facebook, Instagram, WhatsApp и Messenger. Собранные материалы Meta может использовать для разработки, улучшения и обучения своих ИИ-продуктов. Для владельцев сайтов и медиа это означает: их контент может попасть в обучающую выборку без отдельного согласия и без оплаты.
Ранее Meta* заключала лицензионные соглашения с крупными изданиями вроде CNN, Fox News, USA Today и People Inc. Новые условия, по мнению экспертов, позволяют компании получить доступ к гораздо более широкому массиву данных — включая сайты малого и среднего бизнеса — минуя переговоры о лицензиях. Как пишет The Verge со ссылкой на Nieman Lab, юристы считают: формулировки в условиях могут перекрыть технические запреты вроде robots.txt.
Что именно изменилось в условиях
Текст новых коммерческих условий прямо указывает: бизнес авторизует Meta* (или лица, действующие от её имени) использовать автоматизированное ПО — скрейперы, боты, пауки, краулеры — для доступа к доменам, страницам и URL, «связанным с вашими продуктами или услугами». Компания получает право индексировать, кэшировать, анализировать, собирать и периодически обновлять данные с этих ресурсов.
Дальше следует ключевая фраза: Meta* может использовать любой контент с таких доменов, чтобы «предоставлять, разрабатывать, улучшать, исследовать, обучать и поддерживать целостность» своих продуктов и сервисов. В публикации не уточняется, как именно алгоритм определяет, какой сайт «связан» с аккаунтом — достаточно ли ссылки в профиле, в рекламе или в органических постах.
Представитель Meta Даниэль Робертс заявил, что речь идёт лишь о консолидации существующих рекламных и коммерческих условий, а не о новом способе использования краулеров. По его словам, владельцы контента всё ещё могут использовать флаги robots.txt для указания предпочтений. Джеймс Гриммельман, профессор цифрового и информационного права в Корнельском университете, сказал Nieman Lab: для новоиздателей это явно выглядит как разрешение Meta обучать ИИ на любом контенте с их сайтов и, возможно, развёртывать его даже в конкуренции с самими издателями.
Почему robots.txt может не сработать
Файл robots.txt — давно устоявшийся стандарт: он сообщает ботам поисковиков, какие разделы сайта не индексировать. До недавнего времени الكبرى ИИ-компании, включая OpenAI и Meta, заявляли, что уважают этот протокол. Новые условия Meta содержат формулировку, которая, по мнению юристов, даёт компании правовой аргумент: коммерческие условия превосходят технические инструкции блокировки.
Если суд или арбитр примет эту логику, запрет в robots.txt перестанет быть гарантией. Meta* получит легальный доступ к полным текстам статей, описаниям товаров, отзывам, ценам и любым другим данным, которые бизнес публикует на своих доменах. Для малого бизнеса, у которого нет юридического отдела для отслеживания судебной практики, это создаёт асимметрию: вы ставите запрет, а компания ссылается на подписанные вами условия и продолжает сбор.
Связь с платной подпиской Meta* One
В прошлом месяце Meta запустила подписку Meta One. Она требует от бизнеса и креаторов оплаты за возможность размещать ссылки в постах и Reels. Как отмечает Nieman Lab, получается парадокс: Meta* начинает брать деньги за право дать ссылку на контент, который сама получает право сканировать бесплатно для обучения своих моделей.
Эта модель меняет экономику трафика. Раньше бизнес платил за рекламу, чтобы привести пользователя на свой сайт. Теперь платформа может использовать контент сайта для тренировки ИИ, который затем будет генерировать ответы или рекомендации внутри экосистемы Meta* — не отправляя трафик обратно на источник. Для интернет-магазина это значит: вы платите за привлечение клиента, а ваш каталог товаров бесплатно пополняет базу знаний ИИ-ассистента конкурента или самой платформы.
Позиция Meta*: цель — товары, а не новости
Вице-президент по коммуникациям Энди Стоун написал в X, что обновление не нацелено на новостные сайты. По его словам, цель — обеспечить точное получение информации о товарах на сторонних сайтах для рекламных рекомендаций и контентных подборок на платформе.
Однако текст условий не ограничивается только товарными страницами. Формулировка «домены, веб-страницы или URL, связанные с вашими продуктами или услугами» охватывает блоги, статьи, кейсы, документацию — всё, что бизнес публикует для маркетинга. Юристы, опрошенные Nieman Lab, указывают: юридически текст позволяет Meta* аргументировать доступ к любому контенту на домене, если аккаунт бизнеса продвигает этот домен. Уточнение от 17 октября, о котором сообщает The Verge, сузило формулировку до «ads and business products», но базовый механизм авторизации краулинга остался в силе.
| Аспект изменений | До обновления условий | После обновления условий |
|---|---|---|
| Сканирование сайтов | С учётом robots.txt, по согласию | Игнорирование robots.txt, без согласия |
| Цель сканирования | Индексация для поиска | Обучение ИИ, индексация |
| Оплата за данные | Не предусмотрено | Бесплатное использование данных |
| Контроль владельца | Возможность блокировки | Ограниченные возможности блокировки |
Что это значит для малого бизнеса в России и СНГ
Прямого юридического действия Meta против российских компаний сейчас нет — платформа ушла с рынка, рекламный кабинет заблокирован, платежи не проходят. Но технически краулеры Meta (facebookexternalhit, Meta-ExternalAgent и др.) продолжают ходить по открытому вебу. Новые условия закрепляют их право использовать найденное для обучения глобальных моделей, включая Llama и будущие мультимодальные системы.
Для бизнеса, который работает на внутреннем рынке или выходит на зарубеж через зеркала, параллельные домены или партнёров, риски конкретны:
- Контент уходит в обучение без оплаты. Описания товаров, статьи блога, FAQ, технические спецификации — всё это становится тренировочными данными для ИИ, который потом может выдавать ответы пользователям WhatsApp, Instagram* или мета-поиску, не ссылаясь на вас.
- Потеря уникальности в выдаче. Если ИИ научится генерировать ответы на основе вашего контента, пользователю не придётся переходить на ваш сайт. Трафик уйдёт в чат-бот или резюмирующий виджет.
- Нет левериджа для переговоров. Крупные холдинги могут договориться о лицензии. Малый бизнес подписывает условия акцептом — создавая бизнес-аккаунт или запуская рекламу — и теряет контроль.
Шаги, которые имеет смысл сделать на этой неделе
- Проверьте robots.txt. Добавьте директивы
User-agent: Meta-ExternalAgentиUser-agent: facebookexternalhitсDisallow: /. Это не гарантия после новых условий, но базовая гигиена. Добавьте такжеUser-agent: CCBot,User-agent: GPTBot,User-agent: ClaudeBot— другие крупные краулеры тоже собирают данные. - Закройте административные и технические разделы. Убедитесь, что в robots.txt запрещены
/admin/,/bitrix/,/wp-admin/,/api/,/search/, страницы корзины, чекаута, личного кабинета. Это не про ИИ, но про безопасность и чистоту индекса. - Разметьте авторство и права. Используйте schema.org
WebPage,Article,Productс полямиauthor,publisher,copyrightHolder. Это не запретит сбор, но фиксирует авторство в структурированном виде — полезно для будущих споров или систем атрибуции. - Настройте серверные правила блокировки. В nginx или Apache добавьте возврат 403 для User-Agent, содержащих
Meta,facebookexternalhit,Meta-ExternalAgentпо IP-диапазонам AS32934 (Meta Platforms). Список подсетей публичен в документации Meta для разработчиков. Это жёсткий блок: бот получит ошибку, а не контент. - Оцените ценность открытого контента. Если вы публикуете уникальные методики, расчёты, экспертизу — подумайте, какой фрагмент оставить открытым для SEO и клиентов, а какой убрать за авторизацию, в PDF или в закрытый раздел. ИИ не проиндексирует то, что не может скачать.
- Сохраните скриншоты условий. Зафиксируйте версию коммерческих условий Meta* на дату 30 октября. Если в будущем возникнет претензия по авторским правам, у вас будет доказательство того, к чему вы «согласились» акцептом.
- Следите за судебной практикой в ЕС и США. Первые иски по использованию контента для обучения ИИ уже идут. Решения судов по
robots.txtvs Terms of Service создадут прецедент. Для российского бизнеса это сигнал: как решат там, так будет работать и здесь — модели обучаются на глобальном корпусе.
В условиях постоянных изменений правил использования данных и алгоритмов поисковых систем, эффективное присутствие в интернете требует адаптивных стратегий. Комплексный подход к digital-маркетингу позволяет бизнесу не только соответствовать новым требованиям, но и использовать их для усиления своих позиций на рынке. Это обеспечивает устойчивое развитие и защиту интересов компании.
Итог
Meta легализовала сбор данных с сайтов бизнеса для обучения ИИ через принятие коммерческих условий. Технические запреты вроде robots.txt могут оказаться юридически бессильными. Прямого воздействия на российский рынок пока нет, но краулеры работают глобально. Защита контента сейчас — это комбинация серверных блокировок по User-Agent и IP, разметки авторства и осознанного управления тем, что вы кладете в открытый доступ. Платить за ссылки в Meta One, чтобы платформа бесплатно качала ваш каталог в свою модель — экономически невыгодно. Лучше закрыть доступ ботам на уровне сервера и держать уникальный контент ближе к себе.
- Деятельность Meta Platforms Inc. (социальные сети Facebook и Instagram) признана экстремистской и запрещена на территории Российской Федерации.
Часто задаваемые вопросы
Что означают новые условия Meta* для бизнеса?
Новые условия позволяют Meta* сканировать публичные веб-ресурсы бизнеса для обучения своих ИИ-моделей. Это происходит бесплатно и может игнорировать директивы robots.txt, что означает уменьшение контроля владельцев над использованием их контента.
Как бизнес может защитить свои данные от сканирования?
Полностью исключить сканирование сложно, так как Meta* может игнорировать robots.txt. Рекомендуется пересмотреть политику конфиденциальности, использовать мета-теги noindex/nofollow для страниц, которые не должны быть использованы, и рассмотреть возможность ограничения публичного доступа к конфиденциальной информации.
Влияет ли это на SEO-позиции сайта?
Прямого негативного влияния на SEO-позиции в поисковых системах, таких как Google или Яндекс, не ожидается. Однако, использование контента сайта для обучения ИИ может привести к появлению схожего или перефразированного контента в ответах ИИ-сервисов, что потенциально может снизить трафик на оригинальный источник.
Эксперт по созданию сайтов, рекламе в интернете и маркетингу с 2012 года. Основатель агентства AIFORSALE.