Ваш сайт читают ИИ-агенты — а вы готовы?

Попробуйте в три часа ночи вставить ссылку на свой сайт в isitagentready.com. Вместо уверенного «всё в порядке» вы увидите: «Ваш сайт не читаем для ИИ-агентов: Cloudflare не поддерживает MCP на вашем уровне доступа». Обернитесь к Cloudflare — и обнаружите, что сами Cloudflare блокируют GPTBot на своём сайте из-за ошибки в robots.txt. В документации по Agent Skills значится заглушка, которая ведёт на 404. Поддержка отвечает: «Мы не готовы к ИИ, но продаём инструмент, который это проверяет». Это не сценарий для антиутопии — это то, что происходит сегодня с платформой, которая тестирует монетизацию доступа ИИ-ботов к контенту.

AEO (Agent-Enabled Optimization) — это не замена SEO, а дополнительный слой правил, которые нужно выполнять поверх существующих. То, что хорошо для Google, не всегда подходит для ИИ-агентов. Например, Google исполняет JavaScript, а основные ИИ-краулеры — нет. Если ваш сайт рендерится на клиенте (CSR), ИИ увидит пустую страницу. Крупные платформы уже требуют Server-Side Rendering (SSR) или Static Site Generation (SSG) с загрузкой до 2–3 секунд, иначе агент просто откажется сканировать.

Ещё одна зона риска — robots.txt. Чтобы сайт был виден в ответах ИИ, нужно явно разрешить десятки новых ботов: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot и другие. Многие CMS по умолчанию блокируют таких краулеров; если GPTBot не может зайти на сайт, ChatGPT вас не порекомендует. Приходится вручную править файл — и это делают редко, пока не начинают терять трафик.

Для ИИ важны не только статьи, но и структурированные ответы на вопросы. Приоритет должен быть у Organization (организация), FAQPage (часто задаваемые вопросы), Article и BlogPosting. На обновлённые FAQ-страницы с 30+ вопросами в разговорном стиле ИИ ссылается в 83% случаев по коммерческим запросам. Если таких страниц нет или их не обновляют ежемесячно, агент уйдёт к конкурентам.

Но самый неопределённый элемент — llms.txt. Это Markdown-файл в корне сайта, который должен точно сообщать системам ИИ, какой контент важен. Проблема в том, что ни один крупный провайдер ИИ (OpenAI, Google, Anthropic) не поддерживает llms.txt официально. То есть даже идеально написанный файл могут проигнорировать.

Cloudflare предлагает три инструмента, чтобы хоть как-то структурировать этот хаос.
Первый — AI Gateway + AI Content Exchange, рынок, где владельцы контента могут указывать фиксированную цену за обход страниц ИИ-ботом. Первыми подписантами стали Conde Nast, Time, The Associated Press, The Atlantic и Fortune.
Второй — Pay per Crawl: если ИИ-бот запрашивает данные и готов платить, сервер отвечает 200 и отдаёт контент; если нет — 402 «нужна оплата» с указанием цены.
Третий — isitagentready.com, который сканирует сайт на соответствие новым стандартам.

Проблема в том, что Cloudflare сама заявляет, что не готова к ИИ. На практике защита от неоплаченных ботов не всегда работает стабильно, а новые инструменты тестируются в закрытом режиме. Если платформа, которая позиционирует себя как гарант прозрачности, не может обеспечить стабильную работу на своих площадках, то что говорить о тысячах других сайтов?

На практике AEO пока сводится к минимальному набору действий:

1. Проверить, что в robots.txt разрешены GPTBot, OAI-SearchBot, ChatGPT-User и другие.
2. Убедиться, что сайт отдаёт SSR/SSG, а не пустую страницу.
3. Добавить приоритетные Schema.org (Organization, FAQPage, Article).
4. Написать FAQ-разделы с 30+ вопросами в разговорном стиле и обновлять их ежемесячно.
5. Добавить llms.txt — но не рассчитывать, что его кто-то прочитает.

Если CMS по умолчанию блокирует ИИ-краулеров, придётся править конфигурацию вручную. Если сайт на WordPress или Shopify, велика вероятность, что стандартные настройки уже мешают сканированию. Если используете Cloudflare, проверьте, что MCP и OAuth не отключены на уровне Workers — часто в документации стоят заглушки вместо работающих примеров.

Самый неудобный вывод: AEO не панацея, а эксперимент с высокими рисками. Раннее внедрение новых стандартов может не принести трафика, если основные ИИ-провайдеры их игнорируют. Монетизация доступа ИИ-ботов (Pay per Crawl) выглядит многообещающе, но пока неясно, как она будет работать на практике. Если AEO действительно станет основным источником трафика, интернет может разделиться на «ИИ-читаемые» и «человеческие» сайты — с последними в роли нишевых.

Единственное, что точно работает уже сейчас, — минимальные шаги: разрешить ключевых ботов, перейти на SSR/SSG, добавить Schema.org и обновлять FAQ. Всё остальное — ставка на будущие стандарты, которые ещё не приняты рынком.