SEO Инструмент

AI Markdown Проверка

Тест Cloudflare Markdown для Агентов и AI SEO

Анализируйте, как AI-сканеры взаимодействуют с вашим сайтом. Проверьте поддержку Markdown для Агентов, мета-теги AI (noai/noimageai), правила robots.txt для AI-ботов, заголовки Content-Signal и использование токенов.

Полный AI Аудит

Тестируйте Cloudflare Markdown для Агентов, мета-теги, правила robots.txt, заголовки Content-Signal и использование токенов — все в одном сканировании.

Все Основные AI Боты

Тесты против GPTBot, ChatGPT-User, ClaudeBot, Google-Extended, PerplexityBot, CCBot, Bytespider, Amazonbot и других.

100% Бесплатно и Конфиденциально

Регистрация не требуется. Мы никогда не храним ваши URL или результаты. Проверяйте столько сайтов, сколько хотите.

Понимание Cloudflare Markdown для Агентов и AI SEO

Поскольку такие AI-системы, как ChatGPT, Claude, Gemini и Perplexity, все чаще сканируют веб, возникла новая проблема: как эффективно предоставлять контент AI-агентам, сохраняя контроль над тем, как используется ваш контент. Markdown для Агентов от Cloudflare находится на переднем крае этой эволюции.

Что такое Markdown для Агентов?

Markdown для Агентов — это функция, введенная Cloudflare в их наборе инструментов AI Audit (полностью развернута в начале 2026 года). Когда AI-бот запрашивает страницу с заголовком Accept: text/markdown, Cloudflare автоматически преобразует тяжелый HTML в чистый, компактный Markdown. Это снижает использование токенов до 90%, экономя значительные средства для разработчиков AI, обеспечивая при этом более чистый контент для обработки AI. Преобразование происходит на лету в сети Cloudflare, не требуя изменений в коде вашего сайта.

Как работает этот инструмент?

Наш инструмент выполняет комплексный анализ совместимости вашего сайта с AI. Он отправляет запрос с заголовком Accept: text/markdown, чтобы протестировать поддержку Markdown для Агентов от Cloudflare. Он парсит ваш HTML на наличие мета-директив, специфичных для AI, таких как 'noai' и 'noimageai'. Он получает ваш robots.txt, чтобы проверить правила для AI-ботов, таких как GPTBot, ClaudeBot и Google-Extended. Он также проверяет заголовки ответа на наличие директив Content-Signal и заголовка x-markdown-tokens, который сообщает об оценочном использовании токенов.

Почему стоит проверить совместимость вашего AI Markdown?

  • Снизьте пропускную способность AI-ботов — ответы Markdown используют на 90% меньше токенов, чем HTML
  • Проверьте свои политики контента AI — убедитесь, что мета-теги noai/noimageai правильно реализованы
  • Проверьте заголовки Content-Signal — посмотрите, передает ли ваш сайт разрешения на обучение (ai-train=yes/no)
  • Аудит доступа AI-ботов — подтвердите, какие AI-сканеры могут получить доступ к вашему контенту через правила robots.txt
  • Оптимизация кэширования — проверьте, что заголовок Vary: Accept обеспечивает правильное кэширование версий Markdown и HTML

Конфиденциальность Прежде Всего

Мы только получаем URL, который вы вводите, чтобы выполнить проверки. Данные не хранятся, куки не устанавливаются, и отслеживание не происходит. Ваши результаты генерируются в реальном времени и никогда не сохраняются.

Часто Задаваемые Вопросы

Что такое Cloudflare Markdown для Агентов?
Cloudflare Markdown для Агентов — это функция, которая автоматически преобразует HTML-страницы в компактный Markdown, когда AI-бот запрашивает контент с заголовком Accept: text/markdown. Это снижает использование токенов до 90% и предоставляет более чистый контент для обработки AI. Сайты, использующие Cloudflare, могут включить эту функцию с помощью одного переключателя в своей панели управления в разделе AI Audit.
Что такое заголовки Content-Signal?
Заголовки Content-Signal — это заголовки HTTP-ответа, введенные Cloudflare, которые сообщают, что AI-ботам разрешено делать с вашим контентом. Например, 'Content-Signal: ai-train=yes' явно разрешает обучение AI, в то время как 'ai-train=no' запрещает его. Эти заголовки предоставляют машинно-читаемый способ выражения политик использования контента, выходящих за рамки того, что предлагает robots.txt.
Что делают мета-теги 'noai' и 'noimageai'?
Мета-тег 'noai' сообщает AI-сканерам, что ваш контент не должен использоваться для обучения AI-моделей. Тег 'noimageai' специально предотвращает использование изображений в обучении AI. Эти теги размещаются в разделе head вашего HTML как: <meta name='robots' content='noai, noimageai'>. Эти теги являются развивающимся стандартом, поддерживаемым крупными AI-компаниями.
Что такое заголовок x-markdown-tokens?
Когда Cloudflare предоставляет версию страницы в формате Markdown, он может включать заголовок x-markdown-tokens, который сообщает об оценочном количестве токенов, содержащихся в контенте страницы. Это помогает разработчикам AI понять последствия для пропускной способности и затрат. Обычная веб-страница может использовать 5,000-20,000 токенов в HTML, но только 500-2,000 токенов в Markdown.
Каких AI-ботов проверяет этот инструмент?
Мы проверяем всех основных AI-сканеров: GPTBot и ChatGPT-User (OpenAI), Google-Extended (Gemini), ClaudeBot (Anthropic), CCBot (Common Crawl), PerplexityBot, Amazonbot, Bytespider (ByteDance), FacebookBot (Meta) и Applebot-Extended (Apple Intelligence).
Почему заголовок Vary: Accept важен?
Заголовок Vary: Accept сообщает кэшам (CDN, прокси, браузеры), что ответ варьируется в зависимости от заголовка Accept. Без него кэшированная версия Markdown может быть предоставлена обычному браузеру или наоборот. Cloudflare автоматически устанавливает этот заголовок, когда включен Markdown для Агентов, обеспечивая правильное согласование контента.