Інструмент SEO

AI Markdown Checker

Тестування Cloudflare Markdown для Агентів та AI SEO

Аналізуйте, як AI краулери взаємодіють з вашим вебсайтом. Перевірте підтримку Markdown для Агентів, AI мета-теги (noai/noimageai), правила robots.txt для AI ботів, заголовки Content-Signal та використання токенів.

Повний аудит AI

Тестуйте Cloudflare Markdown для Агентів, мета-теги, правила robots.txt, заголовки Content-Signal та використання токенів — все в одному скануванні.

Усі основні AI боти

Тести проти GPTBot, ChatGPT-User, ClaudeBot, Google-Extended, PerplexityBot, CCBot, Bytespider, Amazonbot та інших.

100% безкоштовно та приватно

Реєстрація не потрібна. Ми ніколи не зберігаємо ваші URL або результати. Перевіряйте стільки сайтів, скільки хочете.

Розуміння Cloudflare Markdown для Агентів та AI SEO

Оскільки AI системи, такі як ChatGPT, Claude, Gemini та Perplexity, все більше краулять веб, виникла нова проблема: як ефективно надавати контент AI агентам, зберігаючи контроль над тим, як використовується ваш контент. Markdown для Агентів від Cloudflare є на передньому плані цієї еволюції.

Що таке Markdown для Агентів?

Markdown для Агентів — це функція, введена Cloudflare у їхньому наборі інструментів AI Audit (повністю запущена на початку 2026 року). Коли AI бот запитує сторінку з заголовком Accept: text/markdown, Cloudflare автоматично перетворює важкий HTML на чистий, компактний Markdown. Це зменшує використання токенів до 90%, заощаджуючи значні витрати для розробників AI, забезпечуючи при цьому чистіший контент для обробки AI. Перетворення відбувається на льоту в мережі Cloudflare, не вимагаючи змін у коді вашого вебсайту.

Як працює цей перевірник?

Наш інструмент виконує всебічний аналіз сумісності вашого вебсайту з AI. Він надсилає запит з заголовком Accept: text/markdown, щоб перевірити підтримку Markdown для Агентів від Cloudflare. Він парсить ваш HTML на наявність специфічних мета-директив для AI, таких як 'noai' та 'noimageai'. Він отримує ваш robots.txt, щоб перевірити правила для AI ботів, таких як GPTBot, ClaudeBot та Google-Extended. Він також перевіряє заголовки відповіді на наявність директив Content-Signal та заголовка x-markdown-tokens, який повідомляє про оцінене використання токенів.

Чому варто перевірити сумісність вашого AI Markdown?

  • Зменшити пропускну здатність AI ботів — відповіді Markdown використовують до 90% менше токенів, ніж HTML
  • Перевірити політики контенту AI — переконатися, що мета-теги noai/noimageai правильно реалізовані
  • Перевірити заголовки Content-Signal — дізнатися, чи ваш сайт повідомляє про дозволи на навчання (ai-train=yes/no)
  • Аудит доступу AI ботів — підтвердити, які AI краулери можуть отримати доступ до вашого контенту через правила robots.txt
  • Оптимізувати кешування — перевірити, чи заголовок Vary: Accept забезпечує правильне кешування версій Markdown та HTML

Приватність на першому місці

Ми отримуємо лише URL, який ви вводите, щоб виконати перевірки. Дані не зберігаються, куки не встановлюються, і відстеження не відбувається. Ваші результати генеруються в реальному часі і ніколи не зберігаються.

Часто задавані питання

Що таке Cloudflare Markdown для Агентів?
Cloudflare Markdown для Агентів — це функція, яка автоматично перетворює HTML-сторінки на компактний Markdown, коли AI бот запитує контент з заголовком Accept: text/markdown. Це зменшує використання токенів до 90% і забезпечує чистіший контент для обробки AI. Сайти, що використовують Cloudflare, можуть активувати цю функцію одним перемикачем у своїй панелі управління в розділі AI Audit.
Що таке заголовки Content-Signal?
Заголовки Content-Signal — це заголовки відповіді HTTP, введені Cloudflare, які повідомляють, що AI ботам дозволено робити з вашим контентом. Наприклад, 'Content-Signal: ai-train=yes' явно дозволяє навчання AI, тоді як 'ai-train=no' забороняє його. Ці заголовки забезпечують машинозчитуваний спосіб вираження політик використання контенту, які виходять за межі того, що пропонує robots.txt.
Що роблять мета-теги 'noai' та 'noimageai'?
Мета-тег 'noai' повідомляє AI краулерам, що ваш контент не повинен використовуватися для навчання AI моделей. Тег 'noimageai' спеціально забороняє використання зображень у навчанні AI. Ці теги розміщуються у вашій секції HTML head як: <meta name='robots' content='noai, noimageai'>. Ці теги є новим стандартом, підтримуваним основними AI компаніями.
Що таке заголовок x-markdown-tokens?
Коли Cloudflare надає версію сторінки Markdown, він може включати заголовок x-markdown-tokens, який повідомляє про оцінену кількість токенів, що містить контент сторінки. Це допомагає розробникам AI зрозуміти наслідки для пропускної здатності та витрат. Звичайна веб-сторінка може використовувати 5,000-20,000 токенів у HTML, але лише 500-2,000 токенів у Markdown.
Які AI боти перевіряє цей інструмент?
Ми перевіряємо всіх основних AI краулерів: GPTBot та ChatGPT-User (OpenAI), Google-Extended (Gemini), ClaudeBot (Anthropic), CCBot (Common Crawl), PerplexityBot, Amazonbot, Bytespider (ByteDance), FacebookBot (Meta) та Applebot-Extended (Apple Intelligence).
Чому заголовок Vary: Accept важливий?
Заголовок Vary: Accept повідомляє кешам (CDN, проксі, браузери), що відповідь варіюється в залежності від заголовка Accept. Без нього кешована версія Markdown може бути надана звичайному браузеру, або навпаки. Cloudflare автоматично встановлює цей заголовок, коли Markdown для Агентів активовано, що забезпечує правильне узгодження контенту.