Alat SEO

Pemeriksa Markdown AI

Uji Markdown Cloudflare untuk Agen & SEO AI

Analisis bagaimana perayap AI berinteraksi dengan situs web Anda. Periksa dukungan Markdown untuk Agen, tag meta AI (noai/noimageai), aturan robots.txt untuk bot AI, header Content-Signal, dan penggunaan token.

Audit AI Lengkap

Uji Markdown Cloudflare untuk Agen, tag meta, aturan robots.txt, header Content-Signal, dan penggunaan token — semuanya dalam satu pemindaian.

Semua Bot AI Utama

Uji terhadap GPTBot, ChatGPT-User, ClaudeBot, Google-Extended, PerplexityBot, CCBot, Bytespider, Amazonbot, dan lainnya.

100% Gratis & Pribadi

Tidak perlu registrasi. Kami tidak pernah menyimpan URL atau hasil Anda. Periksa sebanyak mungkin situs yang Anda inginkan.

Memahami Markdown Cloudflare untuk Agen & SEO AI

Seiring sistem AI seperti ChatGPT, Claude, Gemini, dan Perplexity semakin merayapi web, tantangan baru muncul: bagaimana menyajikan konten secara efisien kepada agen AI sambil mempertahankan kontrol atas bagaimana konten Anda digunakan. Markdown untuk Agen Cloudflare berada di garis depan evolusi ini.

Apa itu Markdown untuk Agen?

Markdown untuk Agen adalah fitur yang diperkenalkan oleh Cloudflare dalam suite Audit AI mereka (diluncurkan sepenuhnya pada awal 2026). Ketika bot AI meminta halaman dengan header Accept: text/markdown, Cloudflare secara otomatis mengonversi HTML yang berat menjadi Markdown yang bersih dan kompak. Ini mengurangi penggunaan token hingga 90%, menghemat biaya signifikan bagi pengembang AI sambil menyediakan konten yang lebih bersih untuk pemrosesan AI. Konversi terjadi secara langsung di jaringan tepi Cloudflare, tanpa memerlukan perubahan pada kode situs web Anda.

Bagaimana Alat Ini Bekerja?

Alat kami melakukan analisis komprehensif tentang kompatibilitas AI situs web Anda. Ini mengirimkan permintaan dengan header Accept: text/markdown untuk menguji dukungan Markdown Cloudflare untuk Agen. Ini mem-parsing HTML Anda untuk direktif meta khusus AI seperti 'noai' dan 'noimageai'. Ini mengambil robots.txt Anda untuk memeriksa aturan untuk user-agent bot AI seperti GPTBot, ClaudeBot, dan Google-Extended. Ini juga memeriksa header respons untuk direktif Content-Signal dan header x-markdown-tokens yang melaporkan perkiraan penggunaan token.

Mengapa Memeriksa Kompatibilitas Markdown AI Anda?

  • Mengurangi bandwidth bot AI — respons Markdown menggunakan hingga 90% lebih sedikit token dibandingkan HTML
  • Verifikasi kebijakan konten AI Anda — pastikan tag meta noai/noimageai diterapkan dengan benar
  • Periksa header Content-Signal — lihat apakah situs Anda mengkomunikasikan izin pelatihan (ai-train=yes/no)
  • Audit akses bot AI — konfirmasi bot AI mana yang dapat mengakses konten Anda melalui aturan robots.txt
  • Optimalkan caching — verifikasi header Vary: Accept memastikan caching yang tepat antara versi Markdown dan HTML

Privasi Pertama

Kami hanya mengambil URL yang Anda masukkan untuk melakukan pemeriksaan. Tidak ada data yang disimpan, tidak ada cookie yang diatur, dan tidak ada pelacakan yang terjadi. Hasil Anda dihasilkan secara real-time dan tidak pernah disimpan.

Pertanyaan yang Sering Diajukan

Apa itu Markdown Cloudflare untuk Agen?
Markdown Cloudflare untuk Agen adalah fitur yang secara otomatis mengonversi halaman HTML menjadi Markdown kompak ketika bot AI meminta konten dengan header Accept: text/markdown. Ini mengurangi penggunaan token hingga 90% dan menyediakan konten yang lebih bersih untuk pemrosesan AI. Situs yang menggunakan Cloudflare dapat mengaktifkan fitur ini dengan satu toggle di dasbor mereka di bawah bagian Audit AI.
Apa itu header Content-Signal?
Header Content-Signal adalah header respons HTTP yang diperkenalkan oleh Cloudflare yang mengkomunikasikan apa yang diizinkan untuk dilakukan bot AI dengan konten Anda. Misalnya, 'Content-Signal: ai-train=yes' secara eksplisit mengizinkan pelatihan AI, sementara 'ai-train=no' melarangnya. Header ini memberikan cara yang dapat dibaca mesin untuk mengekspresikan kebijakan penggunaan konten di luar apa yang ditawarkan oleh robots.txt.
Apa yang dilakukan tag meta 'noai' dan 'noimageai'?
Tag meta 'noai' memberi tahu perayap AI bahwa konten Anda tidak boleh digunakan untuk pelatihan model AI. Tag 'noimageai' secara khusus mencegah gambar digunakan dalam pelatihan AI. Ini ditempatkan di bagian head HTML Anda sebagai: <meta name='robots' content='noai, noimageai'>. Tag ini adalah standar yang muncul yang didukung oleh perusahaan AI besar.
Apa itu header x-markdown-tokens?
Ketika Cloudflare menyajikan versi Markdown dari sebuah halaman, ia dapat menyertakan header x-markdown-tokens yang melaporkan perkiraan jumlah token yang terkandung dalam konten halaman. Ini membantu pengembang AI memahami implikasi bandwidth dan biaya. Sebuah halaman web biasa mungkin menggunakan 5.000-20.000 token dalam HTML tetapi hanya 500-2.000 token dalam Markdown.
Bot AI mana yang diperiksa oleh alat ini?
Kami memeriksa semua perayap AI utama: GPTBot dan ChatGPT-User (OpenAI), Google-Extended (Gemini), ClaudeBot (Anthropic), CCBot (Common Crawl), PerplexityBot, Amazonbot, Bytespider (ByteDance), FacebookBot (Meta), dan Applebot-Extended (Apple Intelligence).
Mengapa header Vary: Accept penting?
Header Vary: Accept memberi tahu cache (CDN, proxy, browser) bahwa respons bervariasi berdasarkan header Accept. Tanpa itu, versi Markdown yang disimpan mungkin disajikan kepada browser biasa, atau sebaliknya. Cloudflare secara otomatis mengatur header ini ketika Markdown untuk Agen diaktifkan, memastikan negosiasi konten yang tepat.