Memahami Robots.txt
Fail robots.txt adalah standard yang digunakan oleh laman web untuk berkomunikasi dengan pengikisan enjin carian dan robot web lain. Ia memberitahu bot bahagian mana dari laman anda yang boleh dan tidak boleh diakses.
Apa itu robots.txt?
Robots.txt adalah fail teks biasa yang diletakkan di akar laman web anda (contoh: contoh.com/robots.txt) yang mengikuti Protokol Pengecualian Robots. Ia mengandungi peraturan yang memberitahu pengikis URL mana yang boleh mereka akses di laman anda.
Cara Menggunakan Alat Ini
Tampal kandungan robots.txt anda ke dalam kawasan teks (atau ambil dari domain), masukkan laluan URL yang ingin anda uji, pilih user-agent, dan klik 'Uji URL'. Alat ini akan segera memberitahu anda jika laluan tersebut dibenarkan atau disekat.
Mengapa Uji Robots.txt Anda?
- Mengelakkan menyekat halaman penting secara tidak sengaja dari enjin carian
- Memastikan halaman peribadi atau admin disembunyikan dengan betul dari pengikis
- Menyelesaikan isu pengikisan sebelum ia mempengaruhi kedudukan carian anda
- Mengesahkan perubahan sebelum melaksanakan ke pengeluaran
Privasi Dijamin
Alat ini berfungsi sepenuhnya di pelayar anda. Kandungan robots.txt anda dan URL ujian tidak pernah dihantar ke mana-mana pelayan. Sesuai untuk menguji peraturan yang mengandungi laluan sensitif.