فهم robots.txt
ملف robots.txt هو معيار تستخدمه المواقع للتواصل مع زواحف محركات البحث وغيرها من الروبوتات. يحدد للروبوتات أي أجزاء من موقعك يمكنهم الوصول إليها وأيها لا يمكنهم.
ما هو robots.txt؟
robots.txt هو ملف نصي عادي يوضع في جذر موقعك (مثال: example.com/robots.txt) ويتبع بروتوكول استبعاد الروبوتات. يحتوي على قواعد تخبر الزواحف بأي عناوين URL يمكنهم الوصول إليها.
كيفية استخدام هذه الأداة
الصق محتوى robots.txt في مربع النص (أو جلبه من نطاق)، أدخل مسار URL الذي تريد اختباره، اختر وكيل المستخدم، واضغط على 'اختبار URL'. ستعرف فورًا إذا كان المسار مسموحًا أو محجوبًا.
لماذا تختبر robots.txt؟
- منع حجب الصفحات المهمة عن محركات البحث بالخطأ
- ضمان إخفاء الصفحات الخاصة أو الإدارية عن الزواحف
- حل مشاكل الزحف قبل أن تؤثر على ترتيبك في البحث
- التحقق من التغييرات قبل تطبيقها على الموقع الفعلي
خصوصيتك مضمونة
تعمل هذه الأداة بالكامل في متصفحك. محتوى robots.txt ومسارات الاختبار لا تُرسل لأي خادم. مثالية لاختبار القواعد التي تحتوي على مسارات حساسة.