كيف تعمل الأداة؟
اختبر وصول برامج الزحف إلى مسارات تختارها حسب قواعد robots.txt، أو أنشئ خريطة موقع XML من قائمة روابط وراجعها قبل نشرها على موقعك. يتبع فحص الزحف RFC 9309؛ تُختار أطول قاعدة مطابقة، وعند التعادل تُعطى الأولوية إلى Allow. ويكون الزحف مسموحًا عند غياب أي قاعدة مطابقة. لاختبار الزحف، ألصق محتوى robots.txt وحدد اسم برنامج الزحف والمسار المقصود. راجع قرار السماح أو المنع والقاعدة التي حددته عند وجود أكثر من تطابق.
طريقة الاستخدام
لاختبار الزحف، ألصق محتوى robots.txt وحدد اسم برنامج الزحف والمسار المقصود.
راجع قرار السماح أو المنع والقاعدة التي حددته عند وجود أكثر من تطابق.
لإنشاء خريطة الموقع، ألصق العناوين الكاملة وراجع ملف XML قبل نشره في موقعك.
أهم الميزات
- فحص Allow وDisallow
- دعم بدل المسار ونهايته
- اختبار قواعد برامج زحف محددة
- خريطة موقع XML من قائمة عناوين
الطريقة والمعادلات
يتبع فحص الزحف RFC 9309؛ تُختار أطول قاعدة مطابقة، وعند التعادل تُعطى الأولوية إلى Allow. ويكون الزحف مسموحًا عند غياب أي قاعدة مطابقة.
حالات الاستخدام
- مراجعة سبب حظر برنامج الزحف لمسار منشور.
- إعداد خريطة XML بعد تغيير روابط الموقع.
- التحقق من السماح بمسار محدد داخل مجلد محظور.
أمثلة تطبيقية
سماح محدد يهزم اقصر
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
مخففة (قاعدة السماح الأطول تتخطى إلغاء أقصر)
RFC 9309 يحل بتطابق طول الحرف، وليس رقم خط الملف.
مربع محدد للعميل
User-agent: GPTBot -> Disallow: /
مقفلة لـ GPTBOT، مُسَلَّمة لـ Googlebot (يتراجع إلى `*`)
ولا ترث مجموعات العوامل المستهدفة قواعد مجموعة البطاقات البرية `*`.
حدود الأداة
- • خريطة الموقع المفردة محدودة بـ 50,000 رابط؛ تحتاج المواقع الأكبر إلى فهرس خرائط.
- • لا تدخل امتدادات مثل Crawl-delay في قرار السماح بالزحف أو منعه.
ملفاتك وخصوصيتك
تعالج أداة فاحص robots.txt ومولد خريطة الموقع ملفاتك ومدخلاتك على جهازك.
يتولى متصفحك المعالجة من دون إرسال الملفات إلى خادم.
لا يسجل Microdeck النصوص أو الملفات التي تستخدمها في الأدوات. تحتاج الصفحة إلى اتصال بالإنترنت كي تُحمّل.
نزّل النتائج التي تريد الاحتفاظ بها أو انسخها قبل إغلاق علامة التبويب. تحفظ بعض الأدوات المسودات في متصفحك.
الأسئلة الشائعة
لماذا تسود قاعدة Allow لجزء من مسار محظور؟
يختار برنامج الزحف أطول قاعدة تطابق المسار. عندما يتساوى طول التطابق، يعطي RFC 9309 الأولوية إلى Allow.
هل تأخذ الأداة Crawl-delay في الحسبان؟
يقتصر فحص الإذن على قواعد الوصول، لذا لا يغيّر Crawl-delay نتيجة السماح بالمسار أو منعه.
هل يمكن وضع أكثر من 50,000 رابط في خريطة؟
قسّم العناوين إلى ملفات متعددة وأدرج كل ملف في فهرس خرائط الموقع.