ماهو ملف robots وكيفية تعديله حسب الطلب
ربما سمعت مراراً عن ملف robots.txt ماهوا هذا الملف ومافائدته, يتلخص فائدة الملف هذا بأنه يخبر برامج الزحف (العناكب) كما يسمونها الخاصة بمحركات البحث عن العناوين URL-الروابط التي يمكن للزاحف (العناكب) الوصول إليها على موقعك. يستخدم هذا بشكل أساسي لتجنب إثقال موقعك بالطلبات.
ماذا يمكنك فعله في ملف robots.txt
هناك عدة امور تسستطيع فعلها في هذا الملف حتى تتحكم بكيفة ارشفة موقعك منها
- يمكنك حظر ارشفة بعض الصفحات من على موقعك لاتريد محركات البحث ان تقوم بوضعها في صفحات البحث مثل المجلدات الخاصه او الصفحات التجريبية على سبيل المثال
- اعطاء صفحات معينة اهمية اكبر حتى يتم ارشفتها بشكل اسرع
- منع العناكب من ارشفة نوع معين من الميديا على موقعك على سبيل المثال الصور, او مقاطع الفيديو وغيرها من الوسائط
كيفية تكوين وتعديل ملف robots.txt ؟
سوف نستعرض معكم بعض الأوامر التي تستطيع ان تستخدمها في الملف الخاص بك حتى تتحكم بعناكب البحث وتحديد ماتريده
- الأمر التالي هو لاعطاء الصلاحية لعناكب البحث بأرشفة جميع محتويات موقعك بلا استئناء
User-agent: *
Allow: /- على عكس الأمر السابق هذا الأمر خاص بمنع وصول عناكب البحث وارشفة موقعك على الأطلاق
User-agent: *
Disallow: /- في هذا الأمر اعطاء الصلاحية لعناكب البحث بأرشفة موقعك بالكامل ماعدا ملف XXX
User-agent: *
Disallow: /XXX/- في الأمر التالي منع محركات البحث من ارشفة اي رابط يحتوي على كلمة XXX (على سبيل المثال XXX.html, XXX.php…الخ)
User-agent: *
Disallow: /XXXالأمر التالي هو اعطاء الصلاحية لعناكب بحث قوقل ومنع الوصول للعناكب البحث الأخرى على سبيل المثال بنج و ياهوو
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /- الأمر التالي منع عناكب البحث من ارشفة صفحة معينة ( على سبيل المثال XXX.html)
User-agent: *
Disallow: /XXX.htmlتأكد من صحة اعدادات ملف robots.txt
بعد اعداد الملف ووضع الصلاحيات يجب التأكد من ان اعدادتك صحيحه وتتوافق مع قراءة العناكب, حتى تقوم بالتأكد من الاعدادت ادخل الرابط بالأسفل وضع رابط الملف وسوف يقوم موقع قوقل بالتأكد من الاعدادات
