ملف robots.txt

[سلمي امير]

ما هو ملف robots.txt

هو ملف يضاف إلى المجلد الرئيسي للموقع لإعطاء تعليمات وأوامر لتنظيم ملف موقعك في محركات البحث ، ووظيفة ملف "robots.txt" هو إعطاء تعليمات لعناكب محركات البحث عن الأرشفة أو عدم الأرشفة بعد محتويات وصفحات موقعك.


أهمية إضافة ملف robots.txt إلى موقع ويب؟
تم تقديم ميزة إضافة ملف robots.txt إلى الموقع في عام 1994 من خلال بروتوكول يسمى "بروتوكول استبعاد الروبوت" وتكمن أهميته في ما يلي:


لا تقوم العناكب الزاحفة بأرشفة جميع المقالات والصفحات في كل مرة تدخل إلى موقعك مرة واحدة ، ولكنها تترك الباقي ليتم الزحف إليها وأرشفتها في الزيارات المستقبلية ، وبالتالي يعمل هذا على تأخير أرشفة موقع الويب الخاص بك ويحاول ملف الروبوت فرض لإكمال الزحف
من خلال ملف "robots.txt" ، يمكنك تحديد الصفحات غير المهمة على موقعك والتركيز على الصفحات المهمة التي سيتم أرشفتها باستخدام الأوامر الموجودة في ملف "robots.txt" الذي سيتم مناقشته لاحقًا في هذه المقالة.
عندما تكون هناك أعمال صيانة على موقعك ، يوصى بعدم السماح لعناكب محركات البحث بالزحف إلى موقعك ، ويتم ذلك من خلال ملف "robots.txt".
يمكنك استخدام ملف robots.txt لإدارة حركة مرور الزحف ، وكذلك لمنع الصور والفيديو وملفات الصوت من الظهور في نتائج بحث Google.



يمكنك استخدام ملف robots.txt لحظر ملفات الموارد ، مثل الصور غير المرغوب فيها أو البرامج النصية أو ملفات الأنماط ، إذا كنت تعتقد أن الصفحات التي تم تحميلها بدون هذه الموارد لن تتأثر بشكل كبير بفقدانها. ولكن إذا كان عدم وجود هذه الموارد يجعل من الصعب على زاحف Google استيعاب محتوى الصفحة ، فلا يجب عليك حظره. خلافًا لذلك ، لن تتمكن Google من تحليل صفحاتك التي تعتمد على هذه الموارد بشكل صحيح.
ملاحظات مهمة حول ملف "robots.txt"
لا يزال من الممكن فهرسة الصفحة التي تم حظرها بواسطة ملف robot.txt إذا تم ربطها من مواقع أخرى
بينما لا تقوم Google بالزحف إلى المحتوى المحظور بواسطة ملف robots.txt أو فهرسته ، يمكن لعناكب Google العثور على عنوان URL غير مصرح به وفهرسته إذا كان مرتبطًا من مكان آخر على الويب. نتيجة لذلك ، قد يستمر ظهور عنوان URL وربما المعلومات الأخرى المتاحة بشكل عام ، مثل النص الأساسي في روابط الصفحة ، في نتائج بحث Google.


ملف robots.txt
يجب عدم استخدام ملف robots.txt كطريقة لإخفاء صفحات الويب الخاصة بك من نتائج بحث Google. هذا لأنه إذا كانت الصفحات الأخرى تشير إلى صفحتك بنص وصفي ، فقد تتم فهرسة صفحتك دون زيارة الصفحة. إذا كنت تريد حظر صفحتك من نتائج البحث ، فيمكنك استخدام طريقة مثل الحماية بكلمة مرور أو noindex.
أين يوجد ملف robots.txt؟
يتم إنشاء ملف robots.txt وتخزينه في ملفات الجذر الخاصة بموقعك ، وبشكل أساسي في المجلد Public_html. لعرضه ، انسخ رابط موقعك والصقه في شريط ارتباط المتصفح ، ثم أضف "robots.txt" إلى نهاية ارتباط موقعك. على سبيل المثال: https://damrah.com/robots.txt


كيف أقوم بإنشاء ملف robots.txt؟
اشرح أوامر robots.txt؟
تتكون الأوامر الموجودة في ملف robots.txt من أربعة أوامر رئيسية يتم من خلالها اشتقاق جميع الأوامر الموجودة في ملف الروبوت في ملف txt ، وهي كالتالي:


User-agent باستخدام هذا الأمر ، يمكنك تحديد محركات البحث التي تنطبق عليها الأوامر الموجودة في ملف robots.txt
Disallow - يمنع عناكب محرك البحث من الوصول إلى صفحات معينة على موقعك.
سماح - يسمح لمحركات البحث بالوصول إلى أقسام الموقع التي تحددها.
خريطة الموقع - تكشف عن رابط خريطة الموقع إلى محرك البحث.