اعدادات ملف vbulletin robots.txt الصححية للمنتدي Vb3, vb4, vb5
اعدادات ملف vbulletin robots.txt الصححية للمنتدي Vb3, vb4, vb5
Recommended Robots.txt - Perfect VBulletin 4 robots.txt - XML Sitemaps and Vbulletin
Implementing a Robots.txt File With Your vBulletin Community
Best robots.txt for vBulletin forums - Vbulletin 4 robots txt?
I think this robots.txt suits for all vBulletin forums ..
If your forum in the main directory
كود:
User-Agent: *
allow: /
Disallow: /cgi-bin/
Disallow: /ajax.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /global.php
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /usernote.php
if its in /forum
كود:
User-Agent: *
allow: /
Disallow: /cgi-bin/
Disallow: /forum/ajax.php
Disallow: /forum/archive/
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showpost.php
Disallow: /forum/showgroups.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
-------------------------------------------------------
تعريفات:
-------------------------------------------------------
user-agent:هو اسم سبيدر او المتصفح اوحتى الهاتف المحمول. طبعا هنا نحن نتكلم عن روبوتس فهو اسم السبيدر.
Disallow:طريقة المنع
Crawl-delay:مدة تاخير بين زيارة اخرى
Request-rate:معدل طلب الصفحة
Visit-time:الاوقات المسموح بها بالزيارة
sitemap:خارطة الموقع بصيغة .xml او .xml.gz
-------------
الامثلة:
-------------
1.
كود:
User-agent: *
Disallow:
نحن نقول لكل سبيدر يزور الموقع بسبب * انه يمكن ان يتصفح الموقع وذلك لاننا لم نضع شيء امام المنع.
2.
كود:
User-agent: *
Disallow: /
هنا نحن نمنع كل السبيدر من زيارة اي صفحة في الموقع.
3.
كود:
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
منع الجميع من زيارة مجلدين cgi-bin و tmp
4.
كود:
User-agent: *
Disallow: /downloads/index.html
نمنع الجميع من زيارة صفحة معينة
5.
كود:
User-agent: BadBot
Disallow: /
هذا ربوت سيء امنعه من دخول الي الموقع
6.
كود:
User-agent: ]DontLikeBot
Disallow: /private/
اريد ان امنع هذا الروبوت من مجلد واحد فقط
7.
كود:
User-agent: *
Disallow: /
Request-rate: 1/5
Visit-time: 0600-0800
مسموح بزيارة كل السبيدر لكل صفحات موقعي بس بالشروط التالية: معدل الوقت المسموح هو 5 ثواني لكل صفحة واحدة. وايضا الوقت المسموح فيه بالزيارة هو من 6 الى 8 صباحا gmt
8.
كود:
User-agent: msnbot
Crawl-delay: 120
سبيدر msn مزعج وكثير الزيارات انا اريدة ان لا يزور صفحات موقعي الا كل دقيقتين.
9.
كود:
Sitemap: http://www.ketaballah.net/sitemap.xml
لكل السبيدرز هذا هو رابط خريطة موقعي
10.
كود:
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /cgi-bin/
نمنع الجميع من الزيارة كل الموقع
لكن نسمح لجوجل بزيارة كل الموقع ما عدا cgi-bin
المرجع:
https://forums.digitalpoint.com/thre...forums.1468182
https://www.xml-sitemaps.com/forum/i...opic,241.html/
https://www.xml-sitemaps.com/forum/i...opic,2893.html
https://www.vbulletin.org/forum/showthread.php?t=302570
https://www.vbulletin.org/forum/showthread.php?t=302483
https://www.theadminzone.com/threads...lletin.117342/
https://seovb.com/use-robotstxt-to-p...icate-content/
https://vbulletin-mods.com/forum/showthread.php?t=1047
