السلام عليكم ورحمة الله وبركاته
الكثير من الاخوة كتبوا عن هذا الموضوع من قبل.
لكن انا حبيت ان اضع امثلة لطريقة الاستخدام افضل من الكلام الكثير:
تعريفات:
user-agent:هو اسم سبيدر او المتصفح اوحتى الهاتف المحمول. طبعا هنا نحن نتكلم عن روبوتس فهو اسم السبيدر.
Disallow:طريقة المنع
Crawl-delay:مدة تاخير بين زيارة اخرى
Request-rate:معدل طلب الصفحة
Visit-time:الاوقات المسموح بها بالزيارة
sitemap:خارطة الموقع بصيغة .xml او .xml.gz
-------
نبدأ بسم الله
1-نحن نقول لكل سبيدر يزور الموقع بسبب * انه يمكن ان يتصفح الموقع وذلك لاننا لم نضع شيء امام المنع.
كود PHP:User-agent: *
Disallow:
2- هنا نحن نمنع كل السبيدر من زيارة اي صفحة في الموقع.
كود PHP:User-agent: *
Disallow: /
3-منع الجميع من زيارة مجلدين cgi-bin و tmp
كود PHP:User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
4-نمنع الجميع من زيارة صفحة معينة
كود PHP:User-agent: *
Disallow: /downloads/index.html
5-هذا ربوت سيء امنعه من دخول الي الموقع
كود PHP:User-agent: BadBot
Disallow: /
6- اريد ان امنع هذا الروبوت من مجلد واحد فقط
كود PHP:User-agent: ]DontLikeBot
Disallow: /private/
7-مسموح بزيارة كل السبيدر لكل صفحات موقعي بس بالشروط التالية: معدل الوقت المسموح هو 5 ثواني لكل صفحة واحدة. وايضا الوقت المسموح فيه بالزيارة هو من 6 الى 8 صباحا
كود PHP:User-agent: *
Disallow: /
Request-rate: 1/5
Visit-time: 0600-0800
8- سبيدر msn مزعج وكثير الزيارات انا اريدة ان لا يزور صفحات موقعي الا كل دقيقتين.
كود PHP:User-agent: msnbot
Crawl-delay: 120
9- لكل السبيدرز هذا هو رابط خريطة موقعي (( مع استبدال XXX بأسم الموقع ))
كود PHP:Sitemap: http://www.XXXXXX.com/sitemap.xml
10- نمنع الجميع من الزيارة كل الموقع لكن نسمح لجوجل بزيارة كل الموقع ما عدا cgi-bin
كود PHP:User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /cgi-bin/
هذا والله أعلم
:mwalat33:
