أهمية robots.txt في أرشفة الموقع والطريقة الصحيحة لكتابتة

[شهد الجنوب]

السلام عليكم ورحمة الله وبركاته

الكثير من الاخوة كتبوا عن هذا الموضوع من قبل.

لكن انا حبيت ان اضع امثلة لطريقة الاستخدام افضل من الكلام الكثير:

تعريفات:
user-agent:هو اسم سبيدر او المتصفح اوحتى الهاتف المحمول. طبعا هنا نحن نتكلم عن روبوتس فهو اسم السبيدر.

Disallow:طريقة المنع

Crawl-delay:مدة تاخير بين زيارة اخرى

Request-rate:معدل طلب الصفحة

Visit-time:الاوقات المسموح بها بالزيارة

sitemap:خارطة الموقع بصيغة .xml او .xml.gz

-------

نبدأ بسم الله
1-نحن نقول لكل سبيدر يزور الموقع بسبب * انه يمكن ان يتصفح الموقع وذلك لاننا لم نضع شيء امام المنع.

User-agent: * 
Disallow: 

2- هنا نحن نمنع كل السبيدر من زيارة اي صفحة في الموقع.

User-agent: * 
Disallow: / 

3-منع الجميع من زيارة مجلدين cgi-bin و tmp

User-agent: * 
Disallow: /cgi-bin/ 
Disallow: /tmp/ 

4-نمنع الجميع من زيارة صفحة معينة

User-agent: * 
Disallow: /downloads/index.html 

5-هذا ربوت سيء امنعه من دخول الي الموقع

User-agent: BadBot 
Disallow: / 

6- اريد ان امنع هذا الروبوت من مجلد واحد فقط

User-agent: ]DontLikeBot 
Disallow: /private/ 

7-مسموح بزيارة كل السبيدر لكل صفحات موقعي بس بالشروط التالية: معدل الوقت المسموح هو 5 ثواني لكل صفحة واحدة. وايضا الوقت المسموح فيه بالزيارة هو من 6 الى 8 صباحا

User-agent: * 
Disallow: / 
Request-rate: 1/5          
Visit-time: 0600-0800 

8- سبيدر msn مزعج وكثير الزيارات انا اريدة ان لا يزور صفحات موقعي الا كل دقيقتين.

User-agent: msnbot  
Crawl-delay: 120 

9- لكل السبيدرز هذا هو رابط خريطة موقعي (( مع استبدال XXX بأسم الموقع ))

Sitemap: http://www.XXXXXX.com/sitemap.xml 

10- نمنع الجميع من الزيارة كل الموقع لكن نسمح لجوجل بزيارة كل الموقع ما عدا cgi-bin

User-agent: * 
Disallow: / 
User-agent: Googlebot 
Disallow: /cgi-bin/ 

هذا والله أعلم

[المودة]

الملف بالفعل مهم ومفيد ولكن انا حذفته من المودة لأن الياهوو لا يدخل المنتدى اذا رفعته ولا اعلم السبب ... شـكــ وبارك الله فيك ـــرا لك ... لك مني أجمل تحية .

[شهد الجنوب]

اهلآ أستاذنا أبو راشد قد يكون عندك منع لسبايدر الياهو ويالسنبة لي لا أرى ان سبايدر ياهووو أهم من جوجل

[ضامي الود]

جزاك المولى كل الخير اخي

لأن الياهوو لا يدخل المنتدى اذا رفعته ولا اعلم السبب ... شـكــ وبارك الله فيك ـــرا لك ... لك مني أجمل تحية .

صحيح استاذنا ابو راشد لاحظت عند وجودة الياهو لا يدخل الموقع وعند حذفة يتواجد

مع ان لا يوجد داخل الملف للمنع غير مجلد cgi-bin ولم أحد اي عناكب محددة في الملف

User-Agent: *  
Allow: /  
Allow: /vb 

Disallow: /cgi-bin

[شبكة زيرو]

مجهود طيب أخوي وخاصه للـتوهم فاتحين منتديات يساعدهم كثير على الأرشفة