لا تخفى علينا أهمية هذا الملف robots.txt أو الروبوتس والبعض يسميه ريبوتس والمهم..
تهذا الملف من المعروف بأنه من أهم الملفات التي منع أرشفة الأشياء الغير مفيدة..
فأنت مثلا حين لا تملك هذا الملف فسيتم أرشفة كامل الموقع متل عوضيات الأعضاء..
والتقويم وغيرها الكثير الغير مفيد ابدا..
و هو مقتبس من ترايدنت و ماكسي سيو
و مضاف اليه الكثير من الاضافات للمزيد من الفائدة
مثل الخرائط و روبوتات السبام و غيرها
مثال //
http://almokap.alboqah.com/robots.txt
مواقع النشر (المفضلة)