هذا الملف من المعروف بأنه من أهم الملفات التي تمنع أرشفة الأشياء الغير مفيدة..
فأنت مثلا حين لا تملك هذا الملف فسيتم أرشفة كامل الموقع متل عضويات الأعضاء..
والتقويم وغيرها ا
مثال
http://www.3zara.net/robots.txt
الملف فى المرفقات
فقط كم بتحميله ورفعه إلى رئيسية موقعك
اومجلد www
بعد الرفع
استدعى الرابط
http://www.3zara.net/robots.txt
مع تغير 3zara.net الى دومينك
اكاديمية ابوعاذرة التطويرية
انتهى
مواقع النشر (المفضلة)