ملف روبوت تكست robots.txt هو ملف نصي يُستخدم لإخبار برامج زحف الويب وغيرها.، من برامج الروبوت بالصفحات الموجودة على موقع الويب الخاص بك. والتي يجب عليهم الوصول إليها وأيضاً التي يجب تجاهلها ويستخدم الملف بروتوكول استبعاد الروبوتات القياسي. وهو عبارة عن مجموعة من القواعد التي يجب على أي روبوت اتباعها عند الوصول إلى موقع ويب. والإستخدام الأكثر شيوعًا الي ملف robots.txt هو إخبار محركات البحث بعدم فهرسة صفحات معينة على موقع الويب الخاص بك.