זהו הקובץ שיכול לעשות לכם נזק רציני בקידום האורגני של האתר אם לא יודעים לבנות אותו, קובץ רובוטס מגביל את הפעילות של מנוע חיפוש סורקים ומונע מהם הגישה לדפים וספריות מסוימים. קובץ robots.txt גם מאתר את מפת אתר XML.
טיפ, כדאי לכם לבדוק את קובץ robots.txt ולראות אם יש בתוכו שגיאות תחביר, לחץ כאן.
