כיצד להגיש מחדש קובץ Robots.txt מעודכן או חדש

רובוטים txt

הסוכנות שלנו מטפלת ייעוץ חיפוש אורגני למספר ספקי SaaS בענף. לקוח שהתחלנו לעבוד איתו לאחרונה עשה תרגול סטנדרטי למדי, הצבת היישום שלו על תת-דומיין והעביר את אתר החוברות שלו לתחום הליבה. זהו נוהג סטנדרטי מכיוון שהוא מאפשר גם לצוות ההפקה שלך וגם לצוות השיווק שלך לבצע עדכונים לפי הצורך ללא כל תלות באחר.

כצעד ראשון בניתוח בריאות החיפוש האורגני שלהם, רשמנו את תחומי החוברת וגם את תחומי היישומים אצל מנהלי אתרים. אז זיהינו נושא מיידי. כל דפי היישומים נחסמו לאינדקס על ידי מנועי החיפוש. ניווטנו לערך robots.txt שלהם במנהלי אתרים וזיהינו מיד את הבעיה.

בזמן ההכנה למעבר, צוות הפיתוח שלהם לא רצה שתת-הדומיין של היישום יתווסף על ידי חיפוש, ולכן הם אסרו גישה למנועי חיפוש. הקובץ robots.txt הוא קובץ שנמצא בשורש האתר שלך - yourdomain.com/robots.txt - המאפשר למנוע החיפוש לדעת אם עליהם לסרוק את האתר או לא. אתה יכול לכתוב כללים כדי לאפשר או לא לאפשר אינדקס בכל האתר או בנתיבים ספציפיים. אתה יכול גם להוסיף שורה כדי לציין את קובץ ה- Sitemap שלך.

robots.txt לקובץ היה הערך הבא שמנע את סריקת האתר ואינדקסו בדירוג תוצאות החיפוש:

User-Agent: * איסור: /

היה צריך לכתוב את הדברים הבאים:

סוכן משתמש: * אפשר: /

האחרון מספק הרשאה לכל מנוע חיפוש הסורק את האתר כדי שיוכלו לגשת לכל ספריה או קובץ באתר.

נהדר ... אז עכשיו כשה robots.txt הקובץ מושלם אבל איך גוגל יודעת ומתי הם יבדקו שוב את האתר? ובכן, אתה יכול בהחלט לבקש מגוגל לבדוק את ה- robots.txt שלך, אבל זה לא אינטואיטיבי מדי.

נווט אל מסוף החיפוש של גוגל אל ה סריקה> בודק robots.txt. תראה את התוכן של קובץ robots.txt שנסרק לאחרונה בתוך הבוחן. אם ברצונך לשלוח מחדש את קובץ ה- robots.txt שלך, לחץ על שלח וחלון קופץ יביא כמה אפשרויות.

שלח מחדש את robots.txt

האפשרות הסופית היא בקש מגוגל לעדכן. לחץ על לחצן הכניסה הכחול לצד אפשרות זו ואז נווט חזרה אל סריקה> בודק robots.txt אפשרות תפריט לטעינת הדף מחדש. כעת אתה אמור לראות את קובץ ה- robots.txt המעודכן יחד עם חותמת תאריך שמראה שהוא נסרק שוב.

אם אינך רואה גרסה מעודכנת, תוכל ללחוץ על שלח ולבחור צפה בגרסה שהועלתה כדי לנווט לקובץ ה- robots.txt האמיתי שלך. מערכות רבות יאחסנו את הקובץ במטמון. למעשה, IIS מייצר קובץ זה באופן דינמי על בסיס כללים שהוזנו דרך ממשק המשתמש שלהם. סביר להניח שתצטרך לעדכן את הכללים ולרענן את המטמון כדי לפרסם קובץ robots.txt חדש.

רובוטים- txt- בודק

מה אתה חושב?

אתר זה משתמש Akismet כדי להפחית דואר זבל. למד כיצד הנתונים שלך מעובדים.