כיצד למחוק אתר או את השברים שלו מהאינדקס של Google

על פי תפיסת האינדקס שאומצה על ידי Google, החשבון נלקח מתוך השלמות, האובייקטיביות של המידע והתאימות לשאילתת החיפוש שלו בעת הנפקת התוצאות. אם אתר עם תוכן לא חוקי נכנס למדד, או שהמשאב מיועד לדואר זבל, הדפים של אתר כזה לא יסומנו במסד הנתונים הכללי של מנוע החיפוש. כמו כן, עלינו ללמוד כיצד להסיר אתר מהשרת על ידי תוצאות חיפוש.

אפס אפשרויות יצירת אינדקס עבור

לאחר שהסורק - התוכנית לאיסוף מידע על משאבים חדשים - יסרוק את דף האתר לפי דף, ולאחר מכן, אם הוא עומד בדרישות המדיניות של Google בנוגע לניתוח, הוא יתווסף לאינדקס. אבל אנו גם לתאר כיצד למחוק את האתר שלך או קטעים בודדים עבור מנועי החיפוש באמצעות robots.txt - מצביע בו זמנית מסיר החיפוש.

כדי לא לכלול את כל המשאבים מההנפקה, נוצר אזור טקסט מסוים בתיקיית הבסיס של השרת שבו ממוקם האתר - robots.txt המוזכר למעלה. אזור זה מעובד על ידי מנועי החיפוש ופועל על פי ההוראות שנקראו.

זכור שמנוע החיפוש של Google יוסיף לאינדקס את הדף, גם אם המשתמש אינו מורשה להציג. כאשר הדפדפן מטפל בתגובת 401 או 403, "הגישה אינה חוקית", זה חל רק על מבקרים, ולא על תוכניות איסוף עבור שרת חיפוש זה .

כדי להבין כיצד למחוק אתר מאינדקס החיפוש, עליך להזין את השורות הבאות במצביע הטקסט:

סוכן משתמש: Googlebot

Disallow: /

זה מצביע על רובוט החיפוש שאסור לאמוד את כל התוכן של האתר. כך תוכל למחוק אתר של Google כדי שהאתר לא ישמור מטמון ברשימת האתרים שזוהו.

אפשרויות סריקה לפרוטוקולים שונים

אם עליך לרשום תקני תקשורת בודדים שבהם תרצה ליישם כללים ספציפיים לאינדקס של Google, לדוגמה, בנפרד עבור פרוטוקולי היפר-טקסט של http / https, יש לכתוב גם בקובץ robots.txt בדרך הבאה (לדוגמה).

(Http://yourserver.com/robots.txt) - שם הדומיין של האתר שלך (בכל)

סוכן משתמש: * - עבור כל מנוע חיפוש

אפשר: / - לאפשר יצירת אינדקס מלא

כיצד להסיר אתר מההנפקה לחלוטין עבור פרוטוקול https

(Https://yourserver.com/robots.txt):

סוכן משתמש: *

איסור: / איסור מלא על יצירת אינדקס

הסרה דחופה של כתובת האתר של המשאב מחיפוש Google של Google

אם אתה לא רוצה לחכות לאינדקס מחדש, והאתר צריך להיות מוסתר בהקדם האפשרי, אני ממליץ להשתמש בשירות http://services.google.com/urlconsole/controller. Pre-robots.txt צריך להיות ממוקם כבר בספריית השורש של שרת האתר. ההוראות צריכות להיכתב בה.

אם המצביע הוא מסיבה כלשהי לא זמין לעריכה בספריית השורש, זה מספיק כדי ליצור אותו בתיקייה עם האובייקטים שעבורם אתה רוצה להסתיר ממנועי החיפוש. לאחר שתעשה זאת ותפנה לשירות המחיקה האוטומטית עבור כתובות היפר-טקסט, Google לא תסרוק את התיקיות המופיעות בקובץ robots.txt.

תקופת ההיעלמות היא קבועה למשך 3 חודשים. לאחר תקופה זו, המדריך שיוסר מההנפקה יעובד שוב על ידי שרת Google.

כיצד למחוק אתר לסריקה בחלקו

כאשר רובוט החיפוש קורא את התוכן של robots.txt, ולאחר מכן על סמך התוכן שלו, החלטות מסוימות נעשות. לדוגמה, עליך לבצע אי הכללה מהתצוגה של כל המדריך בשם anatom. כדי לעשות זאת, זה מספיק כדי לרשום הוראות כאלה:

סוכן משתמש: Googlebot

אסור: / אנטום

או, לדוגמה, אתה רוצה לא לאינדקס את כל התמונות כמו .gif. לשם כך, הוסף את הרשימה הבאה:

סוכן משתמש: Googlebot

Disallow: /.g.gif$

הנה דוגמה נוספת. בואו נמחק את המידע על דפים שנוצרים באופן דינמי מהניתוח, ולאחר מכן הוסף את הערך הבא למצביע:

סוכן משתמש: Googlebot

Disallow: / *?

אז, בערך, ואת הכללים עבור מנועי החיפוש הם prescribed. דבר נוסף הוא שזה הרבה יותר נוח עבור כל זה כדי להשתמש META תג. מנהלי אתרים לעתים קרובות להשתמש רק תקן זה מסדיר את הפעולה של מנועי החיפוש. אבל נדבר על כך במאמרים הבאים.