בסשן האחרון של Google Hangout, שאל בחור בשם פטריק שאלה מעניינת: בעקבות התרעה שקיבל מה- Search Console (מה שהיה נקרא בעבר Webmaster Tools) על זיהוי כמות גדולה של כתובות URL. על פניו ההתראה תמוהה, במיוחד מאחר שמדובר באתר eCommerce, וכולם הוצהרו כ- noindex & nofollow, אז מדוע התרעה שכזו עולה ומה המשמעות שלה? זו הייתה תשובתו של ג’ון מולר (Webmaster Trends Analyst): “ההתרעה הזו מגיעה עוד טרם בדקנו את העמודים האלה, כך לכשנבדוק את האתר שלך נגלה את כל ה- URLs החדשים האלה, ואנו לא יודעים מה יש בהם. אז זה בד”כ סימן שמשהו באתר שלך מייצר את ה- URLs וזה סוג של מקשה עלינו להבין איזה URLs אנו צריכים לזחול”.

פטריק היה מופתע לרגע ושאל, כיצד זה הגיוני שזוחלים את העמוד כאשר בקובץ ה- robots.txt קיימת חסימה לאותם עמודים. ג’ון מולר השיב, בהססנות: “באופן תיאורטי, לא היינו אמורים להתריע על אתם עמודים”. למעשה, ג’ון מולר הסביר כאן תופעה מעניינת שמתרחשת: “כאשר יש robots noindex, אנחנו חייבים לזחול את העמודים האלה לפני שאנחנו נוכל לראות את ה- noindex הזה”. לנו בחדשות גוגל של Searchi זה הציק בבטן, אז הצצנו שוב בהנחיות האיכות של גוגל: כדי שהמטא תג noindex באמת יעבוד כשורה, קובץ robots.txt חייב לאפשר סריקה של הדף. אם הדף חסום על ידי קובץ הרובוטס, הסורק לעולם לא יראה את התג noindex וייתכן שהדף עדיין יופיע בתוצאות החיפוש, למשל, אם דפים שונים מקשרים אל עמוד מסוים.

למי שיש זמן פנוי, אנו ממליצים לקרוא את הנחיות האיכות של גוגל בעניין חסימת הוספה לאינדקס החיפוש ע”ל מטא תגיות.

אודות הכותב

SEO Expert at 888 Holdings

עופר לנגר, בוגר תואר שני באוניברסיטת ת"א בפקולטה לתקשורת, כיום משמש בתפקיד SEO Expert בחברת 888 אחזקות, כמי שאמון על אסטרטגיית ה- SEO של הארגון. בעבר היה VP of SEO Services ב- Angora Media Group. במסגרת תפקידו כמנהל תחום קידום אורגני, היה אחראי על קידום תאגידים כמו תנובה, דואר ישראל, תאגיד התקשורת בינת, מיטב דש, אמריקן לייזר, השף הלבן ועוד.