קידום אתרים לא מתחיל ונגמר בפעילות און-סייט ואוף-סייט. הרבה פעמים, התובנות המרתקות ביותר עולות דווקא מההיבטים הטכניים של SEO. במאמר זה אני הולך להתעכב על נושא שלעתים נוטים להתעלם ממנו, שכן הוא לא תמיד ברור עד תומו ולא תמיד זה המקום הראשון בו אנו נתחיל לחפש תשובות – דו"ח סטטוס אינדקס (Index Status report).

סטטוס אינדקס

מדובר בדו"ח המציג את כמות העמודים המאונדקסים באתר, כמות העמודים שנחסמו על-ידי קובץ ה- robots.txt או כאלו שהוסרו. דו"ח סטטוס האינדקס יספק לכם תובנות משמעותיות באשר לשאלה: האם גוגל מצליחה לגשת לכל העמודים באתר, או שמא בעיה מסוימת באתר מונעת ממנה לאנדקס את כל העמודים.

מה הייתה המציאות עד index status report?

על מנת לאתר את כמות העמודים המאונדקסים, מקדמי אתרים ובעלי אתרים היו מתחרפנים עם פקודת ה- site:  כנגד דומיין, סאב-דומיין או תתי-תיקיות. זה היה מוציא מדעתם מקדמים, שכן המספר המוצג ב- SERP יכול היה להשתנות לעתים קרובות.

פקודת site:

לפניי שאסביר מה כולל דו"ח סטטוס אינדקס, חשוב שאתעכב על 2 מונחים שהם אשתמש רבות לאורך מאמר זה – זחילה ואינדוקס.

זחילה

התהליך של מנוע חיפוש בבקשה ובהורדה בהצלחה של URL ייחודי. בתהליך זה קיימים מכשולים וביניהם אי-קיומם של קישורים לכתובת, נפילת שרת, הדרה על-ידי קובץ ה- robots.txt או שימוש בלינקים מסוג ג'אווה סקריפט מהם בוטים לא יכולים למצוא URL תקין.

אינדוקס

הוא התוצאה של זחילה מוצלחת. זאת ניתן לראות בקלות בגוגל כאשר מריצים את פקודות info: ו- cache: ומצליחים להניב תוצאות, המאותתות על הימצאות ה- URL באינדקס של גוגל. מכשולים באינדוקס עשויים לכלול כפילויות (גוגל עשויה לאנדקס רק גרסה אחת של תוכן שעבורה היא מוצאת הרבה כתובות URL שהינן כמעט זהות לחלוטין), מסירה לא תקינה לשרת (גוגל עשויה להחליט לא לאנדקס עמוד שהיא יכולה לגשת אליו במשך שליש אחד בלבד מניסיונותיה).

בקיצור, ההבדל בין אינדוקס לזחילה הוא שאינדוקס הוא התהליך שבו עמוד נכנס ל"תוכן העניינים" של מנוע החיפוש, בעוד שזחילה הוא התהליך שבו עמוד מאוחזר על ידי מנוע החיפוש המבצע זאת על-ידי שיטוט בין הלינקים בעמוד.

מה כולל דו"ח סטטוס האינדקס?

  • סך כל הכתובות שאונדקסו באתר – מראה את כל כתובות ה- URL הזמינות בעמוד תוצאות החיפוש (SERP). מספר זה משתנה כל אימת שתוסיפו או תסירו עמודים באתר. כמות העמודים המאונדקסים כמעט תמיד תהיה קטנה יותר משמעותית מכמות העמודים שנזחלו בפועל וזאת מאחר שהאינדיקטור Total indexed לא כולל כתובות שזוהו ככפילויות של URLs, כתובות לא קנוניות או כאלו שמכילות תגית מטא noindex.
  • כתובות שנחסמו על-ידי robots.txt – סך כל הכתובות שנחסמו מזחילה על-ידי קובץ ה- robots.txt.
  • כתובות שהוסרו – כמות הכתובות שהוסרו על-ידי הכלי של גוגל להסרת כתובות.

יש חשיבות רבה להבנת דו"ח סטטוס האינדקס, מאחר שהוא לא יוכל לומר לכם היכן הבעיה באתר שלכם, אלא הוא רק ירים דגל אדום שאומר שקיימת בעיה באינדוקס העמודים; כאן כבר נכנס התפקיד שלכם להבין איך לקרוא את הדו"ח ואיך לאתר בעיות מן הסוג הזה. מבחינתי, הדו"ח הוא סוג של צופן סתרים שרק מי שקורא אותו נכון, יכול להבין משמעויות עמוקות יותר ולחזות בעיות עוד לפניי שעלו על פני השטח. לכן, הנה 3 צעדים חשובים להבנה עמוקה יותר של דו"ח סטטוס אינדקס.

3 צעדים להבנה מעמיקה יותר של דו"ח סטטוס האינדקס

1. איתור שינויים בכמות האינדוקס –

בדיוק כמו בעולם העסקים, כפי שכל בעלי העסקים שואפים לגדול לאורך זמן, כך גם צריכה להיות השאיפה של בעלי אתרים, כלומר, שכל פעם שגוגל מבקרת באתר שלהם היא תראה גידול בכמות העמודים. בשפה קצת יותר טכנית, המטרה של בעלי אתרים ומקדמי אתרים היא שכל הזמן תהיה לגוגל יומרה להגדיל את תקציב הזחילה של האתר.

למי שרוצה להתעמק עוד בנושא האקטואלי, שלאחרונה צבר הרבה מאד התעניינות בקהילת ה- SEO, אני ממליץ לקרוא את המאמר שכתבתי בנושא: איך משפיעים על תקציב זחילה?

דוגמה להמחשה:

מישהו לאחרונה שלח אליי את תצלום המסך הבא:

ירידה בכמות העמודים המאונדקסים

אם יורדים לעומק הדברים, הנה מה שמגלים:

ירידה בכמות הכתובות המאונדקסות - זום

מה שקרה כאן, זה שבתאריך "הצלילה" של העמודים המאונדקסים (22.02.2015), החליטה חברה מסוימת להעביר את האתר שלה מ- HTTP ל- HTTPS. ההחלטה הייתה בידי הדרג הבכיר בחברה, ללא התייעצות עם מומחה SEO. מישהו למעלה בדרגיי החברה החליט שכדאי לעבור לאתר מאובטח, המשתמש בפרוטוקול SSL, ומשמעות הדבר היא שפחות עמודי HTTP מאונדקסים, ויותר עמודי HTTPS מאונדקסים.

אף אחד לא דיווח על כך למנהל פרויקט ה- SEO כי היו בטוחים שמדובר בהחלטה שקשורה לחברה שבנתה את האתר בלבד. ניתוח פשוט של הדו"ח היה מאפשר להבין שזו לא באמת בעיה של אינדוקס באתר, אלא שלא ביצעו העברה מסודרת של האתר לגרסת ה- SSL שלו. עוד על העברת אתר תוכלו לקרוא כאן, או מדריך ספציפי יותר על העברת אתר ל- HTTPS.

המלצה: מצד אחד, עקבו אחר עלייה מתמדת בכמות העמודים המאונדקסים, מצד שני זהו ירידות דרסטיות או ירידות פתאומיות בכמות הכוללת. איתור מוקדם של נפילות בכמויות העמודים המאונדקסים יוכל לעזור לכם להצביע על בעיות של גוגל לגשת לתכני האתר.

2. זהו כמויות לא שגרתיות (ולא הגיוניות) של אינדוקס –

סעיף זה עשוי להביא אתכם לתהייה, שכן ציינתי בסעיף הקודם שדווקא עלייה בכמות הכתובות המאונדקסות היא חיונית. מה קורה אם פתאום אתם מזהים עלייה בכמויות האינדוקס שלא תואמת את כמות עמודי התוכן באתר.

עלייה בכמות העמודים המאונדקסים

כמות לא שגרתית זו עשויה להצביע על כך שבאתר יש בעיה של קנוניקליזציה, תוכן משוכפל או עמודים שנוצרים באופן אוטומטי על ידי המערכת או אפילו על כך שהאתר שלכם נפרץ!

אינדוקס בכמויות לא שגרתיות – דוגמאות

2.1. בעבר, במערכת ניהול התוכן של ג'ומלה היו נוצרות 2-3 גרסאות לכל עמוד. האחת, בתבנית הנכונה, והאחרת בתבנית של עמוד הבית. התקלה הזו תוקנה בגרסאות חדשות יותר, אומנם בדו"ח סטטוס האינדקס הייתם רואים עלייה לא הגיונית בכמות העמודים המאונדקסים, שלא תואמת את כמות התוכן הקיים באתר. 

2.2. באתרים שבהם מתקינים מנועי חיפוש או אגרגטורים השואבים תוצאות מעמודים שונים, פעמים רבות תתקלו במצב שבו מערכת מנוע החיפוש הפנימית יוצרת בבאת אחת כמות אדירה של עמודים שחלקם נתפסים בעיני גוגל כ"תוכן צר". אלו הם עמודי סיווגים, כלומר, האתר מייצר עמודים עבור תוצאות של סוגי חיפושים שונים באתר. במצבים אלו תוכלו לראות עלייה דרסטית בכמות העמודים המאונדקסים. המטרה שלכם היא להבין האם באמת כולם חשובים להיכלל באינדקס של גוגל, או שמא מוטב להדיר כתובות מסוימות מאינדוקס על-ידי הכללתן בקובץ ה- robots.txt.

2.3. פעמים רבות Hackers ינסו להוסיף לאתר שלכם עמודים חדשים שיקשרו לאתרים זדוניים או לאתרים שיש להם אינטרסים לקדם, ולכן עלייה קיצונית בכמות העמודים המאונדקסים יכולה לרמוז על בעיות מן הסוג הזה.

אגב, במידה שתהינה חריגות שאפילו אתם לא תשימו אליהן לב, גוגל תשלח לכם הודעה דרך ה- Search Console לכשהיא תזהה בעיות חריגות כאלה באתר שלכם, אז רק אל תשכחו להגדיר אצלכם את כל נושא ההעדפות של ההתראות.

שימו לב שלא כל מה שתקראו בדו"ח ישתקף בעמוד תוצאות בחיפוש של גוגל, מאחר שגוגל בודקת מידי פעם פילטרים המשנים את התוצאות בעמוד החיפוש. הפילטרים הללו עשויים לכלול בדיקות שגוגל עושה כל כמה זמן על מנת לשפר את תוצאות החיפוש או כל מיני עמודים שהיא מסיקה שהם כבר לא זמינים, הוסרו עקב בעיות חוקיות (ממליץ לקרוא על קוד 451 החדש בהקשר זה) או הספאמה.

3. זהו מה המתחרים שלכם עושים –

הדו"ח האמור מציג לכם רק מהי כמות העמודים המאונדקסים של האתר שלכם, אבל הוא לא מאפשר לכם לראות מה בדיוק המתחרים שלכם עושים. בטח אתם שואלים את עצמכם: "מה בדיוק אכפת לי מהי כמות העמודים המאונדקסים של המתחרים שלי?" כדי לענות על השאלה הזו אנסה להציג זאת דרך דוגמה מעולם מונחים אחר.

תחשבו שאתם הולכים לחנות בגדים, ולפניכם שתי חנויות שמוכרות את אותו סטייל של בגדים פחות או יותר אבל בחנות אחת יש יותר היצע. עכשיו שאלו את עצמכם, לאיזו חנות תכנסו. אני הייתי מהמר על החנות עם המבחר הגדול יותר של בגדים.

כך גם גוגל פועלת. כאשר היא נתקלת בשני אתרים מתחרים, היא תתעדף (כאשר כל המשתנים האחרים שווים) את האתר עם ההיצע הרחב יותר, או במילים אחרות, את האתר בו יש כמות הולכת וגדלה יותר של עמודי תוכן.

לכן ההמלצה כאן היא, להבין את כמות העמודים המאונדקסים בהשוואה למתחרים שלכם. הדרך שלכם לדעת מהי כמות העמודים המאונדקסים של המתחרים שלכם היא דרך פקודת ה- site:, אליה התייחסתי לעיל.

מקווה שבמאמר זה הצלחתי לספק תובנות מעמיקות על דו"ח סטטוס האינדקס, ולהציג את הדרך בה אני קורא נתונים בדו"ח סטטוס אינדקס. אם יש לכם תובנות נוספות, אני מזמין אתכם לפרסם אותן כאן מתחת בתגובות.

 

אודות המחבר

SEO Expert at 888 Holdings

עופר לנגר, בוגר תואר שני באוניברסיטת ת"א בפקולטה לתקשורת, כיום משמש בתפקיד SEO Expert בחברת 888 אחזקות, כמי שאמון על אסטרטגיית ה- SEO של הארגון. בעבר היה VP of SEO Services ב- Angora Media Group. במסגרת תפקידו כמנהל תחום קידום אורגני, היה אחראי על קידום תאגידים כמו תנובה, דואר ישראל, תאגיד התקשורת בינת, מיטב דש, אמריקן לייזר, השף הלבן ועוד.