בשבוע שעבר התייחסתי לדו"ח סטטוס האינדקס שנמצא ב- Search Console והסברתי כיצד הבנה מעמיקה שלו יכולה לסייע לכם לאתר ולחזות בעיות של גוגל בסריקת האתר שלכם, ואיך כל הסיפור הזה בכלל משליך על תקציב הזחילה.

השבוע נדבר על דו"ח "נתונים סטטיסטיים של סריקה" (Crawl Stats) וננסה להבין כיצד ניתוח טוב יותר של הדו"ח יוכל לעזור לנו להגדיל את תקציב הזחילה באתר. כך גוגל תבקר אצלכם יותר ותטיב את המיקומים שלכם בעמוד תוצאות החיפוש.

תזכורת קטנה על ההבדל בין אינדוקס לזחילה: ההבדל הוא שאינדוקס הוא התהליך שבו עמוד נכנס ל"תוכן העניינים" של מנוע החיפוש, בעוד שזחילה הוא התהליך שבו עמוד מאוחזר על ידי מנוע החיפוש המבצע זאת על-ידי שיטוט בין הלינקים בעמוד. היום במוקד הדיון נעסוק בזחילה (Crawl) / סריקה.

דוגמה פשוטה להבנת המונח "כמות עמודים נסרקים"

באנלוגיה לעולם האמיתי, כאשר אתם הולכים בקניון, וצריכים להחליט היכן לקנות בגדים – בחנות בה כל הזמן הסטייל הוא אותו סטייל והבגדים מעונה לעונה נראים כ"אותה הגברת בשינוי אדרת", או שמא תבחרו להיכנס לחנות שמידי עונה משנה את פניה: פעם מוסיפה ליין חדש של בגדים, ופעם אחרת מרעננת את את הקו הקבוע שלה עם שיק אופנתי מעודן. לאיזו חנות תבחרו להיכנס – לזו הסטטית או לזו האקטואלית? השוואה זו דומה מאד לסוג ההחלטות שגוגל נדרשת לעשות כל הזמן באשר לאופן בו היא מציגה את תוצאות החיפוש שלה. ההקבלה שהצגתי כאן, קיבלה חיזוק נוסף לאחר שגוגל לאחרונה פרסמה את הגרסה המלאה של ספר הנחיות איכות הדירוג שלהם -160 עמודים (עיקרי הדברים כאן; ומאמר מצויין עם אוריינטצייה לאנשי SEO כאן). חיזוק בדמות ה- Quality Rates, המנסים לגוון את תוצאות החיפוש ולהציג לגולשים את המידע העדכני ביותר שעונה על השאילתה שהקלידו.

גוגל, כגוף שאחת ממטרותיו היא לספק מענה לכל שאילתה שהקליד הגולש, בפניה 2 סוגים של אתרים. האחד, אתר תדמיתי, שלא מתעדכן רבות ובעיקר משמש ככרטיס ביקור של בעל עסק, והשני,  אתר חדשות, שמתעדכן מידי יום כמה וכמה פעמים. בבואה להחליט היכן לחפש מידע רלוונטי לגולש, היא נעזרת במדד ה- Freshness, ושואלת את עצמה: יש לי 2 אתרים שמספקים מידע רלוונטי  – האחד גדל מידי יום בכמות המידע שמספק לגולשים והאחר סטטי ולא משנה את פניו כמעט בכלל. איזה אתר לדעתכם היא תעדיף למקם בתוצאות גבוהות יותר (בתנאי שכל המשתנים האחרים שווים)? התשובה במרבית המקרים מובנת מאיליה. את האתר העדכני יותר.

במאמר הזה אסביר על דו"ח נתונים סטטיסטיים של סריקה (Crawl Stats) ואתייחס בעיקר לקשר שלו למיקומי האתר שלכם. לעיתים, יש נטייה לחשוב שדו"חות מן הסוג הזה מיועדים למתכנתים, אך הבנה מעמיקה יותר של הדו"ח תסייע לכם לראות שהוא רלוונטי לכל בעל אתם ובטח שלכל מקדם אתרים מקצועי.

איך מגיעים לדו"ח נתונים סטטיסטיים של סריקה?

הדו"ח המצא בקונסולת החיפוש (a.k.a Webmaster Tools) מתחת לתפריט "סריקה", ומשם בקלות רבה נווטו לאפשרות השנייה – "נתונים סטטיסטיים של סריקה". הנה תצלום מסך לנוחיותכם:

איך מגיעים לדו"ח נתונים סטטיסטיים של סריקה

 

למה משמש דו"ח נתונים סטטיסטיים של סריקה (Crawl Stats) ואיך לקרוא אותו?

הדו"ח "נתונים סטטיסטיים של סריקה" מספק מידע על כל הפעילות של הבוט של גוגל באתר שלכם במהלך 90 הימים האחרונים. הנתונים הסטטיסטיים רלוונטיים לכל סוגי התוכן שגוגל דלתה והורידה מהאתר.

כולנו מחפשים את נוסחת הקסם או לפחות את התשובה לשאלה: אילו מספרים נחשבים אידיאליים? או מה נחשב למספר הסריקות הטוב ביותר? בדיוק כמו במאמר אודות סטטוס האינדקס, אין דבר כזה "המספר האידיאלי". מה שאתם כן צריכים לוודא הוא שככל שכמות התוכן באתר שלכם גדלה, כך גם אמור לגדול מספר הסריקות המופיע בדו"ח.

  • דפים נסרקים ביום – גרף זה מצביע כמות הפעמים שגוגל ביקרה באתר שלכם כדי לבקש כתובות URL. מה שכאן היה חשוב לבחון הוא, האם קיים קו ישיר המצביע על כך שגוגל כבר לא מגיעה לעמודי הנחיתה באתר, או האם יש ירידה דרסטית בין ספייק (spike) אחד למשנהו, שגם-כן מצביע על הדרה של גוגל בוט מעמודי האתר שלכם.

דפים נסרקים ביום

  • קילו-בייטים שהורדו בשעה – כל פעם שגוגל באה לבקר עמוד מסוים, היא מורידה אותו. הגרף הזה אמור לעזור לנו לזהות בעיות בהורדה של נתונים עקב משקל כבד מידי. נפח הורדה גדול מידי עשוי להשליך על מהירות האתר. בהזדמנות הזו אני ממש ממליץ לכם לקרוא את המדריך – 6 דרכים סופר פשוטות לשפר מהירות באתר וורדפרס. אגב, בעבר המדד הזה היה מצביע על כמות הקילו-בייטים שהורדו ביום, אבל מאחר שראו שכנראה למנהלי אתרים קשה לפרש את המידע הזה כאשר מדובר בכמויות יומיות, שינו את זה להורדות לפי שעה.

קילו-בייטים שהורדו בשעה

  • משך הזמן שהושקע בהורדת דף (באלפיות השנייה) – לדעתי, הגרף הקודם הוא גרף משלים לגרף הזה. הרבה יותר קל להבין מהגרף הזה בעיות הקשורות למהירות באתר. מבדיקה פשוטה שאני ערכתי, משך הזמן שלוקח לגוגל להוריד את דפי ה- support guidelines שלה בעצמה, נע בטווח בין 400-600 מילישניות. אם תהיו בטווח הזה, אתם יכולים להיות רגועים. כלי מצויין בו אני משתמש רבות לבדיקת משך הזמן להורדת עמוד ובדיקות מהירות של אתר – Pingdom Website Speed Test.

משך הזמן שהושקע בהורדת דף (באלפיות השנייה)

5 כללי אצבע לקריאת הגרף "דפים נסרקים ביום"

ככלל, שיעור הסריקה צריך להיות יציב לאורך זמן של שבוע-שניים. הנה 5 כללי אצבע שיעזרו לכם להימנע מספייקים פתאומיים בגרף "דפים נסרקים ביום":

  1. וודאו שלא הוספתם בטעות כלל בקובץ ה- robots.txt המונע מגוגל להגיע לתכנים הרלוונטיים באתר שלכם. דוגמה (שלילית):

Disallow: /sites/all/themes/*.css$

Disallow: /sites/all/themes/*.js$

 

בדוגמה הזו, קובץ הרובוטס חוסם את הגישה של גוגלבוט לקבצי ה- CSS וה- JS. במצב דברים זה, היינו עשויים לראות ירידה משמעותית בגרף העליון לאחר הוספת שני הכללים הללו.

 

  1. וודאו שאין אצלכם באתר שום תוכן שאינו נתמך (למשל, גרסאות אלטרנטיביות של קבצי SWF), תוכן שבור, עמודים המכילים רק תמונות. כדי לדעת כיצד גוגל מאחזרת את הנתונים השתמשו בכלי "אחזר כמו גוגל" או בדקו את גרסת "עותק שמור" בשיטה הטקסטואלית.

עותק שמור - שלב א' ו-ב'

עותק שמור - שלב ג'

כך תוכלו לדעת בעמודים ספציפיים איך גוגל מפענחת ומבינה את המידע שאתם מציגים.

 

  1. במידה שכמות השגיאות בשרת גדלה, גוגלבוט יפחית או ימנע את בקשותיו על מנת למנוע עומס יתר על השרת שעליו האתר שלכם יושב. בדקו את דו"ח שגיאות שגיאות הסריקה וודאו שלא חלה עלייה במספר שגיאות הקישוריות בשרת.

 

  1. בהגדרות האתר, וודאו שלא בחרתם באפשרות "הגבל את קצב הסריקה המירבי של Google"

הגדרות - שיעור סריקה

  1. במידה שיש לכם באתר תכנים שמשתנים בתדירות נמוכה או שהם כשלעצמם אינם באיכות גבוהה ייתכן שגוגל לא תבקר באיזורים האלה הרבה פעמים. בדקו האם יש לכם אזורים כאלה, שכן הם עשויים להשפיע על כמות הסריקות של גוגל. ייתכן שתזדקקו להחיות אותם בתוכן חדש על מנת להגדיל את כמות הסריקה או להגדיל את ה- Freshness באזורים אחרים רלוונטיים יותר לגולשים שלכם – פעולה שתשפיע על כמות הסריקה הכללית של האתר.

 

כל הפעולות אליהן התייחסתי לעיל, עוזרות לגוגל להפנות את תשומת הלב לעמודים ש"עושים יותר רעש" – יותר חדשים, טריים ועדכניים. לא בכל אתר כל האזורים/קטגוריות אמורים להתעדכן כל הזמן, ולכן המדריך הזה עוזר לכם להבין 2 דברים חשובים: גם אילו עמודים הם בעייתיים (לא מתעדכנים או לא נקראים טוב על-ידי מנוע החיפוש) ועל כן יש לתקנם או להחיותם, וגם לעזור לכם לחשוב על אילו עמודים הם מגנטי-הטראפיק שלכם באתר ועל כך יש להגדיל בהם את פעילות הזנת התוכן על מנת למשוך עוד גולשים ובסופו של דבר לגרום לגוגל לבקר בהם יותר, קרי, להגדיל את תקציב הזחילה.

יש קורלציה ברורה בין אתרים עדכניים – בהם יש תוכן מתחדש לעיתים תכופות – לבין אתרים סטטיים – בהם אין פעילות ערה של תוכן עדכני. ככל שכמות התוכן (בעיקר באזורים הגבוהים של היררכיית האתר) גדלה, כך גדל תקציב הזחילה, גוגל מבקרת באתר יותר וכמות הטראפיק והמיקומים שעליהם הוא משחק עולה.

אם יש לכם תובנות נוספות או שאלות על דו"ח נתונים סטטיסטיים של סריקה, אתם מוזמנים לשאול כאן או לפנות דרך טופס יצירת קשר באתר. מאחל לכם תקציב זחילה גדול ושנה אזרחית חדשה עם המון טראפיק!

 

אודות המחבר

SEO Expert at 888 Holdings

עופר לנגר, בוגר תואר שני באוניברסיטת ת"א בפקולטה לתקשורת, כיום משמש בתפקיד SEO Expert בחברת 888 אחזקות, כמי שאמון על אסטרטגיית ה- SEO של הארגון. בעבר היה VP of SEO Services ב- Angora Media Group. במסגרת תפקידו כמנהל תחום קידום אורגני, היה אחראי על קידום תאגידים כמו תנובה, דואר ישראל, תאגיד התקשורת בינת, מיטב דש, אמריקן לייזר, השף הלבן ועוד.