מהו תקציב זחילה (Crawl Budget)?

תקציב זחילה הוא כמות הפעמים או מספר העמודים שגוגל מקצה לזחילה באתר.

תקציב זחילה נקבע לפי מידת הסמכות של האתר, ויחד עם זאת נוטה להשתנות פרופורציונאלית לכוח של העמוד. אם למשל גוגל תזהה שיש הרבה מאד קישורים לעמוד מסוים, אזי היא תגיע אליו מספר רב יותר של פעמים ביחס לעמודים אחרים שמקושרים פחות ואולי אף נמצאים במקום עמוק יותר בהיררכיה של האתר.

איך קפאין קשור לזה? 

ביוני 2010, גוגל בנתה-מחדש את האופן בו היא מאנדקסת עמודים. גוגל קראה לשינוי הזה “קפאין” – דבר שהשפיע באופן מהותי על המהירות שגוגל הצליחה לזחול ולאנדקס עמודים. השינוי הגדול ביותר היה אינדוקס מצטבר. בגוגל אמרו: 

“לאינדקס הישן שלנו היו כמה שכבות, שלחלקם היה רענון בקצב מהיר יותר מאחרים; השכבה העיקרית הייתה מתעדכנת כל כמה שבועות. כדי לרענן את השכבה של המדד הישן, היינו צריכים לנתח את כל הרשת, ופירוש הדבר שהיה עיכוב משמעותי בין הזמן בו מצאנו עמוד מסוים לבין הזמן שהנגשנו אותו עבורכם” עם קפאין, אנחנו מנתחים את האינטרנט במנות קטנות ומעדכנים את אינדקס החיפוש שלנו על בסיס מתמשך, באופן גלובלי. בעודנו מוצאים דפים חדשים, או מידע חדש בדפים קיימים, אנו יכולים להוסיף את העמודים ישר לאינדקס. זה אומר שאתם יכולים למצוא מידע טרי מאי פעם- לא משנה מתי או איפה פורסם.”

הכי חשוב בסיפור הזה הוא שבזכות “קפאין” הוסר צוואר הבקבוק שהקשה על אינדוקס עמודים. המערכת שבנתה גוגל כדי לאפשר זאת נקראה – “הפרקולטור” (בעברית: מסנן קפה).

איי ג’יי קון, מומחה לשיווק דיגיטאלי, מספר על מקרה שקרה לו עם אחד הלקוחות שלו. בשלב מסוים בחיי הפרויקט שלו חלה ירידה משמעותית בכמות הכניסות לאתר אותו הוא מקדם. הוא ניסה לשבור את הראש, מאיפה הירידה הזו פתאום צצה. מסתבר, שללא ידיעתו, הלקוח שלו החל להטמיע עימוד (Pagination) לעמודי תוצאות הקטגוריות של המוצרים השונים. במקום שכל המוצרים יהיו בעמוד אחד, הם התפזרו על-פני מספר עמודים עם פגינציה. עמודים שהיו בעמוד הראשון של תוצאות החיפוש לא הושפעו רבות מכך, אמנם עמודים פנימיים יותר חוו מכה קשה. קון החל לבחון את תאריך הקאש בעמודי המוצרים ומצא עמודים שכלל לא נסרקו במשך 7 ימים לאחור – הם אלו שלאבחנתו סבלו מהפגיעה.

בסופו של דבר, הוא ביקש מהלקוח לבטל את פעולתו (Unpagination) ולהחזיר את כל המוצרים כך שיוצגו בעמוד תוצאות אחד. ואכן… הטראפיק חזר למסלולו לאחר החזרת המצב לקדמותו. דה-פגינציה הוא טריק מאד מוצלח והוא קשור קשר ישיר להבנת המונח – “תקציב זחילה”. ככל שלגוגל קשה יותר לזחול עמודים מסוימים באתר, כך קיים סיכוי גדול יותר שעמודים עמוקים בהיררכיה של האתר לא יכללו מראש בתקציב הזחילה.

אחד הפתרונות המודרניים הוא טעינה-עצלה (Lazy Load). ג’ון מולר, אנליסט בכיר של גוגל, התייחס לכך: “אם יש תמונות שנמצאות Below the Fold או בבתחתית העמוד והן נטענות רק כאשר המשתמש גולל מטה לאותו אזור תחתון בעמוד, אני אני יכול לשער שאלו דברים שגוגל יכולה לפספס כי אנחנו לא הולכים לבדוק את כל המקומות האפשריים בעמוד רק כדי לראות אם משהו אחר השתנה בעמוד. אז אם יש תמונות שאתם תרצו שגוגל תאנדקס והם נמצאות בעמוד אני הייתי משוודא שהן מוטמעות ישירות בעזרת תגיות התמונות הרגילות שלנו […] או שהן תהינה ממוקמות באזור גבוה בעמוד”.

Ian Lurie כתב על כך ב- SEL וטוען: “מה שמשנה הוא לא תקציב הזחילה אלא איך תשתמשו בו.” כדי להפיק את המירב מתקציב הזחילה, בצעו את הפעולות הבאות:

  1. הסירו כפילויות – תקנו בעיות של שכפול תוכן, כדי שגוגלבוט לא יבזבז תקציב זחילה על קריאה של אותו תוכן כמה וכמה פעמים
  2. תקנו קישורים שבורים – הקדישו זמן בעקביות לבדיקת שגיאות 404 בקונסולת החיפוש (וובמסטרטולס בדימוס)
  3. האיצו את מהירות האתר שלכם – 
    • וודאו שאתם זוכים לאירוח בסרבר מהיר
    • בדקו עצמכם בכלים כמו: PageSpeed Insights, YSlow, Pingdom, WebPageTest
  4. ודעו שאין לכם “תכנים צרים” – הימנעו מעמודים בעלי ג’וואה סקריפט שלא נקרא על-ידי גוגל או עמודים המכילים שורות בודדות (למשל עמודים המכילים הסבר על ערך מסוים הכוללים שורה וחצי של תוכן)
  5. צרו מפת אתר – דאגו שבאמת גוגל מצליחה להבין את מבנה האתר שלכם
  6. עזרו לגוגל למצוא אזורים עמוקים יותר באתר – אם בכל זאת קיימים אזורים עמוקים באתר שלכם, דאגו לשלוח אליהם קישורים מאזורים בולטים יותר בהיררכיה של האתר כדי לעזור לגוגל לצלול לעומק בתהליך הזחילה.
  7. שמרו על ארכיטקטורה חכמה – מישהו פעם אמר שכל לינק באתר אמור להיות קרוב כמרחק של 3 קליקים לכל היותר. דאגו לסרגל ניווט המקשר לעמודים החשובים ביותר אותם תרצו לכלול בתקציב הזחילה
  8. הימנעו מ- Link Sculpturing (מה שכונ בעבר כ- PR Sculpturing) – “פיסול” או הפנייה מלאכותית של כוח מעמודים עם יותר כוח לעמודים עם פחות כוח, וזאת רק כדי שגוגל יעניק להם יותר חשיבות. בשונה מסעיף 7 שמטרתו לסייע לגוגל ולגולשים לגשת באופן טבעי ונוח יותר לעמודים פנימיים, כאן הקישור בין העמודים נעשה למטרות SEO בלבד תוך התחשבות מכרעת בצרכים של מנוע החיפוש בלבד.

 

אודות הכותב

SEO Expert at 888 Holdings

עופר לנגר, בוגר תואר שני באוניברסיטת ת”א בפקולטה לתקשורת, כיום משמש בתפקיד SEO Expert בחברת 888 אחזקות, כמי שאמון על אסטרטגיית ה- SEO של הארגון. בעבר היה VP of SEO Services ב- Angora Media Group. במסגרת תפקידו כמנהל תחום קידום אורגני, היה אחראי על קידום תאגידים כמו תנובה, דואר ישראל, תאגיד התקשורת בינת, מיטב דש, אמריקן לייזר, השף הלבן ועוד.