טום גרינוואי, מפתח העוסק בשיפור יכולות האינדוקס של Progressive Web Applications, סיפר בכנס Google I/O שנערך ב-10 במאי על איך בדיוק גוגל מתמודדת עם אינדוקס של עמודים בטכנולוגיית JavaScript (אגב, קישור למאמר שכתב עידן בן אור בנושא) ושם ציין משהו משמעותי מאד – גוגל מתייחסת לאינדוקס ודירוג עמודי JS בצורה שונה לחלוטין מעמודי non-JS. המאמר הזה רלוונטי לכל בעל אתר, שכן הוא מצביע על הכוח המוגבל של הזחלנים של גוגל, ומגלה את סוד מַחְלְפוֹתיו של שמשון; או אם תרצו – המגבלות שיש לגוגל בסריקה של עמודים ש”נראים קצת אחרת”.

מסתבר שהגוגלבוט זוחל אתר ג’אווה סקריפט ב”כמה גלים”. לסוג זה של זחילה יש השפעה מכרעת על דירוג של כל עמוד שנסרק, ובמיוחד עמודים חדשים. לגוגל עשוי לקחת אפילו כמה ימים עד שהיא תסרוק עמוד שלם במלואו.

“לגוגלבוט יש מרנדר משלה, שמאפשר לו לרוץ כאשר הוא נתקל בעמוד בטכנולוגיית ג’אווה סקריפט. אבל רינדור עמודים בהיקף של כל רשת האינטרנט לוקח המון זמן וצורך משאבי חישוב. ושלא תטעו, זה אתגר רציני עבור זחלני החיפוש, וביניהם גוגלבוט.

וכך אנו מגיעים לאמת החשובה בנוגע לחיפוש של גוגל שאנו רוצים לשתף אתכם היום, שכן בשלב זה, העיבוד של אתרים הפועלים על JavaScript בחיפוש של גוגל למעשה נדחה עד ש-Googlebot יכיל את המשאבים הזמינים לעיבוד תוכן זה.

עכשיו אתם יכולים לחשוב, מה זה באמת אומר? טוב, אני אראה לכם

במציאות, התהליך שהגוגלבוט עובר נראה קצת שונה. אנו זוחלים עמוד, אנו מאחזרים את התוכן שרונדר בצד-השרת ואז מריצים שוב אינדוקס ראשוני באותו מסמך, אולם רינדור של עמודי ג’אווה סקריפט גוזל אנרגיית-עיבוד וזיכרון; ולמרות שהגוגלבוט הוא דיי עוצמתי – אין לו משאביים אינסופיים.

אז אם בעמוד מסוים יש קוד JavaScript, פעולת הרינדור מתעכבת עד שיהיו ברשותינו משאבים מוכנים לרנדר את התוכן בצד-הלקוח ואז אנו ממשיכים לאנדקס את התוכן. כך שהגוגלבוט עשוי לאנדקס את העמוד עוד טרם פעולת הרינדור הושלמה, ופעולת הרינדור עשויה להגיע כמה ימים אחרי-כן. וכאשר פעולת הרינדור אכן מגיעה לתומה, אז אנו מבצעים גל נוסף של אינדוקס על אותו תוכן מרונדר בצד-לקוח.”

אני רוצה רגע להסביר מה משמעות הדבר. טום גרינוואי מדבר על גלים של סריקה ואינדוקס, שיכולים לקחת מספר ימים, בהתאם לכמות המשאבים שהם צורכים מגוגל. כלומר, בהינתן דברים אלו, יכולים לקרות שני תסריטים מאד בעייתיים מבחינת קידום האתר.

התסריט הראשון: תוכן חדש עולה לאוויר, התוכן אופטימאלי ומטרגט ביטוי מסוים שחשוב לכם לקדם, אבל על-אף האופטימיזציה הטובה לעמוד ייקח הרבה יותר זמן לקבל דירוגים טובים בגלל מגבלת הגלים החדשה של גוגל; יתרה מכך, ייתכן שבהתחלה גוגל תבחר להדיר את העמוד מתוצאות החיפוש עד שהיא תבין בדיוק איך לפענח ולדרג את העמוד החדש (ואז ייתכן שתמצאו את העמוד הזה נכנס ויוצא מדו”ח ה- exclusions ב- Search Console. תופעה שמתרחשת הרבה מאד פעמים כאשר גוגל לא מצליחה להבין במאת האחוזים עמודים מסויימים. ראיתי את זה קורה הרבה פעמים.)

התסריט השני: אופטימיזציית On-Page שאתם תבצעו בעמודים מבוססי JavaScript – לגוגל ייקח יותר זמן לדרג מחדש את העמוד. כך שבמקום ששיפורים אלו היו עשויים לקחת יום-יומיים (במיוחד באתרים עם מועדי זחילה תכופים), ההשפעה על הדירוג תיקח יותר זמן.

“וזה בעצם אומר, אם האתר שלכם משתמש במשאבי ג’אווה סקריפט צד-לקוח עתירים, אתם תשתגעו מכמות הזמן עד שהתוכן שלכם יאונדקס בעקבות האופי של התהליך הדו-שלבי של אינדוקס. כך בסופו של דבר, מה שאני מנסה לומר כאן הוא שבגלל הגוגלבוט של גוגל רץ בשני גלים של אינדוקס על עמוד תוכן, מאד סביר שכמה פרטים עשויים להתפספס.”

גוגל מרנדרת אתרי ג'אווה סקריפט בשני גלים

ג’ניפר סלאג מ- TheSEMPost, התייחסה לדבריו:

“לכל אתר עם ג’אווה סקריפט, עשוי להיות עליו השפעה מכרעת, בעיקר אם האתר הוא אתר חדשותי, שם תכנים יכולים להיחשב מיושנים בימים שבין שני גלי האינדוקס.”

כלומר, אם תוכן לא יאונדקס כאן ועכשיו, כפי ניסחו זאת בצורה יפה על העיתונות הכתובה: “יהיה ניתן לעטוף עם נייר העיתון שלה את הדגים של מחר”.

“ואם בגל הראשון הגוגלבוט לא יראה מספיק תוכן לאינדוקס ודירוג, העמודים הללו לא יקבלו מספיק טראפיק במשך ימים, רק עד שהגוגלבוט יבצע את הגל השני של זחילת העמוד ורינדור הג’אווה סקריפט במלואו.”

בעוד ג’ון מולר מוסיף, בנחמדות המוכרת שלו שלתוכן חדש “ייקח זמן-מה עד שייסרק”, אפשר להבין את ההשלכות הרות הגורל על SEO עמודים הכוללים קוד JavaScript: הרבה יותר קשה לצפות כמה זמן ייקח לתוכן להיסרק, הרבה יותר קשה לעבוד עם אתרים שבהם עדכניות התוכן היא שם המשחק. הצפייה שלי היא שגוגל תמשיך לעבוד על שיפור יכולות האינדוקס לאתרים המבוססים על טכנולוגיית JavaScript. לא בגלל שמשנה לה כל נושא הדירוגים – מה שכן מעניין אותנו בעלי ומקדמי האתרים – אלה בגלל שחשוב לה לדעת להתמודד במהירות ובזמינות האופטימלית עם הטכנולוגיה המאתגרת הזו.

אודות המחבר

SEO Expert at 888 Holdings

עופר לנגר, בוגר תואר שני באוניברסיטת ת"א בפקולטה לתקשורת, כיום משמש בתפקיד SEO Expert בחברת 888 אחזקות, כמי שאמון על אסטרטגיית ה- SEO של הארגון. בעבר היה VP of SEO Services ב- Angora Media Group. במסגרת תפקידו כמנהל תחום קידום אורגני, היה אחראי על קידום תאגידים כמו תנובה, דואר ישראל, תאגיד התקשורת בינת, מיטב דש, אמריקן לייזר, השף הלבן ועוד.