אחד הכלים הפופולריים ביותר בקרב מקדמי אתרים הוא Screaming Frog, כלי חינמי המאפשר לזחול אתר ולמצוא בעיות טכניות שפוגעות בדירוגים ובנראות במנוע החיפוש. החלטתי הפעם לתרגם מאמר שהופיע בבלוג של סקרימינג פרוג כי הוא פותר בעיה מאד פופולרית שהרבה מקדמי אתרים נתקלים בה ביומיום. מאד אהבתי את הפרקטיות והדוגרי-ness של כותב המאמר – פתרון פשוט לבעיה נפוצה עם הרבה תצלומי מסך בגובה העיניים.

המאמר במקור נכתב על-ידי דן שארפ, מייסד והדיירקטור של Screaming Frog, עמו אני מתכתב רבות לאחרונה בקשר לדילמות היומיום בעולם קידום האתרים הדינמי, והאמצעים בהם התכנה המופלאה שלהם יכולה לעזור לי להשיג מידע מהר יותר ולפתור בעיות בקלות רבה יותר.

דן שארפ, עונה לשאלה שהועלתה בטוויטר על-ידי צ’ארלי ווייטוורט’, ששאל: האם מישהו מכיר דרך לעקוף הפניות מבוססות על IP של מדינה ספציפית, בעת ניסיון לבצע זחילה עם סקרימינג פרוג?

כולנו חווים את זה כאשר אנחנו מבקרים באתר אינטרנט במדינה אחרת ומקבלים הפנייה לגרסה המקומית באופן מיידי ושלא הייתה לנו בחירה באיזה גרסה אנחנו מעוניינים לצפות באתר. גוגל עושה את זה עבור מנועי החיפוש שלה (על אף שהיא בעצמה ממליצה לכם לא לעשות את זה, שכן זו חוויה שעשויה להיות מרגיזה ולפגום בחוויית המשתמש) והרבה מותגים בינלאומיים אף עושים אותו דבר. זה עשוי להיות מועיל, אבל זה יכול גם להיות לא-מועיל למדי, במיוחד בתור מומחי SEO שכרגע מעוניינים לבצע ניתוח אתרים בינלאומיים.

הצפייה באתר מחוץ לאזור שלכם דורשת לעתים קרובות מציאת קישור לגרסת המדינה והגדרתה כגרסה המועדפת עליכם (מה ששותל קובץ cookie בדפדפן שלכם).

מבחינה היסטורית, ביצוע סריקה של אתר עם הפניית IP לפי מדינה דורש שימוש בפרוקסי מזויף עם כתובת IP של המדינה שאתם מעוניינים לסרוק את גרסתה, או מדי פעם הגדרת פרמטר במחרוזת כתובת האתר כדי לעקוף את אותה הפנייה אוטומטית. בפעמים אחרות, אתרים עשויים להפנות מחדש לגרסאות שונות של האתר, בהתבסס על הערך של Accept-Language ולא על-סמך ה- IP, אותו תוכלו לשנות בקלות דרך הסקרימינג פרוג.

עם זאת, רציתי לשתף דרך קלה לסרוק אתרים המפנים-מחדש בהתבסס על המיקום הגאוגרפי, תוך שימוש בתכונת האימות של טופסי האינטרנט החדשים יחסית, אשר מאפשרים לכם להתחבר לכל אתר ולסרוק אותו.

 

זחילה של אתר עם הפניית IP בהתבסס על מיקום גיאוגרפי (Geo IP Redirection)

דוגמה לאתר המשתמש בהפניה-אוטומטית המתבססת על מיקום גאוגרפי הוא GoDaddy, האתר הגדול בעולם לרישום דומיינים. האתר משתמש ב- country-level subdomains (אגב, לעיונכם קישור למאמרו של אלי שוורץ ב- SEJ: סאבדומיין או סאבפולדר – מה יותר עדיף בשנת 2018?), כאשר גרסת ה- US של האתר היא גרסת ה- www. אז בואו נאמר שאתם מעוניינים לזחול את גרסת ה- US, אבל מה אם אתם נמצאים פיזית מחוץ לארצות הברית? הנה מה שקורה…

 

crawling godaddy geo ip redirection

 

עמוד הבית של גרסת ה- www אוטומטית מפנה על-ידי סוג הפניית 302 (הפנייה זמנית) אל https://pt.godaddy.com/ , שהוא הסאב-דומיין הפורטוגזי, וזה המקום שבו נוכח דן שאפרד כותב המאמר בעת חופשה בברזיל. האתר הזה לא יאפשר לכם לזחול את גרסת ה- www כאשר אתם נמצאים פיזית במקום אחר, ויפנה אתכם על-ידי הפנייה המבוססת על מיקומכם הגיאוגרפי. כמשתמשים, אתם תוכלו לבחור את המיקום, שזה המקום שבו אימות מבוסס-טפסים יוכל לסייע לכם.

1. לחצו על ‘Configuration > Authentication > Forms Based’

ואז לחצו על “add”, ואז הכתובת של האתר שניסתם לזחול תשלים-עצמה-אוטומטית (במקרה הזה – www.godaddy.com)

 

forms based auth ip redirection

 

בשלב הבא, הדפדפן המובנה של סקרימינג פרוג יופיע, ואז תוכלו לראות שגרסת ה- www של האתר עושה הפנייה נוספת למיקום הגיאוגרפי שלכם, כמו שקורה תמיד בזחילה רגילה.

 

forms based auth ip redirection browser

 

בתצלום המסך ניתן לראות את הסאבדומיין הפורטוגזי, אבל כאמור אנחנו רוצים לזחול את גרסת ה- US של האתר.

2. בחרו את המיקום שאתם מעוניינים לזחול דרך הדפדפן המובנה

כעת כל שעליכם לעשות זה לבחור את הגרסה המועדפת עליכם – אותה גרסה של האתר שתרצו לזחול. ל- GoDaady יש תפריט שפות המקל על הבחירה.

 

forms based auth ip redirection browser set location

 

כעת לחצו על הקישור של “ארצות הברית” (United States) על מנת לגשת אל www.godaddy.com – פעולה שתציג לכם את האתר שבחרתם וגם תשתול לכם cookie בתוך הדפדפן וגם בתוך הזחלן של Screaming Frog.

 

forms based auth ip redirection browser set location now us

 

ואז לחצו על “OK” בתוך חלון הדפדפן.

 

3. כעת זחלו את המיקום המוגדר

כעת זחלו שוב. עכשיו כאשר הוגדרה ה- cookie, תוכלו לזחול ולסרוק את הגרסה שרציתם לפי המיקום הגיאוגרפי שבחרתם.

 

geo location redirection bypassed

 

השיטה הזו עדיפה הרבה יותר על שימוש בפרוקסי, שלעיתים יכול להיות איטי יותר וגם לפעמים מאריך את כל הסיפור מאחר שמאלץ אתכם להתאים ולהגדיר אותו מראש.

תהנו!

* לכל המעוניינים להמשיך להעמיק בנושא, הנה מאמר רלוונטי להמשך קריאה: האם ניתן לעצור הפניות 301 זדוניות מאתרים שקיבלו עונש מגוגל?

 

 

אודות המחבר

SEO Expert at 888 Holdings

עופר לנגר, בוגר תואר שני באוניברסיטת ת"א בפקולטה לתקשורת, כיום משמש בתפקיד SEO Expert בחברת 888 אחזקות, כמי שאמון על אסטרטגיית ה- SEO של הארגון. בעבר היה VP of SEO Services ב- Angora Media Group. במסגרת תפקידו כמנהל תחום קידום אורגני, היה אחראי על קידום תאגידים כמו תנובה, דואר ישראל, תאגיד התקשורת בינת, מיטב דש, אמריקן לייזר, השף הלבן ועוד.