זחלן רשת (web crawler) הוא כינוי לסוג של בוט או תוכנה הסורקת את הרשת, באופן אוטומטי, שיטתי וסדרתי. תוכנה זו יכולה להיקרא גם “זחלן” או בקיצור “בוט”. מנועי חיפוש, משתמשים בזחלנים כדי לקבל תמונה עדכנית של כל האתרים הכלולים באינדקס. הזחלן שומר העתק של כתובות האתרים כדי שניתן יהיה לעדכן אותם מאוחר יותר ברשימה המכונה “אינדקס” של מנוע החיפוש ובכך מאפשר למנוע החיפוש מתן תוצאות מהירות. התהליך אותו עושה התוכנה נקרא “הזדחלות אינטרנטית” או “זחילה”. בדרך כלל הזחלן מתחיל לסרוק דף מתוך רשימה נתונה של דפים ומשם הוא מתקדם באופן רקורסיבי דרך הקישורים בדף, לדפים נוספים. כל קישור מוביל את מנוע החיפוש לגילוי של כתובות נוספות שיכללו בהמשך באינדקס. התהליך משתמש בעולם המונחים של תוויית קורים מפאת הדמיון החזותי לתוויה של רשת – בה כל נקודת קישור מובילה לעוד נקודות נוספות, וכך נרקמת לה רשת של קורים, קישורים וכתובות.

אודות המחבר

SEO Expert at 888 Holdings

עופר לנגר, בוגר תואר שני באוניברסיטת ת"א בפקולטה לתקשורת, כיום משמש בתפקיד SEO Expert בחברת 888 אחזקות, כמי שאמון על אסטרטגיית ה- SEO של הארגון. בעבר היה VP of SEO Services ב- Angora Media Group. במסגרת תפקידו כמנהל תחום קידום אורגני, היה אחראי על קידום תאגידים כמו תנובה, דואר ישראל, תאגיד התקשורת בינת, מיטב דש, אמריקן לייזר, השף הלבן ועוד.