קובץ הוראות סריקה לזחלנים; אינו מנגנון הגנת גישה.
איך זה עובד בחנות?
חנות יכולה לבקש מזחלנים להימנע מסריקה של מרחב כתובות מיון מסוים. צריך לבדוק שהכלל אינו תופס גם דפי מוצרים נחוצים.
מה כדאי לבדוק?
בחרו דוגמאות של כתובות מוצר ושל כתובות מיון והשוו את התאמתן לכלל לפני פרסומו.
מה קובץ ההנחיות אומר לסורק
קובץ רובוטים הוא מסמך טקסט שהאתר מציב בכתובת הקבועה שלו כדי למסור לסורקים הנחיות לגבי גישה לנתיבים. בחנות מקוונת יכולים להיות אלפי מוצרים לצד כתובות רבות שנוצרות בכל שינוי מיון או מסנן. חלק מהכתובות מועילות לקונים ברגע מסוים אך אינן מוסיפות עמוד ציבורי ייחודי לקטלוג. הקובץ מאפשר לכוון את הגישה של סורקים שמכבדים אותו. כדי להשתמש בו נכון צריך להבין מה רוצים להשיג. מניעת סריקה של כתובת, הסרת תוצאה מחיפוש והגנה על מידע פרטי הן שלוש משימות שונות.
נניח שקונה מסנן מאה דגמי מנורות לפי מחיר, צבע, גודל וסדר הצגה. מערכת החנות יכולה לייצר כתובת אחרת לכל שילוב, גם כשחלק גדול מהשילובים מציג בדיוק אותם מוצרים בסדר שונה. אם סורק עוקב ללא הבחנה אחרי כל האפשרויות, הוא עשוי להשקיע משאבים רבים במעברים שאינם מועילים לחיפוש. לפני קביעת חסימה גורפת בודקים אם יש בתוך אותה משפחת כתובות גם עמודים חשובים. סינון למנורות חוץ עמידות לגשם עשוי להיות קטגוריה שימושית בפני עצמה, אפילו אם נבנה במקור באותו מנגנון סינון.
כתובת הקובץ והיקף ההשפעה
ההנחיות נקראות מקובץ בשם robots.txt בשורש האתר הרלוונטי. בחנות שיש לה כמה מארחים או תתי דומיינים, בדיקה של הקובץ בחזית הראשית אינה בהכרח מספרת מה קורה בתת הדומיין של התמונות או בחנות נפרדת. מתחילים מהכתובת המדויקת של העמוד שאותו רוצים לבדוק ומזהים את המקור שממנו הוא מוגש. דוגמה היא עסק שמעביר את הקטלוג לכתובת חדשה אך משאיר קישורים לתמונות בכתובת הישנה. כל מקור צריך להיבדק לפי תפקידו ולא לפי שם המותג המשותף.
אחרי מעבר סביבת פיתוח לייצור כדאי לבדוק מה נפרס בפועל. קובץ שנועד להגביל סריקה של עותק ניסוי עשוי להישאר בסביבת האתר הציבורית אם העתיקו את התבנית בשלמותה. מצד אחר, אתר ניסוי המכיל מידע לא ציבורי דורש בקרת גישה מתאימה. פרסום רשימת נתיבים בקובץ להנחיית רובוטים אינו מונע מאדם לפתוח אותם. הקובץ עצמו ציבורי, ולכן הוא גם מקום לא מתאים לשמור בו פרטים אישיים, מפתחות גישה או תיעוד פנימי של העסק.
איך בוחרים בין סריקה לאינדוקס
מנוע חיפוש יכול להכיר כתובת מקישור גם בלי לקרוא את תוכן העמוד. הגבלת סריקה אינה מבטיחה שהכתובת לעולם לא תופיע בתוצאה. אם המטרה היא לאפשר גישה לציבור אבל לבקש ממנוע חיפוש לא להוסיף עמוד לאינדקס, נדרש מנגנון המתאים לאינדוקס ושאפשר לקרוא אותו. חסימת הגישה לעמוד ובו בזמן הצבת הנחיית אי אינדוקס בתוכו יוצרת בעיה מעשית. הסורק עשוי לא להגיע להנחיה שבעל האתר מצפה ממנו לכבד. לכן מתחילים בהחלטה מה אמור לקרות לקורא ולסורק בכל כתובת.
גם סימון כתובת מועדפת מטפל בשאלה אחרת. אם יש שתי כתובות ציבוריות לתיאור זהה ורוצים שמנוע החיפוש יבין איזה עמוד מייצג את התוכן, עדיף לבחון את מבנה הקישורים ואת סימון ההעדפה. חסימת אחת הכתובות באופן שלא מאפשר לקרוא את תוכנה יכולה למנוע מידע הדרוש להשוואה. כשכתובת ישנה הוחלפה וקוראים עדיין מגיעים אליה, הפניה ליעד המתאים יכולה לשרת גם אותם. בחירת הכלי נובעת מהתוצאה המבוקשת ולא רק מהשאיפה לצמצם את מספר הכתובות בדוח.
כללים לפי נתיב ועלות של טעות קטנה
בכתיבת כללים מתייחסים למשפחות כתובות ולסורקים שעליהם ההנחיות אמורות לחול. כלל קצר מדי עלול לחול גם על חלק אחר של האתר שיש לו תחילית דומה. לפני שמעדכנים אוספים דוגמאות משתי הקבוצות, כתובות שצריכות להישאר נגישות וכתובות שאמורות להיות מוגבלות. בחנות נעליים כדאי לכלול דגם יחיד, קטגוריה, עמוד תמונות, קישור עם סימון קמפיין ותוצאת חיפוש. בודקים את ההתאמה לפי נתיב אמיתי ולא לפי שם התיקייה שהצוות זוכר מתכנון ישן.
רכיבים הדרושים להצגת עמוד זכאים לתשומת לב מיוחדת. אם קובצי תצוגה או תמונות נחסמים בטעות, סורק עשוי לקבל תמונה חלקית של העמוד אף שהמבקר הרגיל רואה מוצר תקין. שינוי שנועד לחסוך סריקה של מסכי ניהול אינו אמור להשפיע על נכסי עיצוב ציבוריים שנמצאים במקרה בתיקייה דומה. במעבר תבנית או שינוי מערכת קטלוג, פותחים דוגמה ומבררים אילו משאבים היא באמת מבקשת. רשימה ישנה של נתיבים עלולה לא להתאים למבנה החדש גם אם העיצוב לצרכן נראה כמעט זהה.
בדיקה לפני ואחרי שינוי
בונים טבלה קצרה שבה לכל שורה כתובת, תפקיד עסקי, תוצאה רצויה וסיבה. דף מוצר חדש צריך להיות נגיש לסריקה. כתובת מיון משנית עשויה לקבל החלטה אחרת. נכס ציבורי שמציג תמונה ראשית צריך להישאר זמין לפי המדיניות שנבחרה. משתמשים בכלי בדיקה מתאים לסורק הרלוונטי ומשווים את התוצאה לרשימה. לאחר הפריסה פותחים את הקובץ באתר הציבורי ומוודאים שזה אכן המסמך החדש המוגש, ולא עותק שנשאר במטמון או עמוד שגיאה מעוצב שהשרת מחזיר במקומו.
מסמנים בדוח את תאריך השינוי ואת זמני הבדיקה. אם מבנה הכתובות השתנה אתמול, מידע שנאסף בסריקה קודמת עשוי עדיין להופיע בכלי מנהלי האתרים. אין טעם לשכתב שוב ושוב את הכללים לפני שבודקים איזה קובץ נקרא ובאיזה מועד. כאשר מתקבלת תלונה על מוצר שאינו נמצא בחיפוש, בודקים גם קיום קישורים פנימיים, זמינות העמוד והסטטוס שהוא מחזיר. קובץ הרובוטים הוא רק אחת הנקודות במסלול שבין פרסום עמוד לבין בחירתו להצגה בתוצאות.
דוגמה לקבלת החלטה בצוות
חנות מתכננת להוסיף מסנן לפי צבע ולקדם שלושה עמודי צבע בעלי תיאור ותצלומים משלהם. הצוות מחליט אילו כתובות הן שלושת עמודי היעד ואילו כתובות הן שילובים זמניים. איש הקטלוג בודק שהעמודים המיועדים מקושרים מתוך הניווט, ואשת הפיתוח מוודאת שהכללים אינם חוסמים בטעות את הנתיב שבו הם נמצאים. לאחר ההשקה פותחים את שלושת היעדים מתוך האתר ומוודאים שגם לקוח וגם סורק יכולים להגיע לתוכן המתאים. כך תכנון הקטלוג ותכנון הסריקה תומכים באותה החלטה עסקית.
לצורך תחזוקה שומרים עם הקובץ הסבר קצר לכל קבוצה של כללים במקום שבו הצוות מנהל שינויים. הסבר כמו ״משפחת כתובות מיון שנוספה בגרסת הקטלוג של נובמבר״ יעזור למפתחת הבאה לדעת מתי אפשר לבחון מחדש את ההחלטה. אחרי החלפת מערכת או הסרת מסנן עוברים על הרשימה ומעדכנים אותה לפי מה שקיים עכשיו. קובץ קטן שמובן לצוות ומגובה בדוגמאות שימושיות קל יותר לנהל מאוסף ארוך של כללים שאיש אינו יודע מה הם אמורים לעשות.
אם הכתובות מיוצרות בכמה שפות, ודאו שהבדיקה כוללת כל שפה בנפרד. תיקון שמתבסס על תחילית עברית בלבד עשוי להשאיר התנהגות שונה בקטלוג האנגלי, גם כאשר המשתמשים רואים את אותו מבחר מוצרים. בדיקה טובה מסתיימת ברשימת דוגמאות ששאר אנשי הצוות יכולים לפתוח בעצמם ולהסביר במשפט אחד מה אמור לקרות בכל אחת מהן ולמה.
