השוואת שתי גרסאות באמצעות ניסוי מוגדר ומדד הצלחה מראש.
איך זה עובד בחנות?
שינוי נוסח כפתור הרכישה יכול להשפיע על הוספות לסל בלי לשפר רכישות. מחליטים מראש איזו פעולה תשמש מדד עיקרי.
מה כדאי לבדוק?
חלקו תנועה בין הגרסאות באותה תקופה, ודאו שהמדידה זהה ובדקו גם ירידות בשלבים המאוחרים של הקופה.
שאלה שאפשר לבדוק בשתי גרסאות
ניסוי A/B הוא דרך להשוות שתי גרסאות של חוויה באמצעות הקצאה של משתתפים לגרסאות ומדידה של תוצאה שהוגדרה מראש. בחנות וירטואלית ההבדל יכול להיות סדר הצגת אפשרויות משלוח, ניסוח של הבטחה או דרך בחירת מידה. היתרון של ניסוי מתוכנן הוא ששתי הקבוצות פועלות באותה תקופה. כך מצמצמים את הסיכון לייחס לעיצוב הבדל שנבע מחג, ממבצע מתחרה או מהגעת תנועה שונה בשבוע אחר. ההשוואה עדיין תלויה בהקצאה ובמדידה תקינות.
ניקח חנות שמוכרת מעילים ומקבלת פניות רבות על אורך השרוול. הצוות שוקל להוסיף ליד בחירת המידה שרטוט קצר המראה מאיפה מודדים. ההשערה יכולה להיות שהשרטוט יעזור לקונים להזמין מידה מתאימה. מדד שמתאים לשאלה הזאת יתייחס להזמנות או להחזרות בגלל מידה. מספר הלחיצות על השרטוט יכול ללמד אם התוכן מושך תשומת לב, אבל הוא לבדו אינו אומר שנבחר מעיל מתאים או שהלקוחה הצליחה להשלים קנייה.
גרסת ביקורת, גרסת שינוי ומה שביניהן
גרסת הביקורת היא המצב שאליו משווים. בגרסת השינוי מוסיפים או משנים את הדבר שנועד לטפל בבעיה. אם מחליפים באותו ניסוי גם את השרטוט, גם את נוסח כפתור הרכישה וגם את מחיר המשלוח, תוצאה טובה תתייחס לחבילה כולה. לא נדע איזה שינוי תרם לה. לפעמים זה בדיוק מה שרוצים לבדוק, למשל לפני החלפת מסך שלם. במקרה כזה מנסחים את השאלה בהתאם ונמנעים מייחוס התוצאה לרכיב בודד שלא נבדק לבדו.
חשוב שההבדל המוצהר אכן יהיה ההבדל שהקונה פוגש. נניח שבגרסת השרטוט טעינת העמוד איטית יותר או שהכפתור זז מחוץ למסך בטלפון. התוצאה תכלול גם את ההשפעה הזאת. לפני הפעלה לציבור מבצעים את מסלול הקנייה בשתי הגרסאות, עם מוצר זמין ועם מידה שאזלה. חוזרים גם מן העגלה כדי לבדוק שהקונה ממשיך לקבל חוויה עקבית. בדיקה מוקדמת טובה יכולה לחסוך ניסוי שלם שמתברר בסופו כבדיקה של תקלה.
מי משתתף ואיך מקצים
לפני שמתחילים מגדירים מי זכאי להשתתף. אם השרטוט מופיע רק במעילים בעלי טבלת מידות מסוימת, ביקור בדף גרביים אינו חשיפה לניסוי. אם מסמנים כל מבקר באתר כמי שנחשף, המדד עלול להיות מדולל בהמון ביקורים שהשינוי לא היה יכול להשפיע עליהם. קובעים גם אם ההקצאה נעשית לאדם, לחשבון או לביקור, ומה קורה כשאותו קונה חוזר למחרת. הבחירה צריכה להתאים לאורך ההחלטה שרוצים למדוד.
הקצאה אקראית מאפשרת לשתי הקבוצות לקבל בממוצע תמהיל דומה של קונים. חלוקה לפי ימים, שבה יום ראשון מקבל את הגרסה הישנה ויום שני את החדשה, עלולה לבלבל בין השפעת הגרסה להבדלי הפעילות של הימים. גם הקצאה אקראית אינה מבטיחה שוויון מדויק בכל מדגם קטן. כדאי לבדוק את מספר החשיפות בכל קבוצה ולהבין פער גדול מהצפוי לפני שקוראים את תוצאות המכירה. פער בהקצאה יכול להיות סימן שהמדידה מופעלת רק בחלק מהמסכים.
מדד עיקרי ומדדי שמירה
בוחרים מדד עיקרי שמייצג את המטרה ומגדירים במדויק את המכנה. אפשר למשל למדוד כמה מבקרים שנחשפו לדף מעיל ביצעו הזמנה בתוך חלון מוסכם. אם מודדים החזרה בגלל מידה, צריך לתת להזמנות שהגיעו בסוף הניסוי מספיק זמן להימסר ולחזור. לצד המדד העיקרי אפשר להגדיר מספר קטן של מדדים שנועדו לזהות נזק, כמו זמן טעינה, שיעור ביטולים או מספר פניות על תקלה בבורר המידות.
מדדים נוספים עוזרים להסביר תוצאה, אך בחירה בדיעבד של המדד היחיד שהשתפר אינה מבחן הוגן של ההשערה המקורית. אם רכישות נשארו דומות והלחיצות על השרטוט עלו, אפשר לומר שהשרטוט נקרא ולהמשיך לחקור. אין להסיק מכך שההכנסה עלתה. כדאי לכתוב לפני ההשקה מה נחשב שיפור מסחרי משמעותי לעסק. שינוי זעיר שנמדד בדיוק רב עשוי לא להצדיק תחזוקה יקרה, ושיפור אפשרי גדול שעדיין נמדד באי ודאות מצריך איסוף מידע נוסף.
איך מפרשים מספרים
נניח שבכל קבוצה נחשפו אלף מבקרים. עשרים קנו בגרסת הביקורת ועשרים וחמישה בגרסה החדשה. השיעורים הם שני אחוזים ושניים וחצי אחוזים. ההפרש המוחלט הוא חצי נקודת אחוז, והעלייה היחסית היא עשרים וחמישה אחוזים. שתי הדרכים נכונות, אך המספר היחסי לבדו עלול להישמע גדול בהרבה מן ההשפעה בפועל. בדוגמה מדובר בחמש הזמנות נוספות בקבוצות שנמדדו, וזה עדיין לא מוכיח שהפער יחזור אם החנות תציג את הגרסה לכולם.
תכנון גודל המדגם תלוי בשיעור הבסיס, בגודל השינוי שחשוב לזהות ובשיטת הניתוח שנבחרה. אין מספר קסם של ימים או הזמנות שמתאים לכל חנות. ניסוי המסתיים ברגע שנראה יתרון זמני עלול להכריע בעקבות תנודה מקרית. קובעים מראש כלל סיום שמתאים לשיטה, ורושמים אירועים כמו יום השבתה או שינוי קמפיין שהשפיע על הקהל. אם יש תקלה ממשית שפוגעת בקונים מפסיקים לטפל בה גם אם עדיין אין תוצאה סטטיסטית מסכמת.
לבדוק את המדידה עצמה
מעבירים הזמנת ניסיון בכל גרסה ומשווים את הזמניוּת ואת מזהי האירועים. כפתור שונה יכול ליצור אירוע פעמיים, ורענון של דף תודה יכול להיספר כרכישה נוספת אם אין שיוך להזמנה. כדאי להצליב מדגם של הזמנות אמיתיות ממערכת המסחר עם דוח הניסוי. אם ההזמנות מתועדות בחנות אך אינן מגיעות מן הגרסה החדשה לכלי הניתוח, דוח ירידה בהמרות אינו מספיק כדי להחליט שהעיצוב פוגע במכירה.
הקצאה יכולה להיות תקינה ובכל זאת חלק מהמשתמשים יראו את שתי הגרסאות. למשל אותו אדם פותח את הדף בטלפון ומסיים במחשב. מתעדים מה המערכת יכולה לזהות ומה נשאר מחוץ לתצפית. לפני שמנסים לפתור כל אי ודאות טכנית בודקים אם היא משמעותית לשאלה. בחנות שבה קונים בדרך כלל בתוך ביקור אחד השפעת מעבר מכשירים עשויה להיות שונה מחנות רהיטים שבה המשפחה משווה אפשרויות במשך שבועיים.
מן התוצאה להחלטה
בסיום מציגים לצד האחוזים את מספר המשתתפים, האירועים, חלון המעקב ומידת אי הוודאות. בודקים אם התקלה המקורית באמת השתפרה ואילו תוצאות הגיעו אחרי הרכישה. אפשר לבחור לאמץ גרסה, להישאר עם הקיימת או לתכנן ניסוי מדויק יותר. תוצאה שאינה מכריעה יכולה לחסוך פריסה רחבה של שינוי יקר שאין די ראיות לתועלתו. כדאי לשמור גם צילום של כל גרסה כדי שעורך חדש יבין בעתיד מה הושווה בפועל.
בחנויות קטנות שבהן אין מספיק תנועה להכרעה מעשית, לפעמים עדיף להתחיל בתצפית על כמה קונים שמנסים לבחור מידה ולראיין את נציגי השירות. אם כולם נתקעים באותו מקום אפשר לתקן חסם ברור ולבדוק שהמסלול עובד. השאלה הנכונה היא מהי הדרך הסבירה ביותר ללמוד על החלטת הקנייה בתנאים הקיימים. כשכן בוחרים בניסוי, ההשקעה החשובה ביותר היא בהגדרת השאלה וביכולת לדעת מה באמת התרחש בכל גרסה.
לאחר פריסה מלאה כדאי לעקוב שוב אחרי התוצאה באותה הגדרה. התמהיל יכול להשתנות כשהגרסה זמינה לכולם או כשהעונה מתחלפת. השוואה זו מסייעת לתחזוקה, גם אם אין בה כבר את אותה הקצאה אקראית שאפשרה להסיק מסקנות במהלך הניסוי עצמו.
