ענן מודיעין אופטימלי: כיצד להשתמש במנוע הסטטיסטיקה כדי לבדוק A/B חכם ומהיר יותר

אסטרטגיות בדיקת מנוע ו- A/B בסטטיסטיקה אופטימלית

אם אתה מעוניין להריץ תוכנית ניסויים שתעזור לעסק שלך לבדוק וללמוד, רוב הסיכויים שאתה משתמש ענן מודיעין אופטימלי - או לפחות הסתכלת על זה. אופטימיזציה הוא אחד הכלים החזקים ביותר במשחק, אך כמו כל כלי כזה, ייתכן שתשתמש בו לא נכון אם אינך מבין כיצד הוא פועל. 

מה הופך את Optimizely לחזקה כל כך? בבסיס מערך התכונות שלו נמצא מנוע הסטטיסטיקה המושכל והאינטואיטיבי ביותר בכלי צד שלישי, המאפשר לך להתמקד יותר בהשגת מבחנים חשובים-ללא צורך לדאוג כי אתה מפרש את התוצאות שלך בצורה לא נכונה. 

בדומה למחקר עיוור מסורתי ברפואה, בדיקת A / B יראה באופן אקראי שונה טיפולים באתר שלך למשתמשים שונים כדי להשוות את יעילות כל טיפול. 

לאחר מכן הסטטיסטיקה עוזרת לנו להסיק על מידת יעילותו של טיפול זה לאורך זמן. 

רוב כלי בדיקת A/B מסתמכים על אחד משני סוגים של הסקה סטטיסטית: סטטיסטיקות תכופות או בייסיאניות. לכל בית ספר יש יתרונות וחסרונות שונים - סטטיסטיקות תדירות דורשות תיקון גודל מדגם לפני הפעלת ניסוי, ולסטטיסטיקה בבייסיאן אכפת בעיקר מקבלת החלטות כיווניות טובות במקום לציין כל נתון אחד להשפעה, וציינו שתי דוגמאות. כוח העל של Optimizely הוא שזהו הכלי היחיד בשוק כיום לקחת הטוב שבשני העולמות גִישָׁה.

התוצאה הסופית? אופטימיזציה מאפשרת למשתמשים להריץ ניסויים מהר יותר, אמין יותר ואינטואיטיבי יותר.

על מנת לנצל זאת במלואו, חשוב להבין מה קורה מאחורי הקלעים. להלן 5 תובנות ואסטרטגיות שיגרמו לך להשתמש ביכולות של Optimizely כמו מקצוען.

אסטרטגיה מס '1: הבינו שלא כל המדדים נוצרים שווים

ברוב כלי הבדיקה, בעיה שבדרך כלל מתעלמים ממנה היא שככל שאתה מוסיף ועקוב אחר מדדים כחלק מהבדיקה שלך, כך סביר שתראה כמה מסקנות שגויות עקב סיכוי אקראי (בסטטיסטיקה, זה נקרא "בעיית הבדיקה המרובה" ”). על מנת לשמור על תוצאותיה מהימנות, Optimizely משתמשת בשורת פקדים ותיקונים כדי לשמור על הסיכוי שזה יקרה יהיה נמוך ככל האפשר. 

לאמצעי הבקרה והתיקונים הללו יש שתי השלכות כאשר אתה הולך להגדיר בדיקות ב- Optimizely. ראשית, המדד שאתה מייעד כשלך מדד ראשי יגיע למשמעות סטטיסטית מהר ביותר, כל שאר הדברים קבועים. שנית, ככל שתוסיף יותר ערכים לניסוי, כך יידרשו זמן רב יותר לערכים המאוחרים שלך כדי להגיע למשמעות סטטיסטית.

בעת תכנון ניסוי, ודא שאתה יודע איזה מדד יהיה הצפון האמיתי שלך בתהליך קבלת ההחלטות שלך, הפוך אותו לערך הראשי שלך. לאחר מכן, שמור את שאר רשימת המדדים שלך על ידי הסרת כל דבר מיותר מדי או משיק.

אסטרטגיה מס '2: בנה תכונות מותאמות אישית משלך

Optimizely מצוין בכמה דרכים מעניינות ומועילות לפלח את תוצאות הניסוי שלך. לדוגמה, תוכל לבחון האם טיפולים מסוימים מביאים ביצועים טובים יותר במחשבים שולחניים לעומת ניידים, או לראות הבדלים בין מקורות תנועה. עם זאת, עם התבגרות תוכנית הניסויים שלך, תרצה במהירות לפלחים חדשים-אלה עשויים להיות ספציפיים למקרה השימוש שלך, כמו פלחים לרכישות חד פעמיות לעומת מנוי, או כלליות כמו "מבקרים חדשים לעומת מבקרים חוזרים" (אשר, בכנות, עדיין איננו יכולים להבין מדוע הדבר אינו מסופק מהקופסה).

החדשות הטובות הן שבאמצעות שדה Project Javascript של Optimizely, מהנדסים המכירים את Optimizely יכולים לבנות כל מספר תכונות מותאמות אישית מעניינות שאפשר לשייך אליהם מבקרים ולפלח אותם. ב- Cro Metrics בנינו מספר מודולי מלאי (כמו "מבקרים חדשים לעומת מבקרים חוזרים") אותם אנו מתקינים עבור כל לקוחותינו באמצעות Javascript של Project. מינוף היכולת הזו הוא מבדל מרכזי בין צוותים בוגרים שיש להם את המשאבים הטכניים הנכונים לעזור להם לבצע, לבין צוותים שנאבקים לממש את מלוא הפוטנציאל של הניסויים.

אסטרטגיה מס '3: חקור את מאיץ הסטטיסטיקה של Optimizely

תכונה אחת של כלי הבדיקה המופעלים לעתים קרובות מדי היא היכולת להשתמש ב"שודדים מרובי זרועות ", סוג של אלגוריתם למידת מכונה שמשנה באופן דינמי את המקום בו תוקצה התנועה שלך במהלך ניסוי, כדי לשלוח כמה שיותר מבקרים ל"זוכה" וריאציה ככל האפשר. הבעיה עם שודדים מרובי זרועות היא שהתוצאות שלהם אינן אינדיקטורים מהימנים לביצועים לטווח ארוך, ולכן מקרה השימוש בניסויים מסוג זה מוגבל למקרים רגישים לזמן כמו קידומי מכירות.

עם זאת, באופטימיות יש סוג אחר של אלגוריתם שודדים הזמין למשתמשים בתכניות גבוהות יותר - מאיץ סטטיסטיקה (המכונה כיום האפשרות "להאיץ למידה" בתוך השודדים). בהתקנה זו, במקום לנסות להקצות דינמית את התעבורה לשונות בעלת הביצועים הגבוהים ביותר, באופן אופטימי מקצה את התנועה לשינויים הסבירים ביותר להגיע למשמעות סטטיסטית במהירות הגבוהה ביותר. כך תוכל ללמוד מהר יותר ולשמור על ההעתקות של תוצאות בדיקת A/B מסורתיות.

אסטרטגיה מס '4: הוסף אמוג'ים לשמות המדדים שלך

במבט ראשון, הרעיון הזה כנראה נשמע לא במקום, אפילו מטורף. עם זאת, היבט מרכזי לוודא שאתה קורא את תוצאות הניסוי הנכונות מתחיל בוודא שהקהל שלך יכול להבין את השאלה. 

לפעמים למרות כל המאמצים שלנו, שמות מדדים יכולים להיות מבלבלים (המתן - האם המדד הזה עולה כאשר ההזמנה מתקבלת, או כשהמשתמש פוגע בדף התודה?), או שבניסוי יש כל כך הרבה מדדים שגוללים למעלה ולמטה מהתוצאות העמוד מוביל לעומס קוגניטיבי מוחלט.

הוספת אמוג'ים לשמות המדדים שלך (מטרות, סימני ביקורת ירוקים, אפילו תיק הכסף הגדול יכולה לעבוד) יכולה לגרום לדפים הניתנים לסריקה הרבה יותר. 

סמכו עלינו - קריאת התוצאות תרגיש הרבה יותר קלה.

אסטרטגיה מס '5: שקול מחדש את רמת המשמעות הסטטיסטית שלך

התוצאות נחשבות חד משמעיות בהקשר של ניסוי Optimizely כשהן הגיעו מובהקות סטטיסטית. מובהקות סטטיסטית היא מונח מתמטי קשה, אך בעיקרו של דבר זו ההסתברות שהתצפיות שלך הן תוצאה של הבדל ממשי בין שתי אוכלוסיות, ולא רק מקריות אקראיות. 

רמות המובהקות הסטטיסטית המדווחות של Optimizely הן "תקפות תמיד" הודות למושג מתמטי שנקרא בדיקות רציפות - זה בעצם הופך אותם לאמינים הרבה יותר מאלו של כלי בדיקה אחרים, הנוטים לכל מיני בעיות "מציצות" אם אתה קורא אותם מוקדם מדי.

כדאי לשקול מה רמת המשמעות הסטטיסטית שלדעתך חשובה לתוכנית הבדיקה שלך. בעוד 95% הם האמנה בקהילה המדעית, אנו בודקים שינויים באתר, לא חיסונים. בחירה נפוצה נוספת בעולם הניסוי: 90%. אבל האם אתה מוכן לקבל קצת יותר אי וודאות על מנת להריץ ניסויים מהר יותר ולבדוק רעיונות נוספים? יכול להיות שאתה משתמש במובהקות סטטיסטית של 85% או אפילו 80%? להיות מכוון לגבי יתרת הסיכון-תגמול שלך יכול לשלם דיבידנדים מעריכים לאורך זמן, אז חשוב על זה היטב.

קרא עוד על ענן מודיעין אופטימיזציה

חמשת העקרונות והתובנות המהירים הללו יעזרו להפליא לזכור בעת השימוש ב- Optimizely. כמו בכל כלי, זה מסתכם בוודא שיש לך הבנה טובה של כל ההתאמות האישיות מאחורי הקלעים, כך שתוכל לוודא שאתה משתמש בכלי ביעילות וביעילות. עם הבנות אלה, תוכל לקבל את התוצאות האמינות שאתה מחפש, בעת הצורך. 

מה אתה חושב?

אתר זה משתמש Akismet כדי להפחית דואר זבל. למד כיצד הנתונים שלך מעובדים.