ענן מודיעין אופטימלי: כיצד להשתמש במנוע הסטטיסטיקה כדי לבדוק A/B חכם ומהיר יותר

אסטרטגיות בדיקת מנוע ו- A/B בסטטיסטיקה אופטימלית

אם אתה מעוניין להריץ תוכנית ניסויים שתעזור לעסק שלך לבדוק וללמוד, רוב הסיכויים שאתה משתמש ענן מודיעין אופטימלי - או לפחות הסתכלת על זה. אופטימיזציה הוא אחד הכלים החזקים ביותר במשחק, אך כמו כל כלי כזה, ייתכן שתשתמש בו לא נכון אם אינך מבין כיצד הוא פועל. 

What makes Optimizely so powerful? At the core of its feature set lies the most informed and intuitive statistics engine in a third-party tool, allowing you to focus more on getting important tests live – without needing to worry that you’re misinterpreting your results. 

בדומה למחקר עיוור מסורתי ברפואה, בדיקת A / B יראה באופן אקראי שונה טיפולים באתר שלך למשתמשים שונים כדי להשוות את יעילות כל טיפול. 

לאחר מכן הסטטיסטיקה עוזרת לנו להסיק על מידת יעילותו של טיפול זה לאורך זמן. 

Most A/B testing tools rely on one of two types of statistical inference: Frequentist or Bayesian stats. Each school has various pros and cons – Frequentist statistics require a sample size to be fixed in advance of running an experiment, and Bayesian statistics mainly care about making good directional decisions rather than specifying any single figure for impact, to name two examples. Optimizely’s superpower is that it’s the only tool on the market today to take a הטוב שבשני העולמות גִישָׁה.

התוצאה הסופית? אופטימיזציה מאפשרת למשתמשים להריץ ניסויים מהר יותר, אמין יותר ואינטואיטיבי יותר.

In order to take full advantage of that, though, it’s important to understand what’s happening behind the scenes. Here are 5 insights and strategies that will get you using Optimizely’s capabilities like a pro.

אסטרטגיה מס '1: הבינו שלא כל המדדים נוצרים שווים

ברוב כלי הבדיקה, בעיה שבדרך כלל מתעלמים ממנה היא שככל שאתה מוסיף ועקוב אחר מדדים כחלק מהבדיקה שלך, כך סביר שתראה כמה מסקנות שגויות עקב סיכוי אקראי (בסטטיסטיקה, זה נקרא "בעיית הבדיקה המרובה" ”). על מנת לשמור על תוצאותיה מהימנות, Optimizely משתמשת בשורת פקדים ותיקונים כדי לשמור על הסיכוי שזה יקרה יהיה נמוך ככל האפשר. 

לאמצעי הבקרה והתיקונים הללו יש שתי השלכות כאשר אתה הולך להגדיר בדיקות ב- Optimizely. ראשית, המדד שאתה מייעד כשלך מדד ראשי יגיע למשמעות סטטיסטית מהר ביותר, כל שאר הדברים קבועים. שנית, ככל שתוסיף יותר ערכים לניסוי, כך יידרשו זמן רב יותר לערכים המאוחרים שלך כדי להגיע למשמעות סטטיסטית.

בעת תכנון ניסוי, make sure you know which metric will be your True North in your decision-making process, make that your Primary Metric. Then, keep the rest of your metrics list lean by removing anything that’s too superfluous or tangential.

אסטרטגיה מס '2: בנה תכונות מותאמות אישית משלך

Optimizely is great at giving you several interesting and helpful ways to segment your experiment results. For example, you can examine whether certain treatments perform better on desktop vs. mobile, or observe differences across traffic sources. As your experimentation program matures though, you’ll quickly wish for new segments – these may be specific to your use case, like segments for one-time vs. subscription purchases, or as general as “new vs. returning visitors” (which, frankly, we still can’t figure out why that isn’t provided out of the box).

The good news is that via Optimizely’s Project Javascript field, engineers familiar with Optimizely can build any number of interesting custom attributes that visitors can be assigned to and segmented by. At Cro Metrics, we’ve built a number of stock modules (like “new vs. returning visitors”) that we install for all of our clients via their Project Javascript. Leveraging this ability is a key differentiator between mature teams who have the right technical resources to help them execute, and teams who struggle to realize the full potential of experimentation.

אסטרטגיה מס '3: Explore Optimizely’s Stats Accelerator

One often-overhyped testing tool feature is the ability to use “multi-armed bandits”, a type of machine learning algorithm that dynamically changes where your traffic is allocated over the course of an experiment, to send as many visitors to the “winning” variation as possible. The issue with multi-armed bandits is that their results aren’t reliable indicators of long-term performance, so the use case for these types of experiments are limited to time-sensitive cases like sales promotions.

עם זאת, באופטימיות יש סוג אחר של אלגוריתם שודדים הזמין למשתמשים בתכניות גבוהות יותר - מאיץ סטטיסטיקה (המכונה כיום האפשרות "להאיץ למידה" בתוך השודדים). בהתקנה זו, במקום לנסות להקצות דינמית את התעבורה לשונות בעלת הביצועים הגבוהים ביותר, באופן אופטימי מקצה את התנועה לשינויים הסבירים ביותר להגיע למשמעות סטטיסטית במהירות הגבוהה ביותר. כך תוכל ללמוד מהר יותר ולשמור על ההעתקות של תוצאות בדיקת A/B מסורתיות.

אסטרטגיה מס '4: הוסף אמוג'ים לשמות המדדים שלך

במבט ראשון, הרעיון הזה כנראה נשמע לא במקום, אפילו מטורף. עם זאת, היבט מרכזי לוודא שאתה קורא את תוצאות הניסוי הנכונות מתחיל בוודא שהקהל שלך יכול להבין את השאלה. 

לפעמים למרות כל המאמצים שלנו, שמות מדדים יכולים להיות מבלבלים (המתן - האם המדד הזה עולה כאשר ההזמנה מתקבלת, או כשהמשתמש פוגע בדף התודה?), או שבניסוי יש כל כך הרבה מדדים שגוללים למעלה ולמטה מהתוצאות העמוד מוביל לעומס קוגניטיבי מוחלט.

הוספת אמוג'ים לשמות המדדים שלך (מטרות, סימני ביקורת ירוקים, אפילו תיק הכסף הגדול יכולה לעבוד) יכולה לגרום לדפים הניתנים לסריקה הרבה יותר. 

סמכו עלינו - קריאת התוצאות תרגיש הרבה יותר קלה.

אסטרטגיה מס '5: שקול מחדש את רמת המשמעות הסטטיסטית שלך

Results are deemed conclusive in the context of an Optimizely experiment when they’ve reached מובהקות סטטיסטית. מובהקות סטטיסטית היא מונח מתמטי קשה, אך בעיקרו של דבר זו ההסתברות שהתצפיות שלך הן תוצאה של הבדל ממשי בין שתי אוכלוסיות, ולא רק מקריות אקראיות. 

Optimizely’s reported statistical significance levels are “always valid” thanks to a mathematical concept called בדיקות רציפות - זה בעצם הופך אותם לאמינים הרבה יותר מאלו של כלי בדיקה אחרים, הנוטים לכל מיני בעיות "מציצות" אם אתה קורא אותם מוקדם מדי.

It’s worth considering what level of statistical significance you deem important to your testing program. While 95% is the convention in the scientific community, we’re testing website changes, not vaccines. Another common choice in the experimental world: 90%.  But are you willing to accept a little more uncertainty in order to run experiments faster and test more ideas? Could you be using 85% or even 80% statistical significance? Being intentional about your risk-reward balance can pay exponential dividends over time, so think this through carefully.

קרא עוד על ענן מודיעין אופטימיזציה

חמשת העקרונות והתובנות המהירים הללו יעזרו להפליא לזכור בעת השימוש ב- Optimizely. כמו בכל כלי, זה מסתכם בוודא שיש לך הבנה טובה של כל ההתאמות האישיות מאחורי הקלעים, כך שתוכל לוודא שאתה משתמש בכלי ביעילות וביעילות. עם הבנות אלה, תוכל לקבל את התוצאות האמינות שאתה מחפש, בעת הצורך. 

מה אתה חושב?

אתר זה משתמש Akismet כדי להפחית דואר זבל. למד כיצד הנתונים שלך מעובדים.