פרק 11 - דף נחיתה
נתונים סטטיסטים הכל על נתונים סטטיסטיים |
דואל |
|
חלק זה מספק הסברים מפורטים אודות הנתונים הסטטיסטיים שבהם משתמש כלי האופטימיזציה של אתרים. מידע זה אינו הכרחי לשם תכנון ניסויי אופטימיזציה וביצועם; הוא מצורף עבור אלו המעוניינים בסטטיסטיקה העומדת מאחורי כלי האופטימיזציה של אתרים. חלק זה מבוסס על ההנחה שיש לך ידע בסיסי במתמטיקה ובסטטיסטיקה. הגדרותסעיף זה מספק הגדרות למספר מונחים נפוצים, והסברים לאופן שבו הם נגזרים.שיעור המרותשיעור ההמרות הוא המדד להצלחתו של אתר אינטרנט. ההגדרה הפשוטה ביותר היא:% המרה = מס' האנשים שהגיבו לקריאתך לפעולה לחלק במספר האנשים שצפו בקריאתך לפעולה X 100 לדוגמה, אם 100 אנשים רואים את אתר האינטרנט שלך ו-15 מתוכם לוחצים על לחצן הקריאה לפעולה, שיעור ההמרות שלך הוא 15%.כלי האופטימיזציה של אתרים מודד את שיעור ההמרות לפי ההופעות בדף הבדיקה ובדף ההמרות. לפיכך, % המרות = מס' הופעות דף ההמרות לחלק במס' הופעות דף הבדיקה x 100 שיעור ההמרות הינו ערך מדויק. זהו שיעור ההמרות שמתבצע בפועל במהלך הניסוי.טווחים משוערים של שיעור המרותבעוד ששיעור ההמרות מעיד על רמת ביצועים במהלך הניסוי עצמו, מועיל יותר לדעת את שיעור ההמרות הפוטנציאלי מחוץ לסביבת הניסוי, כגון מתי התוכן המדובר מוצג בפני כלל המבקרים. כלי האופטימיזציה של אתרים מנבא שיעור המרות עתידי זה, ומשום שכל תחזית כוללת רמה מסוימת של אי-ודאות, שיעור ההמרות העתידי מבוטא כטווח.לכן, אם שיעור ההמרות של הניסוי הוא 35%, ניתן לבטא את טווח שיעור ההמרות הצפוי כ-"35% פלוס או מינוס 2%" או כ-"33-37%". שיפור באחוזיםהשיפור באחוזים מתאר באיזו מידה ביצועיו של שילוב כלשהו טובים מאלו של התוכן המקורי. הוא מבוטא כשיפור באחוזים בשיעור ההמרות.לדוגמה, אם שיעור ההמרות של התוכן המקורי הוא 10%, ולשילוב 5 שיעור המרות של 12%, שילוב 5 מביא שיפור של 20%. הנוסחה היא: % השיפור = [(שיעור ההמרות של שילוב X / שילוב ההמרות של שילוב 0)-1] *100 ניתן לבטא את השיפור באחוזים כמספר חיובי או שלילי. תוכן מקוריההנחה היא שזהו התוכן שהוצג בדף הבדיקה לפני התחלת הניסוי. כלי האופטימיזציה של אתרים מניח שהניסוי בודק את הפוטנציאל של תוכן חדש בהשוואה לתוכן הנוכחי.במהלך הגדרת הניסוי, התוכן המקורי אמור להישמר בדף הבדיקה, בזמן שהתוכן החדש מוזן בכלי האופטימיזציה של אתרים כווריאציות. לכן, מבחינה טכנית, התוכן "המקורי" הינו התוכן הממוקם בדף הבדיקה. לא מומלץ לבצע שינויים משמעותיים בתוכן המקורי לפני הניסוי. דירוג רלוונטיותדירוג הרלוונטיות מנסה לתאר את ההשפעה של חלק דף. לחלקים מסוימים תהיה השפעה רבה יותר על הקהל בהשוואה לאחרים. לדוגמה, סביר להניח שלאיכותו של תצלום מוצר כלשהו תהיה השפעה רבה יותר בהשוואה לצבע הכותרת.דירוג הרלוונטיות מבוטא כסולם של 0-5, כאשר 0 הינו ללא כל השפעה. הרלוונטיות נמדדת באמצעות האפקטיביות המשתנה של כל וריאציה בחלק כלשהו. לדוגמא, אם לחלק מסוים שלוש וריאציות ושיעורי ההמרות שלהן שונים זה מזה במידה רבה, סביר להניח שדירוג הרלוונטיות של חלק זה יהיה גבוה. לעומת זאת, אם לכל הווריאציות בחלק שיעורי המרות דומים, סביר שדירוג הרלוונטיות יהיה נמוך. דירוגי רלוונטיות גבוהים נוטים להיות מובהקים יותר מדירוגי רלוונטיות נמוכים. עם זאת, קיימת אפשרות שהווריאציות המוצעות עבור חלק כלשהו דומות מדי ולא יגרמו לתגובות שונות במידה משמעותית. אם אתה מעוניין במיוחד ברלוונטיות של חלקי דף, מומלץ להשתמש בווריאציות שונות. משךהגורמים הבאים קובעים את משך הזמן שיידרש, קרוב לוודאי, בפועל לקבלת תוצאות ניסוי ברורות:
אומדן זה שימושי במיוחד לקביעת משך הזמן המינימלי הדרוש להשלמת הניסוי. כלומר, משך הזמן הדרוש לאיסוף נפח נתונים בעל משמעות סטטיסטית, הן בהופעות של דף הבדיקה והן בהמרות. משך הזמן בפועל עלול להיות שונה במידה רבה ממשך הזמן המוערך. ניסוי אמיתי צריך לארוך רק עד אשר שילוב אחד בולט בבירור כשילוב מנצח, המוגדר כשילוב עם טווח שיעור המרות גבוה מכל השאר ושאינו חופף לאף אחד מהשילובים האחרים. דינאמיקה בלתי צפויה עלולה להאריך את משך הניסוי. לדוגמא, אם שני שילובים או יותר מציגים שיעורי המרות דומים, ייתכן שהטווחים שלהם לעולם לא יחדלו לחפוף זה לזה. סביר להניח שניסויים הכוללים שילובים בעלי שיפור רב מאוד יסתיימו במהירות. אם תבחר וריאציות הדומות למקור (או זו לזו) במידה רבה, סביר מאד להניח שהשיפור המשוער יהיה מינימלי. לעומת זאת, בחירת וריאציות הנבדלות זו מזו במידה רבה מעניקה סיכוי טוב יותר לקבלת הבדלים גדולים בשיעורי ההמרות. פרטי דוחותחלק זה דן בהרחבה בפרטי הסקירה הכללית, ומכיל מידע מפורט על האופן בו נגזרת כל סטטיסטיקה.הדף 'דוחות' מציג תמונת מצב נוכחית של הניסוי תוך כדי התקדמותו, וכן מודיע על סיומו. ישנם שני סוגים של דוחות, וכל אחד מספק נקודת מבט שונה על תוצאות הניסוי. הדוח 'חלקי דף' מצריך פחות נתונים, ויהפוך לזמין לפני הדוח 'שילובים'. עם זאת, מומלץ מאוד להמתין לדוח 'שילובים' לפני הסקת המסקנות הסופיות. הדוח 'שילובים' מציג פרטים לגבי המרות והופעות, ואומד את טווח שיעור ההמרות העתידי של כל שילוב שהוצג בפני המבקרים. בעזרת דוח זה, המוצג בתרשים 2, תוכל לזהות לאיזה משילובי התוכן סבירות גבוהה ביותר להניב את השיפור הרב ביותר בשיעור ההמרות. אחד היתרונות המרכזיים של דוח זה טמון בכך שהוא מתאר את ההשפעה של תוכן חדש. בעוד שהדוח 'חלקי דף' מזהה אילו וריאציות בודדות הן האפקטיביות ביותר, הדוח 'שילובים' מביא בחשבון כיצד שילובים יכולים לפעול יחדיו (או לא) ליצירת מצג משכנע. ![]() תרשים 2 הדוח 'חלקי דף' מציג אותו סוג נתונים המוצג בדוח 'שילובים', אלא שהוא מחלק אותם לווריאציות נפרדות. בעזרת דוח זה, המוצג בתרשים 3, תוכל לזהות איזו וריאציה של כל חלק השיגה את הביצועים הטובים ביותר. כאמור, השילוב הטוב ביותר אינו זהה תמיד לאוסף של הווריאציות בעלות הביצועים הטובים ביותר. דוח זה מזהה גם לאילו חלקים הייתה ההשפעה הרבה ביותר על התוצאות הכוללות של הניסוי שלך. הדבר מכונה "דירוג רלוונטיות". הוא יכול לגלות לך אילו חלקים הם האפקטיביים ביותר בהקשר של הגעה לקהל שלך. יחד עם זאת, יש לזכור שדירוג הרלוונטיות תקף אך ורק לגבי הווריאציות שנכללו בניסוי. ![]() תרשים 3. 'דוח חלקי דף' שני הדוחות כוללים שילוב של נתונים בפועל ונתונים משוערים. שלוש העמודות הראשונות כוללות נתונים משוערים, בעוד ששתי האחרונות כוללות נתונים שנאספו בפועל במהלך הניסוי. לקבלת תיאור של כל עמודה, ראה שאלות נפוצות. טווחים משוערים של שיעור המרותלמרות שסעיף זה מתאר טווחים של שיעור המרות עבור שילובים, המידע רלוונטי באותה מידה עבור וריאציות בודדות, כפי שמוצג בדוח 'חלקי דף'. העמודה המשמעותית ביותר בכל דוח היא טווח משוער של שיעור המרות. טווח של שיעור המרות מנבא את שיעור ההמרות שסביר להניח ששילוב כלשהו ישיג, אם יוצג בפני כלל המשתמשים (אם לא מבצעים כל שינוי אחר). מאחר שהניבוי מוסיף למשוואה מרכיב של חוסר ודאות, שיעור ההמרות המשוער מבוטא כשיעור המרות עם מרווח בטחון, כגון 35% פלוס-מינוס 2%, או טווח של 33-37%. הערך הממוצע במרכז הטווח הוא שיעור ההמרות בפועל המתקבל במהלך הניסוי. עמודה זו, עם הטווחים המוצגים בגרף העמודות, מתמקדת בהשוואה בין הביצועים המשוערים של כל אחד מהשילובים. דגש זה משקף את המטרה בה מתמקד הניסוי, אשר איננה לזהות שיעור המרות (או שיפור) מדויק עבור שילוב כלשהו, אלא לזהות איזה שילוב מתוך מספר שילובים אפשריים יניב תוצאות טובות יותר בהשוואה לאחרים. המיקום והצבע של כל עמודת טווח מספקים אינדיקציה ויזואלית לגבי רמת הביצועים של כל שילוב, בהשוואה לשילוב המקורי. חלקה האפור של העמודה מציין היכן הטווח חופף לזה של התוכן המקורי. החלקים האדומים והירוקים מציינים היכן הטווחים גבוהים או נמוכים מאלו של המקור. על סמך האמור לעיל, הגורם המשמעותי ביותר שיש לחפש בדף התוצאות הוא טווחי שיעור ההמרות שהינם גבוהים יותר אך אינם חופפים לכל טווח אחר. עבור שילובים בעלי טווחים חופפים, תמיד קיים סיכוי שאחד השילובים ישיג ביצועים טובים יותר אם הניסוי יופעל שוב. עבור שילובים בעלי טווחים גבוהים יותר שאינם חופפים, ניתן לומר ברמת ביטחון של 95% שהשילוב ישיג ביצועים טובים יותר בהשוואה לשילובים האחרים. שתי העמודות "סיכויים לגבור" מציינות את הסבירות שהשילוב יגבר על טווחי שיעור ההמרות של השילוב המקורי או של כל השילובים. כפי שמוצג בתרשים 2, הנתונים בעמודות "סיכויים לגבור" משתקפים במיקום הטווחים בגרף העמודות. לדוגמה, שילוב 11, אשר אינו חופף למקור כלל, מציג סיכוי של 99.0% לגבור על המקור. הוא חופף לשני שילובים אחרים במידה מועטה, ובכך מעיד שיש לו סיכוי של 89.4% לגבור על כל שאר השילובים. במהלך הניסוי, טווחי שיעור ההמרות יוצגו תחילה כרחבים מאוד וחופפים. במשך הזמן, כשייאספו נתונים נוספים, הטווחים יצטמצמו ויתחילו לנוע ימינה או שמאלה, יחסית למקור. חישוב שיעור ההמרות המשוערסעיף זה מתאר כיצד מגיעים לשיעור המרות משוער, עם מרווח ביטחון מסוג פלוס-מינוס.שיעור ההמרות המשוער נגזר מהנתונים שנאספו באמצעות דיאגרמת הפיזור של גאוס. הדבר מוצג כעקומת הפעמון המוכרת, כפי שמוצג בתרשים 3. לפי דיאגרמת הפיזור של גאוס, כשהיא מיושמת בניסוי אופטימיזציה, שיעור ההמרות בפועל של שילוב מסוים יהיה ממוקם איפשהו באזור שמתחת לעקומת הפעמון. בהתאם לזווית של עקומת הפעמון, קיימת סבירות גבוהה או נמוכה יותר לכך ששיעור ההמרות האמיתי יהיה ממוקם בקרבת הערך הממוצע. מכיוון שעקומת הפעמון סימטרית, המרחק בין הקצוות החיצוניים והממוצע יהיה תמיד שווה. ![]() תרשים 4. עקומת פעמון של שיעור ההמרות המשוער כפי שמוצג בתרשים 4, צורתה של עקומת הפעמון משתנה במשך הזמן, היא הופכת לשטוחה פחות ככל שנאספים נתונים רבים יותר. בתחילת הניסוי העקומה שטוחה וקיימת למעשה סבירות זהה לכך ששיעור ההמרות יוכל להיות כל ערך בין 0 ל-100. כשנאספים נתונים נוספים העקומה הופכת לתלולה יותר, והערכים החיצוניים זוכים לסבירות נמוכה יותר, בעוד שהערכים הקרובים יותר לממוצע הופכים לסבירים יותר. תרשים 4 מתאר את השינוי בעקומת הפעמון ובגרף העמודות במשך עשרה ימים:
רמת הביטחון של 80% היא הקובעת את רוחבו של הטווח. כך ניתן לומר, בביטחון של 95%, שטווח גבוה יותר שאינו חופף לטווח אחר, ישיג ביצועים העולים על אלו של הטווח האחר. מבחינה סטטיסטית, זוהי תוצאה סבירה. שימוש ברמת ביטחון גבוהה יותר עבור רוחב הטווח מאריך את משך הניסוי, ובשלב זה המאזן הופך ליקר מאוד. הצגת טווחי שיעור המרות לאורך זמןכשתצפה בדוחות במהלך הניסוי, תבחין בכך שטווחי שיעור ההמרות של כל שילוב רחבים מאד בהתחלה, ומצטמצמים במשך הזמן. כשהם הופכים לצרים יותר, כל טווח הופך למוגדר יותר וקיימת פחות חפיפה בין השילובים. תופעה זו מוצגת בתרשים 5.![]() תרשים 5. טווחי שיעור המרות לאורך זמן הגורם המרכזי שיש לחפש הוא טווחים עם שיעורי המרות גבוהים וללא חפיפה, כגון שילוב 2 בתרשים 4. ביום העשירי, שילוב 2 נבדל משאר השילובים ומתגלה כמנצח מובהק. קל להסיק מסקנות חפוזות כשצופים בגרף העמודות ולהניח שכל טווח בעל ערך ממוצע גבוה יותר מהשאר עשוי להניב את שיעור ההמרות הטוב ביותר. הדבר איננו בהכרח נכון. בעת הצפייה בטווחים אלו, מומלץ להניח שלשיעור ההמרות האמיתי יש סיכוי טוב להיות ממוקם בכל ערך שהוא בגבולות הטווח. לכן, לדוגמה, בעת הצפייה בגרף העמודות, כפי שהוא מתואר ביום החמישי של התצוגה הגרפית, תהיה זו טעות נפוצה להניח ששילוב 2 יהיה המנצח. למעשה, מידה רבה של חפיפה מרמזת על האפשרות הסבירה שאם הניסוי יופעל מחדש, הממוצעים של שילובים 0 ו-2 יתהפכו. למעשה, נראה שזה בדיוק מה שקרה עם ממוצעי השילובים 0 ו-1, אשר מחליפים ביניהם מיקומים ככל שהניסוי מתקדם. כשהטווח של שילוב כלשהו חדל לחפוף לטווח אחר, ניתן לומר, ברמת דיוק של 95%, ששילוב זה ישיג ביצועים טובים יותר בהשוואה לטווח המדורג מתחתיו. |