איך למדוד צ׳אט בוט: אחוז המרה, הכנסות ומבחן קבוצת ביקורת

למה "הכנסות מהצ׳אט" מגזימות במה שהצ׳אט בוט באמת מכניס?

כי הקונים שפותחים צ׳אט הם לא פרוסה אקראית מהתנועה שלכם. הם מעורבים יותר, הרבה פעמים כבר נמצאים בדף מוצר עם פריט בראש, וחלקם היו קונים גם בלי הבוט. כשסופרים את כל ההזמנות שלהם כהכנסות של הצ׳אט, זוקפים לבוט כוונת קנייה שהוא לא יצר.

זו בעיה של בחירה עצמית. עצם הפנייה לצ׳אט היא סימן לכוונת קנייה, ולכן כל דוח שמשווה בין מי שדיבר בצ׳אט למי שלא, או סוכם את ההזמנות של כל מי שדיבר, מערבב שני דברים: את ההשפעה של השיחה, ואת ההבדל שהיה קיים מראש בין האנשים שבחרו לדבר. שורה בדשבורד כמו "הכנסות בסיוע הצ׳אט" היא ייחוס, לא מדידה של סיבה ותוצאה.

מחקר בפרסום מראה כמה גדול הפער הזה יכול להיות. במחקר על 15 ניסויי פרסום גדולים בפייסבוק, גורדון, זטלמאייר, צ׳פסקי ובהרגווה (Marketing Science, 2019) מצאו ששיטות תצפיתיות נפוצות לא הצליחו לעתים קרובות לשחזר את ההשפעה שנמדדה בניסויים אקראיים, גם אחרי שקלול של נתונים דמוגרפיים והתנהגותיים רבים. צ׳אט הוא ערוץ אחר, אבל המנגנון זהה: מי שנחשף שונה ממי שלא.

מה זה אחוז המרה, ואיך מחשבים אותו נכון?

אחוז המרה הוא מספר ההזמנות חלקי מספר הביקורים (או המבקרים), כפול 100. חנות עם 2,000 ביקורים ו־50 הזמנות בחודש ממירה ב־2.5% (מספרים להמחשה). כדי למדוד צ׳אט בוט, מחשבים את אחוז ההמרה לכל קבוצה בנפרד, על כל המבקרים בקבוצה, ולא רק על מי שפתח את הצ׳אט.

לצד אחוז ההמרה כדאי לעקוב אחרי סל ממוצע (הכנסות חלקי הזמנות) ואחרי הכנסה לכל מבקר (הכנסות חלקי מבקרים). הכנסה לכל מבקר משלבת את שני הראשונים, ולכן היא המדד הראשי הטוב למבחן. בדקו גם שאתם סופרים באותה צורה בשתי הקבוצות: ביקורים מול מבקרים, ועם או בלי הזמנות שבוטלו.

מה זה מבחן קבוצת ביקורת לצ׳אט בוט?

מבחן קבוצת ביקורת (holdout) מחלק כל מבקר באקראי לאחת משתי קבוצות, עוד לפני שהוא רואה משהו: רובם מקבלים את הצ׳אט, וחלק קטן לא רואה אותו בכלל. כיוון שרק המזל קובע את הקבוצה, שתי הקבוצות דומות בממוצע, ולכן ההפרש בהכנסות ביניהן הוא ההשפעה הסיבתית של הצ׳אט.

זה ניסוי מבוקר, אותו מבנה שעומד מאחורי מבחני A/B. קוהבי, הנה וסומרפילד מתארים אותו במדריך המעשי שלהם לניסויים מבוקרים ברשת (KDD 2007) כשיטה לקבוע קשר סיבתי בין שינוי להתנהגות משתמשים: כשהחלוקה אקראית, כל הבדל שיטתי בתוצאה נובע מהחלוקה.

בצוותי מוצר, "holdout" הוא בדרך כלל קבוצה שמוחזקת מחוץ לפיצ׳ר לתקופה ארוכה, כדי למדוד את ההשפעה המצטברת. מילון הניסויים של Spotify מתאר קבוצות כאלה כ־1% עד 5% מהמשתמשים, בדרך כלל. בצ׳אט בוט, קבוצת הביקורת היא המבקרים שאצלם בועת הצ׳אט פשוט לא נטענת. ההפרש שמתקבל הוא התוספת האמיתית של הצ׳אט.

איך מקימים מבחן קבוצת ביקורת לצ׳אט בוט בחנות Shopify?

מחליטים על המדד ועל התוספת המינימלית שמעניינת אתכם, מחלקים באקראי לפי מבקר, מסתירים את הצ׳אט לגמרי מקבוצת הביקורת, ומשווים הכנסה לכל מבקר בין כל המבקרים בכל קבוצה, לא רק בין מי שדיבר. כותבים את התוכנית לפני שמתחילים, כדי שאי אפשר יהיה לפרש את התוצאה מחדש אחר כך.

ההחלטה החשובה היא מה משווים. משווים את כל המבקרים ששובצו לקבוצת הביקורת לכל המבקרים ששובצו לקבוצת הצ׳אט, בין אם פתחו את הצ׳אט ובין אם לא. זה נקרא השוואה לפי כוונה לטפל (intent to treat). התוצאה נראית מדוללת, כי רוב המבקרים לא מדברים בצ׳אט, אבל זה המספר הכן: מה שהצ׳אט מוסיף לחנות כולה.

1. בחרו מדד ראשי אחד. הכנסה לכל מבקר תופסת גם את אחוז ההמרה וגם את הסל הממוצע. עקבו אחרי אחוז ההמרה כמדד משני, כי הוא צריך הרבה פחות מבקרים כדי להיות ברור.
2. קבעו את התוספת המינימלית ששווה לזהות. אם תוספת של 3% לא תשנה את ההחלטה שלכם, אל תתכננו את המבחן בשבילה.
3. חלקו לפי מבקר, לא לפי צפייה בדף. קונה צריך להישאר באותה קבוצה בכל ביקור. אחרת הוא רואה את הבוט ביום שני ולא ביום שלישי, ושתי הקבוצות מזוהמות.
4. שמרו על קבוצת ביקורת נקייה. בועת הצ׳אט, הודעות יזומות וכל מייל שנשלח בעקבות הצ׳אט לא צריכים להגיע אליה.
5. קבעו מראש גודל מדגם ומשך, בשבועות שלמים (פירוט בהמשך).
6. אם אפשר, הריצו קודם בדיקת A/A. חלקו את התנועה כששתי הקבוצות רואות אותו דבר, ובדקו שהחלוקה והמספרים יוצאים שווים.
7. נתחו פעם אחת, בסוף המתוכנן, ודווחו על התוספת עם רווח סמך.

כמה מבקרים צריך למבחן קבוצת ביקורת?

זה תלוי באחוז ההמרה הבסיסי שלכם, בתוספת הקטנה ביותר שאתם רוצים לזהות ובחלוקת התנועה. תוספות קטנות על אחוז המרה נמוך דורשות מאות אלפי מבקרים. כשמקטינים בחצי את התוספת שרוצים לזהות, צריך בערך פי ארבעה מבקרים, וקבוצת ביקורת קטנה מאריכה את המבחן עוד יותר.

שווה לראות את החשבון פעם אחת, כי הוא מסביר למה הרבה חנויות לא יכולות למדוד השפעה קטנה של צ׳אט בחודש אחד. הדוגמה למטה משתמשת במספרים מומצאים לחנות היפותטית ובקירוב הסטנדרטי להשוואת שני שיעורים, עם רמת מובהקות של 5% ועוצמה של 80%. המקדם המשולב הוא (1.96 + 0.84)² ≈ 7.84.

דוגמה מחושבת (מספרים מומצאים)

חנות היפותטית לעיצוב הבית ממירה 2.5% מהמבקרים. היא רוצה לזהות תוספת יחסית של 10%, מ־2.5% ל־2.75%, כלומר הפרש מוחלט Δ של 0.0025, ו־Δ² של 0.00000625. השיעור הממוצע הוא בערך 2.625%, ולכן השונות לכל מבקר היא 0.02625 × 0.97375 ≈ 0.0256.

בחלוקה של 50/50: מבקרים לכל קבוצה ≈ 7.84 × 0.0256 × 2 ÷ 0.00000625 ≈ 64,000, כלומר בערך 128,000 מבקרים בסך הכול.

בחלוקה של 90/10 (קבוצת ביקורת של 10%): קבוצת הביקורת צריכה בערך 7.84 × 0.0256 × (1 + 1/9) ÷ 0.00000625 ≈ 35,700 מבקרים, כלומר בערך 356,000 מבקרים בסך הכול. ככל שקבוצת הביקורת קטנה יותר, אותה תשובה עולה יותר תנועה: כאן בערך פי 2.8 ממבחן של 50/50.

אם החנות מתעניינת רק בתוספת של 20% (מ־2.5% ל־3.0%), Δ מוכפל ו־Δ² גדל פי ארבעה. עם שיעור ממוצע של 2.75% (שונות ≈ 0.0267), מבחן של 90/10 צריך בערך 9,300 מבקרים בקבוצת הביקורת, כלומר בערך 93,000 בסך הכול. ב־60,000 מבקרים בחודש (גם זה מספר מומצא), זה בערך שבעה שבועות במקום חצי שנה.

למה הכנסות צריכות יותר מבקרים מאחוז המרה

הכנסה לכל מבקר רועשת יותר מאחוז המרה, כי רוב המבקרים לא מוציאים כלום ומעטים מוציאים הרבה. המדריך של קוהבי ועמיתיו מראה דוגמה מאתר מסחר שבה זיהוי שינוי של 5% בהכנסות דורש יותר מ־1.6 מיליון משתמשים, ושינוי של 5% בהמרה פחות מ־500,000. השתמשו במחשבון כמו מחשבון גודל המדגם של Evan Miller לאחוז המרה, והניחו שקריאה של הכנסות תצטרך עוד יותר תנועה.

כמה זמן צריך להריץ מבחן קבוצת ביקורת?

מריצים עד שמגיעים לגודל המדגם המתוכנן, תמיד בשבועות שלמים, ולפחות שבוע עד שבועיים. קונים בסוף השבוע מתנהגים אחרת מקונים באמצע השבוע, ובישראל גם שישי ושבת מתנהגים אחרת מימי החול. עצירה באמצע שבוע מטה את התוצאה. לא עוצרים מוקדם רק כי ביום החמישי התוספת נראית מובהקת.

קוהבי ועמיתיו ממליצים להריץ ניסויים לפחות שבוע או שבועיים, ואחר כך בכפולות של שבוע, כדי שהשפעות של ימי השבוע יתאזנו. הם גם מראים את המחיר של חלוקה לא מאוזנת: מבחן שצריך חמישה ימים ב־50/50 לוקח בערך 25 יום ב־95/5. הם ממליצים לא להשתמש בחלוקות קטנות מאוד שירוצו חודשים, כי אז מחיקת עוגיות וגורמים דומים מתחילים לזהם את הנתונים (המדריך מ־KDD 2007).

עצירה מוקדמת היא דרך נפוצה לרמות את עצמכם. במאמר How Not To Run an A/B Test, Evan Miller מראה שבדיקה חוזרת של המובהקות ועצירה ברגע שהיא מופיעה מנפחות את שיעור התוצאות החיוביות השגויות הרבה מעבר לרמה המוצהרת. קבעו מראש את גודל המדגם, או השתמשו בשיטה רציפה שנבנתה לעצירה מוקדמת.

מה יכול להשתבש במבחן קבוצת ביקורת?

הכשלים הנפוצים הם אפקט חידוש שדועך, אירועים עונתיים שמטביעים את האות, מבקרים מקבוצת הביקורת שבכל זאת מגיעים לצ׳אט, וניתוח של מי שדיבר בצ׳אט בלבד. כל אחד מהם נותן מספר בטוח בעצמו שהוא פשוט שגוי, אז בודקים את כולם לפני שסומכים על התוצאה.

מה צריך להיות בדוח החזר ההשקעה של צ׳אט בוט?

מדווחים על התוספת בהכנסה לכל מבקר עם רווח סמך, על השינוי באחוז ההמרה ובסל הממוצע שמאחוריה, על התאריכים, על החלוקה, על מספר המבקרים בכל קבוצה ועל כל זיהום ידוע. אחר כך הופכים את התוספת להכנסה נוספת, ומורידים ממנה את עלות הצ׳אט כדי לחשב החזר השקעה.

אחוז תוספת אחד בלי רווח סמך מזמין ביטחון מופרז. רווח כמו "תוספת של 1% עד 9%" אומר לבעל החנות גם שההשפעה כנראה חיובית וגם כמה הגודל שלה לא ודאי. מדווחים על התוצאה גם כשהיא שטוחה או שלילית. מבחן שיכול להחזיר רק חדשות טובות הוא לא מבחן.

• תוצאה ראשית: התוספת בהכנסה לכל מבקר, עם רווח סמך של 95%.
• מה הניע אותה: השינוי באחוז ההמרה ובסל הממוצע, כל אחד עם הרווח שלו.
• מבנה המבחן: תאריכי התחלה וסיום, חלוקה, מבקרים והזמנות בכל קבוצה, יחידת החלוקה.
• הסתייגויות: מבצעים או חגים בזמן המבחן, שיעור הזיהום, כל דבר שהשתנה.
• כסף: הכנסה נוספת = התוספת בהכנסה לכל מבקר × מספר המבקרים שנחשפו. החזר השקעה = (רווח גולמי נוסף פחות עלות הצ׳אט) ÷ עלות הצ׳אט. השתמשו ברווח גולמי ולא בהכנסות, אם אתם רוצים את ההחזר האמיתי.

איך Tycoon ניגש למדידת הכנסות?

Tycoon לא מריץ מבחן קבוצת ביקורת בשבילכם, באף מסלול. הדשבורד שלו מדווח על שיחות, הזמנות והכנסות בסיוע (הכנסות מהזמנות שהגיעו אחרי שיחה ש־Tycoon היה חלק ממנה), ומסומן ככזה. זה ייחוס, לא הוכחה שהוא גרם להזמנות האלה. אם תרצו לדעת כמה הוא מוסיף באמת, תצטרכו להקים מבחן כזה בעצמכם.

מהסיבות שבמדריך הזה, אנחנו חושבים שאת כל סוכן מכירות, כולל Tycoon, כדאי לשפוט לפי ההכנסה הנוספת שהוא יוצר ולא לפי ההכנסות בסיוע הצ׳אט. השיטה שכאן עובדת עליו כמו על כל אפליקציית צ׳אט אחרת, אם תקימו אותה בעצמכם. פרטי המסלולים בדף המחירים. איך הסוכן מחליט מה להמליץ ומתי להציע, ראו בדף איך זה עובד ובמדריך אפסל ומכירה משלימה עם AI. אם אתם משווים ספקים, שאלו כל אחד איך הוא מודד תוספת. במדריך לבחירת עוזר קניות AI יש רשימת שאלות, ורעיונות נוספים במדריך איך להגדיל מכירות בחנות Shopify.

שאלות נפוצות

מקורות

1. Kohavi, Henne, Sommerfield: Practical Guide to Controlled Experiments on the Web (KDD 2007) · נבדק 20.10.2026
2. Gordon, Zettelmeyer, Chapsky, Bhargava: A Comparison of Approaches to Advertising Measurement (Marketing Science, 2019), Kellogg School of Management · נבדק 20.10.2026
3. Evan Miller: How Not To Run an A/B Test · נבדק 20.10.2026
4. Evan Miller: Sample Size Calculator · נבדק 20.10.2026
5. Spotify Confidence: What is a holdout group? · נבדק 20.10.2026