تست A/B کمپین پیامکی: تصمیم با داده، نه سلیقه
«فکر می‌کنم این متن بهتر جواب می‌دهد.» — این جمله وقتی قرار است همان پیام برای هزار مشتری برود، گران تمام میشود. متن کمپین پیامکی را معمولاً با سلیقه انتخاب می‌کنیم و بعد نمی‌دانیم چرا کلیک کم بود. تست A/B کمپین دقیقاً برای همین لحظه ساخته شده است: به‌جای حدس زدن، اجازه می‌دهید داده تصمیم بگیرد.
در این راهنما یاد می‌گیرید تست A/B کمپین پیامکی را از صفر راه بیندازید — از تقسیم درست مخاطب و انتخاب یک متغیر واحد، تا خواندن نتیجه با یک مثال فرضیِ تومانی و این‌که کِی میشود به «برنده» اعتماد کرد. هدف این است که هر کمپین بعدیِ شما کمی هوشمندتر از کمپین قبلی باشد.
- تست A/B یعنی دو نسخه از یک پیام را همزمان به دو گروه تصادفی می‌فرستید و برنده را با داده مشخص می‌کنید.
- قانون اصلی: در هر تست فقط یک متغیر (متن، زمان یا پیشنهاد) را تغییر دهید تا بفهمید کدام عامل مؤثر بوده است.
- معیار درست، نرخ تبدیل و فروش منتسب است، نه صرفاً تعداد کلیک.
- با گروههای کوچک، اختلاف‌های کم معمولاً شانسی است؛ برای نتیجهٔ قابل‌اتکا به حجم کافی نیاز دارید.
- نسخهٔ برنده را برای بقیهٔ مخاطبان بفرستید و نتیجه را ثبت کنید تا کم‌کم کتابخانه‌ای از «چه چیزی جواب می‌دهد» بسازید.
تست A/B کمپین پیامکی چیست؟
تست A/B کمپین یعنی مخاطبان خود را به دو گروه تصادفی تقسیم می‌کنید، به هر گروه یک نسخهٔ متفاوت از پیام را می‌فرستید، و بعد نتیجه (کلیک، خرید یا بازگشت مشتری) را با هم مقایسه می‌کنید. نسخه‌ای که عملکرد بهتری داشت «برنده» میشود و دفعهٔ بعد همان را برای همهٔ مخاطبان ارسال می‌کنید. به همین سادگی، تصمیم‌گیری از روی حس‌وحال جای خود را به تصمیم‌گیری بر پایهٔ رفتار واقعی مشتری می‌دهد.
نکتهٔ مهم این است که دو نسخه باید همزمان ارسال شوند. اگر یک نسخه را امروز صبح و نسخهٔ دیگر را فردا عصر بفرستید، دیگر نمی‌دانید که تفاوت نتیجه از متن پیام بوده یا از زمان ارسال. همین اصل ساده مرز بین یک تست معتبر و یک آزمایش بی‌فایده است. اگر تازه با مفهوم کمپین پیامکی آشنا شده‌اید، پیشنهاد می‌کنیم ابتدا راهنمای کمپین پیامکی بازگشت مشتری را بخوانید تا با ساختار یک کمپین اثرگذار آشنا شوید.
قانون طلایی: در هر تست فقط یک متغیر
مهم‌ترین اشتباه در تست A/B این است که چند چیز را همزمان تغییر دهید. اگر در یک تست هم متن، هم زمان ارسال و هم مقدار تخفیف را عوض کنید، حتی اگر یک نسخه برنده شود، نمیفهمید کدام عامل نتیجه را ساخته است. برای هر تست فقط یک متغیر را تغییر دهید و بقیه را ثابت نگه دارید:
- متن پیام. برای مثال «۲۰٪ تخفیف روی کل سبد» در برابر «فقط تا فردا شب فرصت دارید».
- زمان ارسال. صبح در برابر عصر، یا میانهٔ هفته در برابر پایان هفته.
- نوع پیشنهاد. تخفیف درصدی در برابر ارسال رایگان یا یک هدیهٔ همراه سفارش.
- فراخوان به اقدام (CTA). «همین حالا خرید کنید» در برابر «محصولات را ببینید».
متن پیام معمولاً پرتأثیرترین متغیر برای شروع است. اگر نمی‌دانید اولین تست را روی چه چیزی بگذارید، دو لحن متفاوت برای همان پیشنهاد را مقایسه کنید: یکی مبتنی بر تخفیف و دیگری مبتنی بر فوریت زمانی.
تست کمپین را قدم‌به‌قدم راه بیندازید
راه‌اندازی یک تست A/B در عمل پیچیده نیست. در بخش کمپین‌های هدهدهاب این مسیر را با ابزار تست A/B در چند قدم طی می‌کنید:
- قدم اول — فرضیه بسازید. پیش از هر چیز مشخص کنید چه چیزی را می‌خواهید بفهمید. مثلاً: «فکر می‌کنم پیام مبتنی بر فوریت زمانی، فروش بیشتری می‌آورد.»
- قدم دوم — مخاطب را تصادفی تقسیم کنید. فهرست گیرندگان را به دو نیمهٔ مساوی و تصادفی تقسیم کنید تا هیچ سوگیری‌ای وارد تست نشود.
- قدم سوم — دو نسخه را بنویسید. فقط همان یک متغیر را بین دو نسخه تغییر دهید و بقیهٔ اجزا را دقیقاً یکسان نگه دارید.
- قدم چهارم — همزمان ارسال کنید. هر دو نسخه در یک بازهٔ زمانی ارسال شوند تا زمان به متغیر پنهان تبدیل نشود.
- قدم پنجم — نتیجه را کنار هم ببینید. تحویل و کلیک هر نسخه جدا شمرده میشود و در گزارش‌ها می‌آید. برای شمردن فروش، به هر نسخه لینک ردیاب یا کد تخفیف جدا بدهید.
پیام‌های کمپین از طریق پنل پیامکی خودتان ارسال میشود؛ هدهدهاب به سرویس‌هایی مانند پنل پیامک کاوه‌نگار و پنل پیامک SMS.ir متصل میشود و شما فقط متن، مخاطب و زمان‌بندی را تعیین می‌کنید. برای انتخاب پنل مناسب، مقایسهٔ کامل را در راهنمای انتخاب پنل پیامک آورده‌ایم.
یک مثال فرضی با اعداد تومانی
فرض کنید یک فروشگاه اینستاگرامی، فهرستی از ۲٬۰۰۰ مشتری قدیمی دارد و می‌خواهد کمپین تخفیف پایان فصل را بفرستد. مخاطبان به دو گروه ۱٬۰۰۰ نفری تقسیم می‌شوند و هر گروه یک نسخه دریافت میکند:
| معیار | نسخهٔ الف (تخفیف‌محور) | نسخهٔ ب (فوریت‌محور) |
|---|---|---|
| متن | «۲۵٪ تخفیف روی کل خرید» | «فقط تا جمعه شب؛ بعد قیمت‌ها برمی‌گردد» |
| گیرنده | ۱٬۰۰۰ نفر | ۱٬۰۰۰ نفر |
| کلیک روی لینک | ۸۰ نفر (۸٪) | ۱۱۰ نفر (۱۱٪) |
| خرید نهایی | ۱۸ سفارش | ۲۹ سفارش |
| نرخ تبدیل | ۱٫۸٪ | ۲٫۹٪ |
اگر میانگین هر سفارش ۴۰۰٬۰۰۰ تومان باشد، نسخهٔ الف حدود ۷٬۲۰۰٬۰۰۰ و نسخهٔ ب حدود ۱۱٬۶۰۰٬۰۰۰ تومان فروش آورده است. اختلاف چشمگیر است، اما با ۱۸ و ۲۹ سفارش هنوز قطعی نیست: اگر دو متن واقعاً هم‌ارزش بودند، باز هم از هر ده بار حدود یک بار چنین فاصله‌ای فقط از شانس درمی‌آمد. پس نسخهٔ ب را «برندهٔ احتمالی» بدانید، نه قطعی، و همین فرضیه را در کمپین بعدی دوباره آزمایش کنید. اگر فهرست بزرگ‌تری دارید، تست را روی بخشی از آن اجرا کنید و نسخهٔ جلوتر را برای بقیه بفرستید تا ببینید همان اختلاف تکرار میشود یا نه.
دو نکتهٔ دیگر دربارهٔ همین مثال. متن الف و ب در این جدول در پیشنهاد هم فرق دارند (۲۵٪ تخفیف در برابر مهلت)، پس اگر بخواهید دقیق بدانید «فوریت» اثر داشته، هر دو نسخه باید همان تخفیف را داشته باشند و فقط جملهٔ مهلت فرق کند. و ۲٬۰۰۰ پیامک در یک دوره از سقف پلن «رشد» هدهدهاب (۱٬۵۰۰ پیامک) بیشتر است و به پلن «مقیاس» می‌رسد؛ اگر فهرست شما کوچکتر است، با همان فهرست کوچکتر و در چند نوبت تست کنید.
نتیجه را چطور بخوانید و به آن اعتماد کنید
تعداد کلیک به‌تنهایی گمراه‌کننده است؛ معیار اصلی نرخ تبدیل است، یعنی چند نفر از کل گیرندگان واقعاً خرید کردند. یک متن ممکن است کلیک زیادی بگیرد ولی فروش کمی بسازد، چون فقط کنجکاوی ایجاد کرده است. برای همین، فروش منتسب به کمپین را در کنار کلیک ببینید. تصویر کامل این معیارها را در راهنمای گزارش فروش کمپین توضیح داده‌ایم.
بی‌پرده: تست A/B با کمتر از چند صد نفر در هر گروه، معمولاً نتیجهٔ قابل‌اتکا نمی‌دهد. اگر اختلاف دو نسخه کم است (مثلاً ۲٪ در برابر ۲٫۵٪) و حجم مخاطب کوچک است، به احتمال زیاد فقط شانس بوده است. در این حالت به عدد اعتماد نکنید؛ همان فرضیه را روی گروه بزرگ‌تر یا در چند نوبت پشت‌سرهم تکرار کنید تا الگو واضح شود.
اگر مخاطبان شما همگن نیستند — مثلاً بخشی مشتری تازه و بخشی مشتری وفادار هستند — نتیجهٔ تست ممکن است برای هر بخش متفاوت باشد. در این صورت پیش از تست، مخاطبان را دسته‌بندی کنید؛ روش کار را در راهنمای سگمنت‌بندی مشتریان آورده‌ایم. برای آشنایی با پیگیری سرنخ بعد از کمپین، وبلاگ دیدار مطالب آموزشی CRM دارد.
برنده را مقیاس بدهید و یاد بگیرید
وقتی یک نسخه به‌روشنی برنده شد، همان را برای بقیهٔ مخاطبان بفرستید و نتیجه را ثبت کنید. اما کار همین‌جا تمام نمی‌شود: هر تست یک درس است. فرضیهٔ برنده را در جایی نگه دارید تا کم‌کم کتابخانه‌ای از «چه لحنی، چه زمانی و چه پیشنهادی برای مشتری‌های ما جواب می‌دهد» شکل بگیرد.
قدم بعدی این است که چرخه را عادت کنید: در هر کمپینِ پیامکی یک فرضیه را تست کنید و نسخهٔ جلوتر را مبنای کمپین بعدی بگذارید. این‌گونه هر ماه با داده‌ای بیشتر از ماه قبل کار می‌کنید، نه با سلیقه.
سؤال‌های پرتکرار
- برای یک تست A/B چند نفر کافی است؟
- هرچه بیشتر، بهتر؛ اما از چند صد نفر در هر گروه به بالا معمولاً به نتیجهٔ قابلاعتمادتری میرسید. با گروههای خیلی کوچک، تفاوت نتیجه بیشتر شانسی است تا واقعی.
- میتوانم همزمان سه نسخه را تست کنم؟
- بله ممکن است، اما هرچه تعداد گروهها بیشتر شود، حجم هر گروه کوچکتر و نتیجه کماعتمادتر میشود. برای شروع، مقایسهٔ دو نسخه بهترین انتخاب است.
- اگر نتیجهٔ دو نسخه تقریباً یکسان بود چه کنم؟
- یعنی آن متغیر خاص تفاوت معناداری ایجاد نمیکند. سراغ متغیر دیگری بروید؛ مثلاً اگر متن فرقی نکرد، این بار زمان ارسال یا نوع پیشنهاد را تست کنید.
- چرا باید دو نسخه را همزمان بفرستم؟
- چون زمان ارسال خودش یک متغیر مؤثر است. اگر یک نسخه را امروز و دیگری را فردا بفرستید، نمیفهمید تفاوت نتیجه از متن بوده یا از زمان. ارسال همزمان این خطا را حذف میکند.
