İade Portalınızı Doğru A/B Test Etmek

İade portalını test etmek, ödeme adımını test etmeye benziyor ama değil. Ödemede optimize ettiğiniz dönüşüm, istediğiniz sonucun ta kendisi. İadede ise müşterinin sayfada yaptığı eylem, haftalar sonra bir depoda, bir para iadesinde ve belki ikinci bir satın almada biten bir sürecin yalnızca başlangıcı. İlk adımı yalıtılmış biçimde optimize etmek, ekiplerin kazanç gibi görünen ama olmayan değişiklikleri yayınlama biçimi.

Disiplin, birincil ölçüyü arayüzün tek başına oynayamayacağı kadar aşağıda seçmek.

Sahtelenemeyecek Bir Ölçü Seçin

Portal sayfasındaki değişim oranı klasik tuzak. Hareket ettirmesi kolay: para iadesini bulunması zor hâle getirin, değişim payı anında yükselsin. Değişiklik bir hafta boyunca harika görünüyor; sonra destek hacmi artıyor, memnuniyet düşüyor ve o değişimlerin bir kısmı ikinci iade olarak geri geliyor.

Daha iyi bir birincil ölçü, en az otuz gün sonra ölçülen iade başına korunan gelir ya da sonradan tekrar iade edilmemiş tamamlanmış değişimler. İkisi de daha yavaş ve ikisi de dürüst. Bunun destekleyici ölçüleri korunan geliri ölçmek yazısında.

Örneklem Büyüklüğü Sorunu

İade trafiği vitrin trafiğinin bir kesri; tipik olarak siparişlerin tek haneli yüzdeleri. Bu, bir iade deneyinin ürün sayfası testinden çok daha yavaş anlamlılığa ulaşması demek ve ekipler dördüncü günde pano kesin göründüğü için sonucu rutin olarak erken ilan ediyor.

Gerekli örneklemi başlatmadan önce hesaplayın, sonra değil. Dürüst cevap sekiz haftaysa ya sekiz haftayı kabul edin, ya daha büyük bir beklenen etki seçin ya da testi hiç koşmayıp değişikliği muhakemeyle yapın. Yetersiz güçlü bir testi koşup sonucunu okumak, hiç test etmemekten kötü; çünkü sahte güven imal ediyor.

• Gerekli örneklemi başlatmadan hesaplayın; bir çeyreği aşıyorsa testi yeniden tasarlayın.
• Oturum değil müşteri düzeyinde rastgeleleştirin; aynı kişi iki kez iade ediyor.
• Personeli, test siparişlerini ve bilinen seri iadecileri iki koldan da çıkarın.
• Testi en az bir tam haftalık döngü boyunca tutun; iade davranışı haftanın gününe duyarlı.
• Birincil ölçüyü ve durdurma kuralını yazılı olarak önceden kaydedin.

Mevsimsellik Testinizi Bozacak

İade hacmi ve karması perakende takvimiyle muazzam biçimde salınıyor. Zirve dönemine yayılan bir test, popülasyonun kendisinin değiştiği bir dönemde iki kolu karşılaştırıyor: daha çok hediye iadesi, daha çok ilk kez alışveriş yapan, farklı kategoriler.

Eşzamanlı A/B bölmesi sizi bundan koruyor; iadede önce-sonra karşılaştırmalarının neredeyse her zaman yanlış olmasının nedeni bu. Eşzamanlı koşamıyorsanız deneyi hiç koşmayın; çünkü altınızdan mevsim değişmişken değişimi arayüzünüze atfetmek bu alandaki en yaygın analitik hata. Shopify kurumsal blogunda yayımlananlar gibi mevsimsel perakende yorumları, bu salınımların ne zaman geleceğini öngörmek için faydalı.

Mevsimselliğin ikinci etkisi kolların içinde değil kolların arasında ortaya çıkıyor. Zirve döneminde iade başlatan müşteri kitlesi, olağan dönemdekinden yapısal olarak farklı: daha çok ilk kez alışveriş yapan, daha çok hediye, daha yüksek fiyatlı kategoriler. İki kol da aynı anda koştuğu için karşılaştırma geçerli kalıyor, ama sonucu genelleştirirken dikkatli olun; zirvede kazanan bir varyant olağan trafikte aynı etkiyi vermeyebiliyor. Bu yüzden zirve döneminde alınan test sonuçları kalıcı olarak yayına alınmadan önce olağan trafikte bir kez daha doğrulanmalı.

İade deneyiniz dört günde anlamlılığa ulaştıysa sonucu değil arayüzü ölçmüşsünüzdür.

Gerçekten Test Etmeye Değen Ne

Her şey deney hak etmiyor. Uyum gereklilikleri test edilemez: para iadesi sunup sunmamayı A/B test edemezsiniz. Bazı değişiklikler apaçık doğrudur ve doğrudan yayınlanmalıdır. Deneyler, gerçek bir takasın olduğu ve makul insanların anlaşamadığı yerde maliyetini kazanıyor.

Tekrar tekrar anlamlı sonuç üreten adaylar; müşteriye gösterilen neden kodu taksonomisi, çözüm seçeneklerinin görünme sırası, değişim sırasında beden önerisi sunulup sunulmadığı ve iade talimatlarının nasıl yazıldığı. Bunlardan ilki veri kalitenizi kalıcı olarak da iyileştiriyor; testin ötesinde ikinci bir getiri ve doğrudan iade nedeni taksonomisi tasarımıyla bağlantılı.

Düşük Hacimde Nitel, Niceli Yener

İade hacminiz bir deneyi güçlendiremiyorsa dürüst alternatif kötü güçlendirilmiş bir test değil. On müşterinin portalı kullanmasını izlemek ve yüz destek talebi okumak. İkisi de gürültülü bir sonuçtan net yön veriyor ve ikisi de hemen elinizde.

İkisini birleştiren ekipler en iyi sonucu alıyor: örneklem maliyetine değecek hipotezleri üretmek için nitel çalışma, yalnızca hayatta kalan birkaçı için nicel test. Bu, deney kuyruğunu her testin ihtiyaç duyduğu süreyi alabileceği kadar kısa tutuyor; aynı trafik için yarışan yetersiz güçlü testler yığını ise genel olarak iade portalı analitiği programlarını da vuran arıza biçimi.

Son bir uyarı: iade portalında A/B testi yaparken iki kolun da hukuken uyumlu olduğundan emin olun. Para iadesi seçeneğini gizleyen ya da bir seçeneği önceden seçen bir varyantı "sadece test" diye yayına almak, testin süresi boyunca gerçek müşterilere uygulanmış bir uygulama demek. Deney, uyum gereğini askıya almıyor.