Testiranje u praksi - 3 stvari koje morate znati - kolika treba biti razlika u odazivu? (2/3)

Vezano za prethodni blog, jedna mala napomena glede veličine uzorka na kojem testirate ponude (recimo u nekom klasičnom "direct mail-u" ili po hrvatski "izravnoj pošti").
Naime, u našoj lijepoj i maloj Hrvatskoj vlada kronični nedostatak dovoljno velikih (a pritom kvalitetno održavanih) baza korisnika koje omogućuju kvalitetno testiranje.

No, kažu da onaj koji hoće uvijek nađe način, a onaj koji  neće - izgovor.

Recimo da Vam se sve poklopilo i želite postojeću ponudu A testirati s novom ponudom B

Na temelju prijašnjeg iskustva (s ponudom A) očekujete 2%-tni odaziv i spremni ste testirati uz  90%-tnu vjerojatnost i dozvoljenu grešku od 0,5%.

Kad to sve pomiješate u formulu dobijete minimalno potrebnu veličinu uzorka od 2.122 korisnika, što znači da ukupno trebate 4.244 korisnika (jer testirate 2 ponude).

Prevedeno, to znači da ćete u 9 od 10 slučajeva, a odlučite li se nakon testiranja pobjedničku ponudu poslati na cijelu ciljanu skupinu, dobiti odaziv između 1,5% i 2,5% (jer je dozvoljena greška +/- 0,5%  uz očekivani odaziv od 2%).

Uzevši sve u obzir (odgovara Vam i donja granica gore navedenog raspona odaziva) pustili ste testne kampanje van i po završetku eto odaziva (iliti po hrvatski response rate):

• ponuda A  - 2,10 % odaziva
• ponuda B - 2,50 % odaziva

Pitanje za milijun kuna: jeli to dovoljna razlika u odazivu da odbacite ponudu A i ubuduće koristite ponud B kao  "control" tj. mjerilo za usporedbu s novim ponudama, tj. testovima?

Tu opet uskaču statističari s jednom formulom u kojoj se usporede stvarna razlika u odazivu nakon provedenog testa (u našem slučaju je to 0,40)  i očekivana dozvoljena greška (expected limit of error).

Uglavnom, ukoliko je stvarna razlika u odazivu ista ili manja od očekivane dozvoljene greške rezultat nije statistički značajan (signifikantan).

U našem slučaju, kad se sve skupa uvrsti u formulu dobijemo da je očekivana dozvoljena greška uz ranije definiranu 90% vjerojatnost, za navedenu veličinu uzorka i ostvareni odaziv  iznosi (zaokruženo) 0,757.

Uzevši u obzir da je stvarna razlika u odazivu (0,4) manja od očekivane dozvoljene pogreške (0,757) možemo zaključiti da statistički razlika nije značajna.

Kako Vi to radite?

Ako trebate savjet ili pomoć u direktnom marketingu javite se, a točnost rezultata možete provjeriti u formulama koje se nalaze u knjizi "Direct Marketing in Practice".

Naravno, sviđa li Vam se ovaj blog možete se  prijaviti za e-novosti .

U idućem piskaranju ćemo vidjeti zašto je bitno na duži rok pratiti rezultat u nekoj direkt marketing kampanji:)