Evaluare Marcom: o alternativă la testarea A / B

sferă dimensională

Așa că vrem mereu să știm cum MARCOM (comunicări de marketing) este performantă, atât ca vehicul, cât și pentru o campanie individuală. În evaluarea marcom este obișnuit să se utilizeze teste simple A / B. Aceasta este o tehnică în care eșantionarea aleatorie populează două celule pentru tratamentul campaniei.

O celulă primește testul și cealaltă celulă nu. Apoi, rata de răspuns sau venitul net este comparată între cele două celule. Dacă celula de testare depășește celula de control (în cadrul parametrilor de testare de creștere, încredere etc.) campania este considerată semnificativă și pozitivă.

De ce face altceva?

Cu toate acestea, acestei proceduri îi lipsește generarea de informații. Nu optimizează nimic, se realizează în vid, nu dă implicații pentru strategie și nu există controale pentru alți stimuli.

În al doilea rând, de prea multe ori, testul este poluat prin faptul că cel puțin una dintre celule a primit din greșeală alte oferte, mesaje de marcă, comunicații etc. De câte ori rezultatele testului au fost considerate neconcludente, chiar nesensibile? Așa că testează iar și iar. Ei nu învață nimic, cu excepția faptului că testarea nu funcționează.

De aceea, recomand utilizarea regresiei obișnuite pentru a controla toți ceilalți stimuli. Modelarea prin regresie oferă, de asemenea, informații despre evaluarea marcom care poate genera un ROI. Acest lucru nu se face în vid, ci oferă opțiuni ca portofoliu pentru optimizarea bugetului.

Un exemplu

Să presupunem că am testat două e-mailuri, test vs. control, iar rezultatele au revenit fără sens. Apoi am aflat că departamentul nostru de branduri a trimis din greșeală o trimitere prin poștă directă (mai ales) grupului de control. Această piesă nu a fost planificată (de noi) și nici nu a fost luată în considerare în alegerea aleatorie a celulelor de testare. Adică, grupul de afaceri obișnuit a primit corespondența directă obișnuită, dar grupul de testare - care a avut loc - nu a primit. Acest lucru este foarte tipic într-o corporație, în care un grup nu funcționează și nici nu comunică cu o altă unitate de afaceri.

Așadar, în loc să testăm în care fiecare rând este client, adunăm datele în funcție de perioada de timp, să zicem săptămânal. Adăugăm, săptămânal, numărul de e-mailuri de testare, e-mailuri de control și e-mailuri directe trimise. De asemenea, includem variabile binare care să țină cont de sezon, în acest caz trimestrial. TABELUL 1 prezintă o listă parțială a agregatelor cu testul de e-mail începând din săptămâna 10. Acum facem un model:

net \ _rev = f (em \ _test, em \ _cntrl, dir \ _mail, q_1, q_2, q_3 etc.)

Modelul de regresie obișnuit, astfel cum este formulat mai sus, produce ieșirea din TABELUL 2. Includeți orice alte variabile independente de interes. O atenție deosebită ar trebui să fie faptul că prețul (net) este exclus ca variabilă independentă. Acest lucru se datorează faptului că venitul net este variabila dependentă și se calculează ca (net) preț * cantitate.

TABELUL 1

săptămână em_test em_cntrl dir_mail q_1 q_2 q_3 net_rev
9 0 0 55 1 0 0 $ 1,950
10 22 35 125 1 0 0 $ 2,545
11 23 44 155 1 0 0 $ 2,100
12 30 21 75 1 0 0 $ 2,675
13 35 23 80 1 0 0 $ 2,000
14 41 37 125 0 1 0 $ 2,900
15 22 54 200 0 1 0 $ 3,500
16 0 0 115 0 1 0 $ 4,500
17 0 0 25 0 1 0 $ 2,875
18 0 0 35 0 1 0 $ 6,500

A include prețul ca variabilă independentă înseamnă a avea preț pe ambele părți ale ecuației, ceea ce este inadecvat. (Cartea mea, Analize de marketing: un ghid practic pentru știința reală a marketingului, oferă exemple și analize extinse ale acestei probleme analitice.) R2 ajustat pentru acest model este de 64%. (Am renunțat la q4 pentru a evita capcana falsă.) Emc = e-mail de control și emt = e-mail de testare. Toate variabilele sunt semnificative la nivelul de 95%.

TABELUL 2

q_3 q_2 q_1 dm emc EMT CONST
coeff -949 -1,402 -2,294 12 44 77 5,039
st greșeală 474.1 487.2 828.1 2.5 22.4 30.8
raportul t -2 -2.88 -2.77 4.85 1.97 2.49

În ceea ce privește testul de e-mail, e-mailul de testare a depășit e-mailul de control cu ​​77 față de 44 și a fost mult mai semnificativ. Astfel, contabilizând alte lucruri, e-mailul de testare a funcționat. Aceste informații vin chiar și atunci când datele sunt poluate. Un test A / B nu ar fi produs acest lucru.

TABELUL 3 ia coeficienții pentru calcularea evaluării marcomm, o contribuție a fiecărui vehicul în termeni de venit net. Adică, pentru a calcula valoarea corespondenței directe, coeficientul 12 este înmulțit cu numărul mediu de mesaje directe trimise de 109 pentru a obține 1,305 USD. Clienții cheltuiesc o sumă medie de 4,057 USD. Prin urmare 1,305 USD / 4,057 USD = 26.8%. Aceasta înseamnă că poșta directă a contribuit cu aproape 27% din venitul net total. În ceea ce privește rentabilitatea investiției, 109 mesaje directe generează 1,305 USD. Dacă un catalog costă 45 USD atunci ROI = (1,305 USD - 55 USD) / 55 USD = 2300%!

Deoarece prețul nu a fost o variabilă independentă, se ajunge la concluzia că impactul prețului este îngropat în constantă. În acest caz, constanta 5039 include prețul, orice alte variabile lipsă și o eroare aleatorie, sau aproximativ 83% din venitul net.

TABELUL 3

q_3 q_2 q_1 dm emc EMT CONST
Coeff -949 -1,402 -2,294 12 44 77 5,039
însemna 0.37 0.37 0.11 109.23 6.11 4.94 1
$ 4,875 - $ 352 - $ 521 - $ 262 $ 1,305 $ 269 $ 379 $ 4,057
valoare -7.20% -10.70% -5.40% 26.80% 5.50% 7.80% 83.20%

Concluzie

Regresia obișnuită a oferit o alternativă pentru a oferi informații în fața datelor murdare, așa cum se întâmplă adesea într-o schemă de testare corporativă. Regresia oferă, de asemenea, o contribuție la venitul net, precum și un argument de afaceri pentru rentabilitatea investiției. Regresia obișnuită este o tehnică alternativă în ceea ce privește evaluarea marcomm.

ir? t = marketingtechblog 20 & l = as2 & o = 1 & a = 0749474173

4 Comentarii

  1. 1

    Frumoasă alternativă la o problemă practică, Mike.
    În felul în care ați făcut-o, cred că nu există suprapuneri ale comunicatorilor țintă în săptămânile anterioare imediate. Altfel ați avea o componentă auto-regresivă și / sau întârziată în timp?

  2. 2

    Luând în considerare criticile dvs. despre optimizare, cum s-ar putea folosi acest model pentru a optimiza cheltuielile de pe canal?

Ce părere ai?

Acest site folosește Akismet pentru a reduce spamul. Aflați cum sunt procesate datele despre comentarii.