Cloud de inteligență optim: Cum să utilizați motorul de statistici pentru a testa A / B mai inteligent și mai rapid

Statistici optimizate pentru motoare și strategii de testare A / B

Dacă doriți să rulați un program de experimentare care să vă ajute afacerea să testeze și să învețe, este posibil să utilizați Cloud de inteligență optim - sau cel puțin te-ai uitat la asta. Optimizely este unul dintre cele mai puternice instrumente din joc, dar, ca orice alt instrument, s-ar putea să-l folosiți greșit dacă nu înțelegeți cum funcționează. 

Ce face Optimizely atât de puternic? La baza setului său de caracteristici se află cel mai informat și mai intuitiv motor de statistici dintr-un instrument terță parte, permițându-vă să vă concentrați mai mult pe obținerea unor teste importante live - fără a fi nevoie să vă faceți griji că vă interpretați greșit rezultatele. 

La fel ca un studiu tradițional orb în medicină, A / B de testare va arăta aleatoriu diferit tratamente site-ului dvs. cu diferiți utilizatori pentru a compara apoi eficacitatea fiecărui tratament. 

Statisticile ne ajută apoi să facem concluzii cu privire la eficacitatea tratamentului pe termen lung. 

Majoritatea instrumentelor de testare A / B se bazează pe unul din cele două tipuri de inferență statistică: statistici frecventiste sau bayesiene. Fiecare școală are diverse argumente pro și contra - statisticile frecvențiste necesită stabilirea unei dimensiuni a eșantionului înainte de desfășurarea unui experiment, iar statisticile bayesiene se preocupă în principal de luarea unor decizii direcționale bune, mai degrabă decât de specificarea unei singure cifre pentru impact, pentru a numi două exemple. Superputerea lui Optimizely este că este singurul instrument de pe piață care astăzi ia o cel mai bun din ambele lumi abordare.

Rezultatul final? În mod optim, utilizatorii pot rula experimente mai rapid, mai fiabil și mai intuitiv.

Cu toate acestea, pentru a profita din plin de acest lucru, este important să înțelegem ce se întâmplă în culise. Iată 5 perspective și strategii care vă vor ajuta să utilizați capabilitățile Optimizely ca un profesionist.

Strategia nr. 1: Înțelegeți că nu toate valorile sunt create la fel

În majoritatea instrumentelor de testare, o problemă frecvent ignorată este că, cu cât adăugați și urmăriți mai multe valori ca parte a testului, cu atât este mai probabil să vedeți câteva concluzii incorecte din cauza șansei aleatorii (în statistici, aceasta se numește „problema testării multiple ”). Pentru a-și menține rezultatele fiabile, Optimizely folosește o serie de controale și corecții pentru a menține șansele ca acest lucru să se întâmple cât mai scăzut posibil. 

Aceste controale și corecții au două implicații atunci când mergeți la configurarea testelor în Optimizely. În primul rând, valoarea pe care o desemnați ca fiind dvs. Metrică primară va atinge semnificația statistică cel mai rapid, toate celelalte lucruri constante. În al doilea rând, cu cât adăugați mai multe valori la un experiment, cu atât valorile ulterioare vor dura mai mult pentru a atinge semnificația statistică.

Când planificați un experiment, asigurați-vă că știți ce valoare va fi adevăratul dvs. nord în procesul dvs. de luare a deciziilor, asigurați-vă că este valoarea dvs. principală. Apoi, păstrați restul listei de valori ușoare, eliminând orice este prea superflu sau tangențial.

Strategia nr. 2: Construiți-vă propriile atribute personalizate

Optimizely este excelent pentru a vă oferi câteva modalități interesante și utile de a segmenta rezultatele experimentului. De exemplu, puteți examina dacă anumite tratamente au performanțe mai bune pe desktop față de mobil sau puteți observa diferențe între sursele de trafic. Pe măsură ce programul dvs. de experimentare se maturizează, veți dori rapid segmente noi - acestea pot fi specifice cazului dvs. de utilizare, cum ar fi segmente pentru achiziții unice față de abonament sau la fel de generale ca „vizitatori noi vs. vizitatori recurenți” (care, sincer, încă nu ne putem da seama de ce acest lucru nu este furnizat din cutie).

Vestea bună este că, prin câmpul Project Javascript al Optimizely, inginerii familiarizați cu Optimizely pot construi orice număr de atribute personalizate interesante la care vizitatorii pot fi atribuiți și segmentați. La Cro Metrics, am construit o serie de module stoc (cum ar fi „vizitatori noi față de cei care se întorc”) pe care îi instalăm pentru toți clienții noștri prin intermediul proiectului Javascript. Exploatarea acestei abilități este un diferențiator cheie între echipele mature care au resursele tehnice potrivite pentru a le ajuta să execute și echipele care se luptă să realizeze întregul potențial al experimentării.

Strategia nr. 3: Explorați acceleratorul de statistici Optimizely

O caracteristică a instrumentului de testare deseori suprapusă este abilitatea de a folosi „bandiți cu mai multe arme”, un tip de algoritm de învățare automată care se schimbă dinamic în cazul în care traficul dvs. este alocat pe parcursul unui experiment, pentru a trimite cât mai mulți vizitatori la „câștigător” variație posibilă. Problema cu bandiții multi-înarmați este că rezultatele lor nu sunt indicatori fiabili ai performanței pe termen lung, astfel încât cazul de utilizare pentru aceste tipuri de experimente este limitat la cazuri sensibile la timp, cum ar fi promoțiile de vânzări.

Totuși, în mod optim, există un alt tip de algoritm bandit disponibil pentru utilizatorii din planuri superioare - Stats Accelerator (cunoscut acum ca opțiunea „Accelerate Learnings” din Bandits). În această configurație, în loc să încerce să aloce în mod dinamic traficul la cea mai performantă variație, în mod optim alocă în mod dinamic traficul la variațiile cele mai susceptibile de a atinge cel mai rapid semnificația statistică. În acest fel, puteți învăța mai repede și puteți păstra replicabilitatea rezultatelor tradiționale ale testelor A / B.

Strategia # 4: Adăugați Emojis la numele dvs. de valoare

La prima vedere, această idee sună probabil în afara locului, chiar inane. Cu toate acestea, un aspect cheie al asigurării că citiți rezultatele corecte ale experimentului începe să vă asigurați că publicul dvs. poate înțelege întrebarea. 

Uneori, în ciuda eforturilor noastre, numele de valori pot deveni confuze (așteptați - acea valoare se declanșează atunci când comanda este acceptată sau când utilizatorul accesează pagina de mulțumire?) Sau un experiment are atât de multe valori care derulează în sus și în jos rezultatele pagina duce la supraîncărcare cognitivă totală.

Adăugarea de emoji-uri la numele valorilor (ținte, bife verzi, chiar și punga mare de bani ar putea funcționa) poate duce la pagini mult mai scanabile. 

Ai încredere în noi - citirea rezultatelor se va simți mult mai ușor.

Strategia nr. 5: Reexaminați nivelul dvs. de semnificație statistică

Rezultatele sunt considerate concludente în contextul unui experiment Optimizely când au ajuns semnificație statistică. Semnificația statistică este un termen matematic dur, dar în esență este probabilitatea ca observațiile dvs. să fie rezultatul unei diferențe reale între două populații și nu doar la întâmplare. 

Nivelurile de semnificație statistică raportate de Optimizely sunt „întotdeauna valabile” datorită unui concept matematic numit testarea secvențială - acest lucru le face, de fapt, mult mai fiabile decât cele ale altor instrumente de testare, care sunt predispuse la tot felul de probleme „peeking” dacă le citiți prea curând.

Merită să luați în considerare ce nivel de semnificație statistică considerați important pentru programul dvs. de testare. În timp ce 95% este convenția comunității științifice, testăm modificările site-ului, nu vaccinurile. O altă alegere comună în lumea experimentală: 90%. Dar ești dispus să accepți ceva mai multă incertitudine pentru a rula experimentele mai repede și pentru a testa mai multe idei? Ați putea folosi 85% sau chiar 80% semnificație statistică? A fi intenționat cu privire la soldul risc-recompensă poate plăti dividende exponențiale în timp, deci gândiți-vă cu atenție.

Citiți mai multe despre Optimizely Intelligence Cloud

Aceste cinci principii și perspective rapide vor fi incredibil de utile de reținut în timp ce utilizați Optimizely. Ca și în cazul oricărui instrument, acesta se rezumă la a vă asigura că ați înțeles bine toate personalizările din culise, astfel încât să vă puteți asigura că utilizați instrumentul în mod eficient și eficient. Cu aceste înțelegeri, puteți obține rezultatele fiabile pe care le căutați, atunci când aveți nevoie de ele. 

Ce părere ai?

Acest site folosește Akismet pentru a reduce spamul. Aflați cum sunt procesate datele despre comentarii.