A/B testiranje: realni primeri i šta se zaista dobija

Šta je A/B testiranje, a šta nije

A/B testiranje znači da jedna grupa posetilaca vidi varijantu A, a druga varijantu B. Zatim porediš unapred definisan rezultat: kupovinu, registraciju, slanje forme, zahtev za demo ili neku drugu konverziju koju možeš pouzdano da izmeriš.

Od oko 2019. godine vodim i analiziram eksperimente na sajtovima klijenata. Alati su se u međuvremenu menjali, a Google Optimize je ugašen. Timovi danas koriste VWO, Optimizely, server-side raspodelu posetilaca ili sopstvena rešenja, dok GA4 najčešće služi za analizu rezultata, a ne za prikazivanje varijanti kao nekada Optimize.

Osnovni princip je, međutim, ostao isti: jedna jasna hipoteza, jedna primarna metrika i dovoljno saobraćaja da bi rezultat imao smisla.

A/B testiranje nije:

• zamena za nejasnu ponudu ili nefunkcionalan checkout
• način da opravdaš redizajn pre nego što rešiš osnovne UX probleme
• garancija da će svaka promena boje dugmeta doneti rast

A/B testiranje jeste strukturiran način da smanjiš nagađanje na stranicama koje već imaju dovoljno posetilaca i konverzija da bi mogle smisleno da se testiraju.

Šta zaista dobijaš

Jasan odgovor na konkretno pitanje

Umesto rasprave o tome da li se nekome više dopada plavo ili zeleno dugme, dobijaš odgovor zasnovan na ponašanju korisnika.

Na primer: u konkretnim uslovima i na posmatranom uzorku, da li je varijanta B ostvarila bolju stopu slanja forme od varijante A?

Pored glavne metrike, unapred možeš da definišeš i dodatne pokazatelje koji pomažu da promena ne napravi problem na drugom mestu. To mogu biti stopa odustajanja, prosečna vrednost porudžbine ili broj zahteva korisničkoj podršci.

Mnogi testovi na kraju ne pokažu jasnu razliku između varijanti. I takav rezultat je koristan, jer ti pomaže da ne objaviš promenu koja je na sastanku delovala bolje, ali u praksi nije poboljšala ponašanje korisnika.

Prioriteti zasnovani na rezultatima

Timovi koji redovno testiraju vremenom grade bazu znanja o tome šta je dalo rezultat, šta nije i u kojim okolnostima.

Tu mogu da budu važni segment publike, tip uređaja, sezona, izvor saobraćaja ili preklapanje sa marketinškim kampanjama. Na taj način prioriteti postepeno prelaze sa ličnih mišljenja na dokumentovane rezultate i naučene lekcije.

Ograničenja koja treba uzeti u obzir

• Saobraćaj: za pouzdan zaključak potreban je dovoljan broj konverzija po varijanti. Na manjim sajtovima test može da traje nedeljama dok se ne prikupi dovoljno podataka. To je normalno i ne znači da metoda ne funkcioniše.
• Privatnost i praćenje: saglasnost za korišćenje kolačića i ograničenja platformi danas čine precizno praćenje i segmentaciju težim nego ranije. Server-side rešenja i first-party analitika mogu da pomognu, ali savršeno praćenje nije realno. Eksperiment treba planirati imajući to u vidu.
• Trošak implementacije: svaka varijanta mora da se napravi, testira i pravilno poveže sa analitikom. Pokretanje deset mikro-testova istovremeno zvuči efikasno, ali najčešće samo otežava analizu i stvara dodatnu buku u podacima.

Obrasci koje vredi testirati, bez izmišljenih procenata

Ovo su vrste eksperimenata koje često imaju smisla kada su osnove sajta već dobre: stranice se brzo učitavaju, forme rade, mobilna verzija je funkcionalna i korisniku je jasan sledeći korak.

Ne navodim procente mogućeg rasta, jer rezultat zavisi od saobraćaja, ponude, publike i kvaliteta postojeće stranice.

E-trgovina: CTA tekst i jasne informacije o dostavi

Možeš da testiraš standardno dugme „Dodaj u korpu“ u odnosu na varijantu koja jasnije ističe stvarni prag za besplatnu dostavu ili očekivano vreme isporuke.

Naravno, takvo obećanje mora da bude tačno i u skladu sa uslovima kupovine.

Ovakav test može da pokaže da li korisnike više koči neizvesnost u vezi sa dostavom nego sam dizajn stranice. Ponekad će jasniji tekst pobediti, a ponekad će test samo otkriti da je ponuda nedovoljno razumljiva.

SaaS i B2B: konkretniji uvodni naslov

Naslov koji jasno opisuje rezultat, kao što je „Manje propuštenih rokova na klijentskim projektima“, možeš da uporediš sa opštijim naslovom poput „Alat za upravljanje projektima“.

Takav test pokazuje da li posetioci već na prvom ekranu razumeju kome je proizvod namenjen i koji problem rešava.

Kraći naslov nije automatski bolji, ali je konkretniji naslov često lakše razumeti.

Prikupljanje upita: dužina forme i redosled polja

Možeš da testiraš uklanjanje polja koja prodajni tim može da dopuni kasnije ili pomeranje osetljivijeg pitanja nakon polja za email.

Na taj način proveravaš da li korisnike sprečava preduga forma ili im sama ponuda nije dovoljno relevantna.

Ako broj poslatih formi poraste, ali kvalitet potencijalnih klijenata opadne, dodatne metrike treba to da pokažu. Više prijava ne znači nužno i bolji poslovni rezultat.

Cene i istaknuti paket

Redosled paketa, unapred istaknuta opcija i jasno predstavljena glavna pogodnost utiču na način na koji korisnik donosi odluku, a ne samo na izgled stranice.

Isticanje srednjeg paketa ima smisla samo ako taj paket zaista odgovara potrebama većine kupaca. U suprotnom, može da izazove dodatnu zabunu ili smanji poverenje.

Zbog čega rezultati postaju nepouzdani

Kada pregledam zastarele ili napuštene programe testiranja, najčešće nailazim na sledeće probleme:

• Previše promena odjednom: ako promeniš naslov, fotografiju, CTA i raspored sadržaja, nećeš znati šta je zapravo uticalo na rezultat.
• Prerano zaustavljanje testa: svakodnevno proveravanje rezultata i prekidanje testa čim jedna varijanta trenutno deluje bolje povećava rizik od pogrešnog zaključka.
• Efekat novine: velika vizuelna promena može privremeno da privuče pažnju korisnika, ali taj efekat često nestane nakon određenog vremena.
• Neravnomerna raspodela ili neispravno praćenje: rezultat nije pouzdan ako varijante ne dobijaju uporediv saobraćaj ili se konverzije ne mere na isti način.
• Testiranje pre rešavanja osnovnih problema: spor LCP, nefunkcionalan mobilni meni ili nejasna ponuda važniji su od boje dugmeta.

Pre pokretanja testa treba unapred definisati primarnu metriku, minimalno trajanje ili potrebnu veličinu uzorka, dodatne pokazatelje koji čuvaju kvalitet rezultata i osobu koja donosi odluku o prihvatanju ili odbacivanju varijante.

Gde se A/B testiranje uklapa u proces

Na sajtovima koje analiziram, eksperimentisanje najbolje funkcioniše kao poslednji sloj optimizacije na stranicama koje već ostvaruju merljive konverzije:

1. Razjasni ponudu i ciljnu publiku na ključnim landing stranicama
2. Ukloni tehničke prepreke, kao što su spor sajt, nefunkcionalne forme i loša mobilna upotrebljivost
3. Dodaj pouzdane signale poverenja, poput recenzija, informacija o timu i jasnih pravila korišćenja
4. Tek onda testiraj naslove, CTA dugmad, varijante formi i raspored ključnih elemenata

Ako su prva tri koraka slaba, testiranje boje dugmeta uglavnom samo skreće pažnju sa stvarnog problema.

Alati ukratko

Nakon gašenja Google Optimize-a, izbor alata zavisi od budžeta, količine saobraćaja i tehničkih mogućnosti tima.

Za prikazivanje i raspodelu varijanti koriste se alati kao što su VWO, Optimizely i Kameleoon, kao i interno razvijena server-side rešenja. GA4, često u kombinaciji sa BigQuery-em, može da služi za analizu i izveštavanje.

Ipak, izbor alata je manje važan od načina na koji se testiranje sprovodi: jedna jasna hipoteza po testu, dosledno definisane konverzije i uredno zapisani ciljevi, izmene i rezultati.

Od 2019. godine ponavlja se ista lekcija: disciplina je važnija od broja funkcija koje alat nudi.

Odluka koju treba da doneseš

Pokreni A/B test kada imaš dovoljno saobraćaja i konverzija, hipotezu koju možeš da potvrdiš ili odbaciš i stranicu na kojoj bi čak i manje poboljšanje opravdalo vreme potrebno za implementaciju.

Preskoči ga kada je ponuda nejasna, praćenje ne radi pouzdano ili tim pokušava da redizajnom izbegne rešavanje ozbiljnijih UX problema.

Kada se koristi na pravi način, A/B testiranje donosi manje rasprava, jasnije prioritete i povremena konkretna poboljšanja. Jednako su važni i testovi koji ne pokažu razliku, jer te mogu sprečiti da objaviš promenu koja ne pomaže korisnicima ili poslovanju.

Hoćeš da otkriješ šta bi zaista moglo da poboljša rezultate tvog sajta?

Kontaktiraj me. Zajedno možemo da pronađemo kritične tačke u procesu konverzije, definišemo smislene hipoteze i pripremimo pouzdanu osnovu za testiranje, umesto da nasumično menjamo elemente sajta.