A/B testiranje naziv je za vrstu testiranja koje se široko primjenjuje za testiranje dviju opcija. Ako A/B test postane A/B/C/D test onda već pričamo o podijeljenom testiranju, odnosno split testu. Temelj A/B testiranja je da testiramo dva proizvoda, ili dvije usluge, ili dvije kreative oglasa u što je moguće sličnijim (idealno istim) uvjetima.

Ako testirate slatkiš, istoj skupini ljudi prezentirate oba slatkiša i pitate ih za mišljenje. Najkompliciraniji dio takvog testa upravo je osiguranje uvjeta.

Na primjeru slatkiša, cilj bi bio da ih testna skupina proba isti dan, kako bi se osiguralo da neki prijašnji okus ne utječe na rezultate. Ali ipak, konzumacijom jednog utječe se na ocjenu drugog. Lijek za takav problem je da pola testne skupine prvo testira slatkiš #1 pa onda slatkiš #2. Dok će druga polovica početi sa slatkišem #2, pa onda probati slatkiš #1.

Što je veća testna skupina, to su rezultati precizniji. I to je to? Popišemo što je ljudima draže i krećemo u proizvodnju zar ne? NE!

Ako je u skupini od 100 podjela ljudi u niskim prevagama primjerice 51/49 ili 53/47 onda bi trebali proširiti test, možda čak do limitiranog izlaska na tržite u težim slučajeva.

Čak i kada se većina mogućih potrošača slaže, morate sagledati sve s poslovne i distribucijske strane. Troškovi proizvodnje i popratni troškovi također su faktori u odluci. Kako donijeti takve odluke na temelju informacija? Odgovor je naravno analizom i vizualizacijom podataka.

Danas ćemo se pozabaviti time kako vizualizirati odluku (U ovom slučaju na nekoliko setova Remarketing oglasa na Google Ads).

Za početak, kako smo i što sve koristili.

Podaci su dohvaćenih iz Google Ads Reporting mogućnosti, u .csv formi. Ako radite nešto slično, sjetite se ukloniti prva dva reda koja sadrže naslov datoteke i vremensko razdoblje.

U pitanju su 3 oglasa, koja su istovremeno startala 2.travnja, te je jedan od njih pauziran 24.travnja, dok su ostala dva nastavila, i koristimo podatke do 25.svibnja.

Oglasi su bili postavljeni u 5 dimenzija oglasa, kako bi se povećao broj oglasnih mjesta na kojima se mogu pokazati.

Svi su dijelili isti targeting, korisnici koji su već bili na našim stranicama plus prikazivanje po portalima index.hr, 24sata.hr, rtl.hr, regionalexpress.hr, slobodnadalmacija.hr, vecernji.hr, jutarnji.hr, bug.hr, poslovni.hr.

Oglasi (336×280):

Kroz analizu se na ovaj oglas referiramo kao “aplikacija

Kroz analizu se na ovaj oglas referiramo kao “analiza

Kroz analizu se na ovaj oglas referiramo kao “napredovanje

Od tri oglasa, dva dijela praktički isti vizual, sa različitim tekstom (strojno učenje, umjetna inteligencija…,) dok se treći bavi razvojem aplikacija.

Kada skinemo podatke s Google Ads Reportinga, i to sve uredimo, ostaju nam relevantne stavke koje ćete obično pogledati i u sučelju (ili bi barem trebali), ali ih ovako možemo vidjeti jasnije i podijeljeno po danima kako bi nam to pomoglo pri donošenju odluka.

24.travnja bio je petak, i jedan od dva vizualno slična oglasa je po planu trebao biti pauziran, pa je odluka donesena. Ali, da netko potegne pitanje kako je i zašto ta odluka donesena, uvijek je dobro to i ilustrirati/dokazati, kako bi se nekome to objasnilo kroz executive summary.

Relevantne varijable na koje ćemo se referirati su:

cl – klikovi (clicks)

im – impresije (impressions)

ct – trošak (cost)

ctr – odnos klikova i impresija (click through rate)

cpc – trošak po kliku (cost per click)

Manje tipkanja, više grafova!

Pa hajdemo usporediti to jedno po jedno, za svaki od tri oglasa:

Usporedba ključnih metrika

Klikovi:

Ok ovo je malo neuredno, hajdemo to popuniti da jasnije vidimo što se događa:

Klikovi:

Impresije:

Click through rate:

CPC:

Ok puno informacija u par grafova. Zašto je onda analiza pauzirana a napredovanje je ostalo?

Prvo, morao je postojati neki, makar arbitraran i nevažan rok, jer s tako sličnim vizualom i samo malo promijenjenim tekstom, bilo je za očekivati da će oglasi biti blizu s rezultatima.

Što je presudilo?

Prije nego se toga uhvatimo, hajdemo samo brzinski pogledati samo ta dva seta, bez aplikacija, odnosno baš podatke A/B testa.

(kada je uključen i treći set ‘aplikacija’ onda već pričamo o split testu)

Klikovi:

Impresije:

CTR:

CPC:

Analiza rezultata A/B testa

S ovime, kao i s proizvodnjom slatkiša ili bilo čega što servirate široj publici, bitni su jasno određeni prioriteti.

Kako su ova dva seta oglasa išla na istu publiku, i osim malih promjena bila istovjetna, presudilo je što je prioritet.

Klikovi i impresije daju veliku prednost oglasu analiza, ali i Nutella proizvedena za talijansko tržište prodaje se bolje od one za poljsko tržište, ali ako nema talijanske nutele, ljudi će kupiti poljsku.

Trošak je relativno zavisan o broju klikova, tako da ćemo se uhvatiti zadnja dva pokazatelja, CTR (koliki postotak ljudi koji je vidio oglas je i kliknuo na njega) i CPC (koliko nas je prosječno koštao jedan klik).

I tu je ctr jasno na strani oglasa napredovanje, dok je cpc skoro pa jednak (razlika od 5%).

Još jedna stvar koja je odigrala ulogu, ali neću je sada dodavati su bounce rate i average time on page (više o ulogama i plotanju toga u prethodnim člancima) koji su na strani oglasa napredovanje.

Kao što je vidljivo, oglas koji je ostao brzo je preuzeo klikove, impresije i trošak od onog koji je pauziran, tako da smo postigli cilj, znamo koja od tih ideja je bila bolja. Sada ostaje oglas za aplikacije i oglas koji je ostao, te i jednom i drugom izrađujemo alternative kako bi nastavili testiranje.

ALWAYS BE TESTING!

Vizualizacije za Executive Summary - CTR

Još jedna stvar koju je malo teža za pogledati u Google Adsima kada plasirate oglase na određene portale, su dnevne performanse svakog oglasa na svakom od placementa.

Da, možete vidjet prosjek i to će vam dati “dovoljno dobar” pregled, ali kada imate potrebu to sve protumačiti i nekom prezentirati, brže je to napraviti vizualno.

Ajmo onda napraviti sljedeće:

Primarna stvar koja nas zanima je performasa naših oglasa, CTR.

Želimo znati CTR za svaki dan, po svakom pojedinom placementu.

Da to pokušamo dostaviti u formatu tablice, imali bi ogroman izvještaj koji bi bilo jako teško razumjeti.

Ako pak, na os X grafa stavimo placemente, na os Y dane, možemo ucrtati točke na prescjecima kada je bilo klikova. To nam daje podatak kojim danom je bilo posjeta s kojeg od placementa.

Da to još malo proširimo, veličina točke ovisiti će o tome koliki je bio CTR.

To će nam dati sljedeće informacije:
• Na kojem portalu se pokazujemo konzistentno i na kojem imamo konzistentni click trough rate.

• Na kojem portalu smo samo ponekada (što će značiti ili da je tamo veća AdSense konkurencija, ili da naši korisnici ne posjećuju taj portal toliko često).

Ovakav prikaz je koristan za prezentaciju rezultata jer imamo puno dimenzija koje su čitljive s jednog mjesta.

To je 4-5 metrika na istom grafu, koji je i dalje intuitivan.

I najbolji dio, može se prilagoditi kako bi se ilustriralo gotovo bilo što s vremenskom dimenzijom.

Možemo to pogledati za svaki od setova. Točke su namjerno povećane da dođe sve izražaja ali to se može prezentirati drugačije, ovisno o tome što želite postići. Moje točke su velike jer želim postići da uključite glavu i znate što želite prije nego nešto radite.

 aplikacija:

analiza:

napredovanje:

Vizualizacije za Executive Summary - CPC

Na isti način možemo vizualizirati i CPC.

 aplikacija:

analiza:

napredovanje:

Kao što sam i napomenuo, takav prikaz možemo i uređivati, pa grafovi mogu izgledati i ovako:

I to je to? Možemo li to ikako još malo sažeti i uljepšati?

Naravno da možemo.

Ako spojimo i CPC kao boju točki, i CTR kao njihovu veličinu, možemo sve opisati s jedim grafom, ali tu gubimo dio intuitivnosti grafa. Sve ovisi kome prezentirate te informacije.

Tako da ako na jedan graf stavimo

X-os: placement

Y-os: dan

Točka: Postojanje klikova

Boja točke: CPC

Veličina točke: CTR

 aplikacija:

analiza:

napredovanje:

Zaključak

ALWAYS BE TESTING!

Neovisno da li se bavite digitalnim oglašavanjem, radite sladolede ili želite optimizirati svoju prodaju, A/B testiranje, ili split testovi mogu vam prilično brzo donijeti odgovore koje tražite.

Pogotovo ako morate tu odluku nekome obrazložiti i prezentirati, vizualizacija rezultata uvijek će naići na puno bolje razumijevanje i shvaćanje nego čista tablica s brojevima.

Python, Juypter i pandas nude vam gotovo sve spremno čim ih postavite i instalirate, te je onda samo stvar da postavite pravo pitanje i da znate kako želite prezentirati odgovor.

Ako zapnete s kompleksnim vizualizacijama možete nam se javiti preko kontakt stranice.

Less typing more graphing.