Després de llegir Always Be Testing de Bryan Eisenberg vaig començar a fer servir Google Website Optimizer (GWO), i una de les coses que hi he fet és demostrar empíricament si un canvi a diferents pàgines millora la conversió.

Entre les maneres d’optimitzar la conversió hi ha la millora de la usabilitat, la persuasió i fer experiments. Aquí es tracta de demostrar que els canvis signifiquen una millora. En definitiva, que amb el mateix tràfic aconseguiràs més vendes.

En aquest exemple es parla de Google Website Optimizer, un producte que Google ha tancat. Hi ha alternatives en la que es pot fer el mateix de forma similar a la que aquí s’explica.

Google Website Optimizer

Ja que GWO només et deixa posar una única pàgina de prova en els tests multivariants (MVT), he volgut fer públic un experiment que demostra com funcionaria això de fer un test d’un canvi en un disseny que tenen multiples pàgines, com poden ser les fitxes de producte d’un ecommerce (Magento incorpora GWO a les pàgines de producte), i no només en una única pàgina.

Quan començem amb GWO, ja ens mostra en quins casos s’utilitza MVT i quins pasos hem de tenir clars:

Experiment de Multivariate Tests (MVT)

Només dir que això és una prova de concepte, no un test real.  Si vols provar-ho, fes-ho i comenta aquest post per compartir-ho amb tots nosaltres.

Aquesta és la idea:

• Quina és la situació inicial? Tenim 3 fitxes amb titulars, descripcions i crida a l’acció i també una pàgina de gràcies. (n’he posat 3, però podrien ser les que necessitis)
• Quin serà l’objectiu d’aquest experiment? Volem millorar el percentatge de conversió del disseny de les 3 fitxes almenys en un 10%. (totalment inventat, la qüestió és estimar-ne un)
• Quina hipòtesi tenim? Les variacions en la mida i el tipus de lletra tenen afectació en el percentatge de conversió. (en un tes real hauriem de buscar les variables amb més impacte: estil del titular, posició i tamany de imatges, productes relacionats, etc)
• Quines variables tindrem? Tamany de lletra habitual i gran, i tipus de lletra habitual i verdana. (quines variacions tindran les seccions)
• Quina serà la conversió? Volem que arribin a la pàgina de gràcies. (aquest es el cas més fàcil, podria ser molt més complexe)
• Quins seran els resultats? Podrem saber l’impacte de cada variable i podrem saber la combinació guanyadora. (en aquest cas no ens interesa tant el resultat com la validació del procediment técnic)

Sabent tot això…

Pasos per la creació d’un MVT a múltiples pàgines

1. Identifiques / crees les pàgines del test i la de conversió.

2. Comences la configuració de l’experiment amb 1 pàgina de test. Quina pàgina de test hi poses? Ara no et preocupis d’això, posa’n qualsevol.

3. Poses el Google Website Optimizer Control Script i el Google Analytics Tracking Script a totes les fitxes, no només a la test page que has configurat en el experiment del GWO.

4. Poses la secció MidaLletra i TipusLletra a totes les fitxes. Quan un usuari entri en alguna d’aquestes ja se li fixarà la configuració (combinació MidaLletra i TipusLletra) que veurà en totes les fitxes. (pots veure el codi font de les pàgines a la prova que he fet)

5. Ara que tens llestes les pàgines de test, poses el script de conversió a la pàgina de conversió i comproves des del Google Website Optimize que tot sigui vàlid (a vegades cal fer una validació offline).

6. Defineixes les noves variacions addicionals de les 2 seccions. (Hi he posat un font-size gran per la variació Gran de MidaLletra i la font-family verdana per la variació Verdana de TipusLletra.)

7. Abans de confirmar la creació del experiment pots veure si realment s’apliquen els canvis que vols a les combinacions (preview). No et preocupis que aquí només s’indiqui un test page, ja has posat els scripts a totes les fitxes oi?

Validació

No tinc l’objectiu de que aquest experiment sigui estadísticament significatiu. Només us mostro aquests 2 informes a mode de validació del procediment

En una hi podeu veure les conversions/visitants que veu GWO i en l’altre les pàgines vistes úniques (És el número total de visitants únics que rep una página determinada.) que veu GA.

Aquest és l’estat del report de combinacions: (La pestanya Page sections és molt interessant per saber quin impacte té cada variable, però amb poques dades no té gaire sentit.)

Aquest és un informe personalitzat incluint només les pàgines del experiment i mostrant les seves pàgines vistes úniques:

D’aquest conjunt de pàgines diu que hi ha 9 visitants exclusius, aquest número concorda amb els visitants que veu GWO.

Més informació

A la prova que he fet (podeu veure’n el codi font si voleu)

Article d’ajuda de GWO sobre tests de canvis site-wide (explica el procediment aplicat aquí)

“Although the reports will not offer any definitive conclusions for a while, you should check your reports after a few hours to make sure that impressions and conversions are being recorded and that the traffic recorded in the experiment is consistent with the traffic measured by your web analytics tools. Zero impressions and conversions, or serious discrepancies, may indicate that the experiment tags were not installed correctly.”

Calculadora de duració dels experiments (per saber el temps que tardaràs a tenir resultats estadísticament significatis et caldrà saber els visitants, la conversió actual i la millora que n’esperes de la teva hipotesi)

Google Adwords (en molts casos no tindràs prou visites per fer experiments estadisticament significatius i Google Adwords et pot ajudar a tenir tot el trafic que necessites en pagament per click)

Google Analytics (per veure informes estándard d’estadístiques de la teva web i fer informes personalitzats)

Google Website Optimizer (per fer tests A/B i experiments multivariants com aquest, necessites administrar un compte de Google Analytics)