Un paio di settimane fa si è tenuto l’evento Designers + Geeks presso la sede di Yelp a San Francisco. Anna Blaylock e Navin Iyengar hanno raccontato il processo di progettazione dell’UI di Netflix, condividendo dati da loro raccolti. Test A/B su decine di milioni di membri di Netflix. Hanno anche mostrato alcuni esempi significativi per aiutare i partecipanti a capire il proprio progetto. Quello che segue è un estratto della loro presentazione.
Il test A/B è un metodo scientifico.
Ipotesi
Nella scienza, un’ipotesi è un’idea o una spiegazione da testare attraverso lo studio e la sperimentazione. Nella progettazione, una teoria o un’idea può anche essere chiamata ipotesi.
L’idea di base di un’ipotesi è che non vi è alcun esito predeterminato. È qualcosa che può essere testato, e questi test possono essere ripetuti più e più volte.
Il concetto generale dietro il test A/B è quello di creare un esperimento con un gruppo di controllo che riceve trattamenti alternativi.
Ecco come il test A/B viene fatto su Netflix: non appena il test è attivo, si tracciano metriche specifiche di importanza. Ad esempio, potrebbe essere interessante monitorare elementi come ore di streaming e frequenza di abbandono. Una volta che i partecipanti hanno fornito sufficienti conclusioni significative, si spostano sulla efficacia di ciascuna prova e definiscono un vincitore tra le diverse varianti.
Test A/B è il modo più affidabile per imparare comportamenti degli utenti.
Netflix nel 2013 ha fatto un esperimento decisivo per migliorare la propria usabilità: hanno provato a proporre diversi artwork per lo stesso titolo. Ecco il risultato:
Krishnan dichiara: «Abbiamo ottenuto un segnale forte da parte degli utenti, i quali sono molto sensibili ai cambiamenti di artwork, capendo che ci sono modi migliori per aiutare i membri a trovare i tipi di storie che stavano cercando all’interno dell’esperienza di Netflix».
Netflix in seguito ha creato un sistema che automaticamente raggruppa gli artwork dello stesso titolo che hanno subito ritocchi e trattamenti. Questo perché si è evidenziata una maggiore conversione su determinate copertine piuttosto che altre, nonostante alcune modifiche fossero apparentemente insignificanti. Ecco alcuni esempi:
Sperimentare
Molte aziende come Netflix eseguono esperimenti per ottenere feedback e dati dagli utenti. È importante prendersi il tempo necessario e impiegare le giuste risorse per organizzare l’esperimento correttamente al fine di garantire che la quantità e la qualità di dati sia sufficiente a chiarire le questioni di interesse nel modo più efficiente possibile.
Avrete probabilmente notato che lo spettacolo descritto sulla homepage Netflix sembra cambiare ogni volta che si accede. Queste sono tutte parti di complesse sperimentazioni che Netflix compie per capire come invogliare gli utenti a guardare i loro programmi.
Il fine di un test A/B è quello di presentare contenuti diversi a diversi gruppi di utenti, raccogliere le loro reazioni, e utilizzare i risultati per costruire strategie per il futuro. All’interno di un post nel blog di Netflix scritto dall’ingegnere Gopal Krishnan, si legge: «Se non si cattura l’attenzione di un membro entro 90 secondi, sarà facile che questo perda interesse e passerà a un’altra attività. Tali sessioni fallite potrebbero a volte essere dovute al fatto che non abbiamo mostrato il giusto contenuto o perché lo abbiamo sì fatto vedere, ma non fornito prove sufficienti sul motivo per cui il nostro utente dovrebbe guardarlo».
Test A/B è il modo più affidabile per imparare comportamenti degli utenti.
In quanto designer dobbiamo pensare al nostro lavoro attraverso la lente di sperimentazione.
1. Quando e perché sei A/B testing?
Una volta che hai un progetto in produzione, utilizzare il test A/B diventa fondamentale per modificare il design e usabilità attraverso 2 metriche chiave: conversione e abbandono. Attivando il test A/B durante tutto il processo di progettazione del prodotto, si può valutare se le modifiche migliorano l’accesso al sito e la relativa usabilità. Se lo fa, si sceglie quel “settaggio” come default. In questo modo il test A/B può essere usato per migliorare continuamente parametri aziendali.
2. I vostri utenti trovano o fanno quello che voi desiderereste farli fare?
L’esperienza ci ha insegnato che spesso gli utenti non possono sempre completare un’azione velocemente come invece ci si aspetta, e talvolta non riescono nemmeno a trovare un determinato pulsante.
Le ragioni possono variare: potrebbe essere perché il design non è abbastanza intuitivo, il colore non è abbastanza vivace, l’utente non è esperto di tecnologia, non sa prendere una decisione, perché ci sono troppe opzioni in un’unica pagina, e così via.
3. Le vostre intuizioni sono corrette?
Purtroppo, quando si tratta di comportamento degli utenti, le nostre intuizioni potrebbero essere sbagliate e l’unico modo per dimostrarle è attraverso il test A/B, che ancora oggi risulta essere il modo migliore per definire quale UX sia più efficace di un’altra.
4. Esplorare i confini.
Le idee migliori vengono da molte esplorazioni. Il nostro team lavora in stretta collaborazione con diversi progetti. Con tanti soggetti coinvolti, si esplorano insieme i confini del processo di progettazione (da product manager a sviluppatori). A volte, alcune delle migliori idee provengono da chi lavora o testa il nostro lavoro quando è ancora in fase di bozza.
5. Dobbiamo osservare ciò che le persone fanno, non quello che dicono.
Quando si parla di utenti, è importante tenere a mente che dicono sempre una cosa, ma in realtà spesso la fanno in modo diverso.
6. Utilizzare i dati per stimare la dimensione delle opportunità.
I dati possono aiutare le idee a prendere forma.
Conoscere il proprio utente è la parte più interessante del processo di progettazione.
La chiave è creare molte possibilità per l’interazione al fine di migliorare il design e offrire ai nostri utenti la migliore esperienza possibile.
