A/B test con Mailchimp: come configurarlo

Gli A/B test permettono di confrontare due varianti di una campagna per scegliere quella più performante in modo basato sui dati, non sull'intuito. Mailchimp include un sistema di A/B testing nativo che invia automaticamente le varianti su un campione rappresentativo, calcola il vincitore e recapita la versione migliore alla maggioranza della lista. In questa guida vediamo cosa testare, come dimensionare il campione e quali errori evitare per ottenere risultati statisticamente affidabili.

Cosa si può testare

Mailchimp permette di testare quattro variabili principali: l'oggetto della email, il nome del mittente (from name), il contenuto (HTML diverso con layout, copy o CTA differenti) e l'orario di invio. La regola d'oro è scegliere una sola variabile per campagna: testare oggetto e contenuto insieme produce dati ambigui perché non sapresti a cosa attribuire l'eventuale miglioramento. Tieni un solo elemento variabile e mantieni costanti tutti gli altri, esattamente come in un esperimento di laboratorio.

Dimensione campione e significatività statistica

Il principio statistico è semplice: il campione di test deve essere sufficiente a produrre un risultato significativo. Con liste piccole (sotto i 500 contatti) l'A/B test perde affidabilità perché la varianza casuale supera le differenze reali tra le varianti. Mailchimp consiglia un campione minimo del 20-30% della lista per ogni variante e suggerisce di attendere 4-24 ore prima di scegliere il vincitore. Sotto i 1.000 iscritti, conviene fare test sequenziali (una campagna alla volta in periodi diversi) anziché simultanei, oppure ricorrere a piattaforme con dataset aggregati maggiori.

Procedura passo-passo

1. Vai su Campaigns > Create > Email > A/B Test.
2. Seleziona l'audience e l'eventuale segmento di destinazione.
3. Scegli la variabile da testare: subject line, from name, content o send time.
4. Imposta il numero di varianti (2 o 3, fino a 8 nel piano Premium con il multivariate test).
5. Scrivi le versioni alternative (per esempio due oggetti diversi o due preheader).
6. Imposta la dimensione del campione di test (il default del 50% è un buon punto di partenza).
7. Scegli la metrica di winner: open rate, click rate o revenue (consigliata se hai e-commerce collegato).
8. Imposta la durata del test, con un minimo consigliato di 4 ore per dare tempo agli iscritti di reagire.
9. Pubblica e attendi: Mailchimp invia automaticamente la versione vincente al resto della lista.
10. Documenta il risultato in un foglio condiviso per costruire una conoscenza di squadra nel tempo.

Esempi pratici di test

Alcuni test che producono insight utili nella maggior parte dei contesti: oggetto con emoji rispetto a oggetto senza emoji, mittente con nome persona contro nome azienda, CTA testuale contro CTA button colorato, email lunga in stile storytelling contro email corta e diretta, invio mattina alle 9:00 contro pomeriggio alle 17:00. Ogni test deve rispondere a una domanda specifica e misurabile. Evita test fatti per curiosità senza ipotesi chiara: ogni esperimento ha un costo in termini di reach e di tempo del team.

Errori comuni e come risolverli

• Testare troppe variabili: una sola alla volta, altrimenti non sai cosa ha causato il risultato. Se devi testare più elementi, programma test sequenziali.
• Lista troppo piccola: sotto i 1.000 contatti i risultati non sono affidabili. Considera test sequenziali su più invii o accumula dati nel tempo.
• Vincere solo su open rate: un oggetto clickbait alza l'open ma può abbassare le conversioni. Misura sempre anche il click rate e, se possibile, il revenue.
• Test inconcludenti: differenze sotto il 3% non sono significative su campioni medi. Considera il test pari e ripetilo con una variante più marcata.
• Non documentare: tieni un log dei test, delle ipotesi e dei risultati. Senza documentazione ripeterai gli stessi esperimenti senza capitalizzare l'esperienza.
• Cambiare ipotesi a metà: una volta avviato il test, non modificare le varianti né interrompere prima del tempo previsto, altrimenti il dato è inutilizzabile.

Interpretare i risultati oltre i numeri

Un buon analista non si ferma al verdetto automatico di Mailchimp ma osserva anche il contesto: stagionalità (un test a dicembre può essere influenzato dalle promozioni natalizie), tipo di lista (un campione di nuovi iscritti reagisce diversamente da utenti veterani), device mix (sempre più aperture avvengono da mobile e questo influenza la lunghezza ideale dell'oggetto). Esporta i dati in CSV e incrociali con Google Analytics o con la piattaforma e-commerce per misurare l'impatto sul fondo del funnel, non solo sull'apertura.

Domande frequenti

D: Posso fare A/B test su automation?
R: Sì, dentro il Customer Journey Builder puoi aggiungere uno split test su email specifiche, utile per ottimizzare welcome series o sequenze di recupero carrello.

D: Quale piano serve?
R: La funzione è disponibile dal piano Essentials in poi. Il multivariate test (fino a 8 varianti su 3 variabili) è riservato al piano Premium.

D: Cosa succede se non c'è un vincitore chiaro?
R: Mailchimp invia la variante che ha la leggera prevalenza statistica o quella di default impostata. Conviene non considerare il dato come definitivo e ripetere il test.

D: Quanti test all'anno sono ragionevoli?
R: Una cadenza utile è un test per ogni invio importante, mantenendo una roadmap trimestrale di ipotesi da validare.

Hai bisogno di aiuto?

Se vuoi delegare l'email marketing al team di G Tech Group, scrivici tramite il modulo di contatto. Ti aiutiamo con configurazione SMTP, migrazioni, automation, A/B test strategici e reportistica avanzata.