Robots.txt come strumento strategico
Il file robots.txt è il primo file che i crawler leggono quando visitano un sito. Posizionato nella root del dominio (es. https://www.tuosito.it/robots.txt), comunica ai bot quali risorse possono o non possono scansionare. Una configurazione avanzata permette di ottimizzare il crawl budget e proteggere risorse sensibili dall'indicizzazione.
Sintassi base e direttive
Le direttive principali sono:
- User-agent: identifica il bot a cui applicare le regole (* per tutti)
- Disallow: blocca la scansione di un path
- Allow: consente la scansione (utile per eccezioni dentro Disallow)
- Sitemap: indica la posizione della sitemap XML
- Crawl-delay: ritardo tra richieste (ignorato da Google, supportato da Bing/Yandex)
Esempi avanzati di configurazione
Blocco di pagine di ricerca interne (creano contenuti duplicati):
User-agent: *
Disallow: /?s=
Disallow: /search/
Blocco di parametri tracking:
Disallow: /*?utm_
Blocco di file specifici come PDF interni:
Disallow: /docs/*.pdf$
Eccezione: blocca tutta la cartella ma consenti un sottopath:
Disallow: /private/
Allow: /private/public-folder/
Bot specifici e regole differenziate
Puoi creare blocchi separati per bot diversi:
User-agent: Googlebot
Disallow: /admin/
User-agent: GPTBot
Disallow: /
User-agent: AhrefsBot
Crawl-delay: 10
Il blocco di bot AI come GPTBot, ClaudeBot, PerplexityBot serve a impedire l'uso dei contenuti per training di modelli linguistici.
Wildcard e regex
Google supporta wildcard parziali:
- *: corrisponde a qualsiasi sequenza di caratteri
- $: indica fine dell'URL
Esempi: Disallow: /*.php$ blocca tutti gli URL che terminano in .php; Disallow: /*? blocca URL con parametri.
Cosa NON bloccare
Errore comune: bloccare CSS e JavaScript. Google ha bisogno di accedere a queste risorse per renderizzare la pagina come un browser. Bloccarle compromette la valutazione del contenuto e i Core Web Vitals.
Non usare robots.txt per nascondere informazioni sensibili: il file è pubblico e chiunque può leggerlo. Per pagine private usa autenticazione o meta tag noindex (servendo il contenuto ma vietando l'indicizzazione).
Test e validazione
Usa il Tester robots.txt di Google Search Console per verificare la sintassi e simulare il comportamento dei bot. Inserisci un'URL del tuo sito e GSC mostra se è bloccato o consentito e da quale regola. Verifica periodicamente che modifiche al sito non abbiano cambiato la struttura URL invalidando le regole.
Best practice finali
Mantieni il file il più semplice possibile. Documenta le regole con commenti (# commento). Esegui backup prima di modifiche importanti. Includi sempre la direttiva Sitemap. Ricorda: il blocco con robots.txt non impedisce l'indicizzazione se la pagina riceve link esterni — per quello serve noindex.
Hai bisogno di aiuto?
Se vuoi un sito SEO ottimizzato dal team di G Tech Group, scrivici tramite il modulo di contatto.