Guida alla Configurazione del robots.txt per WordPress

WordPress è uno dei CMS più utilizzati al mondo. Avere un file robots.txt ottimizzato per WordPress può aiutarti a migliorare l'indicizzazione del tuo sito da parte dei motori di ricerca, prevenendo allo stesso tempo l'indicizzazione di pagine e risorse non necessarie.

1. Cos'è il file robots.txt?

Il file robots.txt fornisce istruzioni ai motori di ricerca su quali pagine o file del tuo sito possono o non possono essere richiesti. Si trova alla radice del sito, per esempio: https://www.tuosito.com/robots.txt.

2. Creare un robots.txt per WordPress

Se non hai ancora un file robots.txt, puoi crearne uno manualmente. Basta creare un nuovo file di testo e rinominarlo come "robots.txt".

3. Configurazione di Base

Spiegazione:

• User-agent: *: Questa direttiva si rivolge a tutti i motori di ricerca.
• Disallow: /wp-admin/: Impedisce ai motori di ricerca di accedere alla dashboard di WordPress.
• Allow: /wp-admin/admin-ajax.php: Molte funzioni di WordPress e dei plugin fanno affidamento su admin-ajax.php per funzionare correttamente, quindi è importante permetterne l'accesso.

4. Altre Direttive Utili

Spiegazione:

• Blocco di accesso alle pagine di login e registrazione.
• Blocco di accesso ai file dei plugin.
• Blocco del file readme.html per evitare l'esposizione di informazioni sulla versione di WordPress.

5. Sitemap

Per aiutare i motori di ricerca a trovare e indicizzare il tuo contenuto più rapidamente, puoi indicare la posizione della tua sitemap nel robots.txt.

Molte estensioni SEO per WordPress, come Yoast o All in One SEO, generano automaticamente una sitemap per te. Assicurati di sostituire "www.tuosito.com" con l'URL reale del tuo sito.

6. Verifica e Test

Dopo aver configurato il tuo robots.txt, utilizza lo strumento di test del file robots.txt nella Google Search Console per assicurarti che tutto funzioni come previsto.

7. Caricamento del robots.txt

Una volta che hai il tuo file robots.txt pronto, caricalo nella directory principale del tuo sito web usando un client FTP o attraverso il file manager del tuo hosting.

Nota finale: La configurazione del robots.txt può variare in base alle esigenze specifiche del tuo sito. Se hai funzionalità personalizzate o plugin che richiedono accesso da parte dei motori di ricerca, potresti dover modificare le regole di conseguenza. È sempre una buona pratica testare frequentemente e monitorare il comportamento dei motori di ricerca sul tuo sito per assicurarti che tutto funzioni correttamente.

Ecco il mio file Robots che usiamo per i siti web che gestisco:

# Regole generali per tutti i motori di ricerca
User-agent: *

# Blocco della dashboard e dei file core di WordPress
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Blocco dei plugin, dei temi, degli aggiornamenti e delle directory di backup
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/backups/
Disallow: /wp-content/upgrade/

# Blocco dei file di sistema e delle risorse non essenziali
Disallow: /readme.html
Disallow: /license.txt
Disallow: /xmlrpc.php
Disallow: /wp-config.php
Disallow: /wp-includes/
Disallow: /cgi-bin/

# Blocco dei percorsi e delle funzionalità specifiche
Disallow: /trackback/
Disallow: /comment-page-
Disallow: /comments/
Disallow: /*?*
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /20*/
Disallow: /author/
Disallow: /*/embed/
Disallow: /*/feed/

# Paginazione, allegati e immagini
Disallow: /page/
Disallow: /attachment/

# Indicazione della sitemap
Sitemap: https://www.tuosito.com/sitemap.xml

# Per tutti i crawler
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/backups/
Disallow: /wp-content/upgrade/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /xmlrpc.php
Disallow: /wp-config.php
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /trackback/
Disallow: /comment-page-
Disallow: /*?*
Disallow: /*.php$
Disallow: /20*/
Disallow: /*/embed/
Disallow: /*/feed/
Disallow: /page/
Disallow: /attachment/

# Consentire ai principali motori di ricerca
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Slurp
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Baiduspider
Allow: /

User-agent: Yandex
Allow: /

# Blocco di bot noti per essere dannosi o sospetti
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: Uptimebot
Disallow: /

User-agent: rogerbot
Disallow: /