C’è del crawl-delay sui server SiteGround?

Non applichiamo nessuna direttiva di crawl delay predefinita sui nostri server.

Puoi decidere quale crawl-delay, se vuoi, deve essere applicato al tuo sito modificando il tuo file robots.txt. Il Crawl-Delay può essere impostato aggiungendo una linea con questa sintassi nel file:

Questo istruisce alcuni bot dei motori di ricerca (come Yandex, Yahoo!, Bing, etc) sull’intervallo minimo in secondi che tu concedi tra le loro richieste. Nell’esempio qui sopra, l’istruzione è che lo stesso bot dovrebbe mantenere un intervallo di 1 secondo tra le singole visite fatte sulle pagine. L'obiettivo di questa linea è di evitare che il tuo sito sia indicizzato in maniera troppo aggressiva, dato che questo può causare picchi problematici nell’utilizzo delle risorse del tuo account o potrebbe richiedere un ammontare di risorse non realmente necessario.

Nota che Google non prende in considerazione la direttiva di delay. Il crawl-rate di Googlebot può essere cambiato solo tramite Google Webmaster Tools. Se vuoi regolarlo, puoi trovare le istruzioni su come cambiare il crawl-rate di GoogleBot.

Hai trovato utile quest'articolo?