Per modificare la velocità con cui Googlebot esegue il crawl sul tuo sito web, dovresti prima registrarti a:
http://www.google.com/webmasters/tools
Dopo aver creato il tuo account, seleziona il tuo sito web e vai a Site configuration -> Crawl Rate -> Limit Google's maximum crawl rate. Qui troverai un cursore attraverso il quale puoi impostare la frequenza di crawl.
Per ridurre la velocità di crawl di Googlebot, spostare il cursore a sinistra (Low). Per aumentare la velocità di crawl, spostalo a destra (High).
Ulteriori informazioni sulla frequenza di crawl di Googlebot possono essere trovate nella loro pagina ufficiale.