Come diminuire il crawl rate del bot di Bing


Il bot MSN o BING bot visita (crawl) il tuo sito per indicizzarne i contenuti e mostrare i risultati sotto il motore di ricerca Bing.

Bing supporta le direttive del Robots Exclusion Protocol (REP) che possono essere elencate nel robots.txt del sito.

Il crawl rate di questo bot può essere controllato usando questo file robots.txt. Per diminuire il crawl rate dovresti aggiungere il seguente contenuto all’interno del file:

User-agent: bingbot

Crawl-delay: 1

I seguenti due crawlers sono usati per alcuni compiti di crawling: are also used for some crawling duties: MSNBot (risorse generali) e MSNBot-Media (immagini e video).

Gli user agent corrispondenti sono:

msnbot

msnbot-media

Bing raccomanda di usare il valore più basso possibile per il crawl-delay. Ecco una lista di valori che puoi usare sul tuo sito:

  • No crawl delay set – Normale
  • 1 –Lento
  • 5 – Molto Lento
  • 10 – Estremamente Lento

Un metodo alternativo di gestire il crawl rate per Bing sui tuoi siti è di registrarsi su Bing Webmaster Tools e configurare i settings lì.


Hai trovato utile quest'articolo?