Il bot MSN o BING bot visita (crawl) il tuo sito per indicizzarne i contenuti e mostrare i risultati sotto il motore di ricerca Bing.
Bing supporta le direttive del Robots Exclusion Protocol (REP) che possono essere elencate nel robots.txt del sito.
Il crawl rate di questo bot può essere controllato usando questo file robots.txt. Per diminuire il crawl rate dovresti aggiungere il seguente contenuto all’interno del file:
User-agent: bingbot
Crawl-delay: 1
I seguenti due crawlers sono usati per alcuni compiti di crawling: are also used for some crawling duties: MSNBot (risorse generali) e MSNBot-Media (immagini e video).
Gli user agent corrispondenti sono:
msnbot
msnbot-media
Bing raccomanda di usare il valore più basso possibile per il crawl-delay. Ecco una lista di valori che puoi usare sul tuo sito:
- No crawl delay set – Normale
- 1 –Lento
- 5 – Molto Lento
- 10 – Estremamente Lento
Un metodo alternativo di gestire il crawl rate per Bing sui tuoi siti è di registrarsi su Bing Webmaster Tools e configurare i settings lì.