06-02-2010 21:42
viendo que un sitio mio subia en consumo pero no en visitas, me puse a ver los logs de visitas y encontré varios bots, en realidad muchos, que estaban indexando todo el sitio. Algunos indexando a razón de 2 o 3 paginas por segundo; lo que hace que al sumarse todos los bots el consumo de recursos fuera grande.
Al ver los bots me di cuenta que hay varios nuevos y algunos muy poco útiles como Yandex, un buscador ruso, de donde obtengo 0 visitas y dudo que algún ruso busque en castellano, mientras yo estaba soportando las visitas de este bot.
En resumen
mantengan actualizado el archivo robots.txt, revisando sus estadisticas cada tanto para ver que nuevos e inutiles bots están visitando tu web.
una pequeña muestra de lo que me sirvió para sacar el buscador ruso
Codigo Fuente :
User-agent: Yandex
Disallow: /
User-agent: *
Crawl-Delay: 2
