Saltar al contenido
Codifíca.me | Desarrollo web | Programación

Cómo hacer el fichero Robots.txt Opencart

18 abril, 2014

El fichero Robots.txt  limita o permite a los spider o bot recoger información de tu web, la mayor parte de las veces se usa para indexar contenido, conocer la estructura de la web, ver que ficheros tiene la web, etc.

Muchas veces no nos interesa que los robots naveguen por toda la estructura de directorios del servidor, principalmente porque realizan peticiones al servidor y el servidor consume ancho de banda inútil. Otras veces no queremos que navegue por algunos directorios porque no queremos que indexe ese contenido.

Para opencart yo suelo utilizar un fichero robots similar a este:

 

User-Agent: *
Crawl-delay: 30
Disallow: /admin/
Disallow: /cache/
Disallow: /library/
Disallow: /system/
Disallow: /catalog/
Disallow: /download/
Disallow: /image/
Disallow: /cgi-bin/
Disallow: /vqmod
Disallow: /*.js$
Disallow: /*&limit
Disallow: /*&sort
Disallow: /*?route=checkout/
Disallow: /*?route=account/
Disallow: /*?route=product/search
Disallow: /*?route=affiliate/
Allow: /
 
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /

En este fichero bloqueamos el paso a algunas carpetas o directorios que no es necesario que pasen los robots, además bloqueamos el paso a los archivos js, y también ralentizamos las peticiones al servidor, ya que muchas veces los robots no paran de enviar solicitudes recargado el servidor.

Esta linea “Crawl-delay: 30” sirve para ralentizar el paso de los robots, hay muchos robots que envían múltiples peticiones en segundos, que recargan nuestro servidor, con esto lograremos que no se tomen un tiempo antes de una nueva petición.

Si queréis que Google os indexe las imágenes tenéis que quitar esta linea
Disallow: /image/ o permitirle a Google que pase por aquí.