Saltar al contenido
Codif铆ca.me | Desarrollo web | Programaci贸n

C贸mo hacer el fichero Robots.txt Opencart

18 abril, 2014

El fichero Robots.txt 聽limita o permite a los spider聽o bot recoger informaci贸n de tu web, la mayor parte de las veces se usa para indexar contenido, conocer la estructura de la web, ver que ficheros tiene la web, etc.

Muchas veces no nos interesa que los robots naveguen por toda la estructura de directorios del servidor, principalmente porque realizan peticiones al servidor y el servidor consume ancho de banda in煤til. Otras veces no queremos que navegue por algunos directorios porque no queremos que indexe ese contenido.

Para opencart yo suelo utilizar un fichero robots similar a este:

 

User-Agent: *
Crawl-delay: 30
Disallow: /admin/
Disallow: /cache/
Disallow: /library/
Disallow: /system/
Disallow: /catalog/
Disallow: /download/
Disallow: /image/
Disallow: /cgi-bin/
Disallow: /vqmod
Disallow: /*.js$
Disallow: /*&limit
Disallow: /*&sort
Disallow: /*?route=checkout/
Disallow: /*?route=account/
Disallow: /*?route=product/search
Disallow: /*?route=affiliate/
Allow: /
 
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /

En este fichero bloqueamos el paso a algunas carpetas o directorios que no es necesario que pasen los robots, adem谩s bloqueamos el paso a los archivos js, y tambi茅n ralentizamos las peticiones al servidor, ya que muchas veces los robots no paran de enviar solicitudes recargado el servidor.

Esta linea “Crawl-delay: 30” sirve para ralentizar el paso de los robots, hay muchos robots que env铆an m煤ltiples peticiones en segundos, que recargan nuestro servidor, con esto lograremos que no se tomen un tiempo antes de una nueva petici贸n.

Si quer茅is que Google os indexe las im谩genes ten茅is que quitar esta linea
Disallow: /image/ o permitirle a Google que pase por aqu铆.