Este es otro factor muy importante en nuestra optimización SEO de nuestra web.
¿Qué es el fichero robots.txt y cuál es su funcionalidad?
El fichero robots.txt es un fichero que mediante diferentes directivas se utiliza para indicar a los robots de los buscadores (o no buscadores) por donde pueden explorar y navegar nuestra web y por donde no deben navegar.
El objetivo principal del fichero robots.txt es el de ahorrar tiempo a los robots de los buscadores que recorren la web y evitar que indexen contenido que no deben indexar. Como se comentó en el apartado de cómo funciona Google, los buscadores tienen sus bots que se encargan de rastrear constantemente las webs que están en Internet.
Para entender la utilidad de este fichero debemos saber que un buscador como Google dedica sólo un determinado espacio de tiempo por web, el cual será mayor o menos en base a la importancia de la web. Si nuestra web no tiene muy buena reputación, puede que el bot sólo dedique 3 segundos a leer nuestra web, en cambio si nuestra web es relevante, puede que dedique hasta minutos.
El objetivo del fichero robots.txt, como el sitemap.xml que veremos más adelante, es el de optimizar el tiempo que el bot dedica a recorrer nuestra web con el objetivo de que tarde el menor tiempo posible y siempre en cada iteración pueda recorrer toda nuestra web. Como comprenderéis, si conseguimos ahorrar tiempo a los bots, estos lo agradecerán y premiarán nuestra web, pues tendrán más tiempo para recorrer más webs.
Debemos saber que el fichero robots.txt puede ser ignorado por los cientos de robots con diferentes propósitos que recorren todos los días nuestras webs. No todos los robots que rastrean nuestra web son de buscadores y algunos tienen fines de SPAM o búsqueda de vulnerabilidades.
El fichero robots.txt nos permitirá indicar a los robots que páginas deben rastrear y cuáles no. Además, podremos indicar qué robots queremos que rastreen nuestra web y cuáles no. Finalmente, es muy importante que nuestro fichero robots.txt le indique a los bots donde está nuestro sitemap.xml. Para ello se utiliza la siguiente sintaxis:
Con la sentencia user-agent: podremos indicar para que robot son las siguientes instrucciones.
Con la sentencia allow: indicaremos cuales son los directorios por los que el robot puede navegar.
Con la sentencia disallow: indicaremos cuales son los directorios por los que el robot indicado en el user-agent no pueden navegar.
Sitemap: indicará el directorio en el que se encuentra el sitemap.xml
Todas las urls que introduzcamos en este fichero podrán utilizar patrones y caracteres comodines que nos ayudarán a simplificar el contenido del fichero robots.txt.
El carácter * indica cualquier tipo de patrón.
El carácter ? indica cualquier url que tenga interrogaciones (parámetros)
El $ indica el final de las urls.
Por ejemplo:
User-agent: * Disallow: /basura* Disallow: *? Allow: /* Disallow: admin$
Este ejemplo solicita a todos los robots que no naveguen por urls que empiecen por basura, que tengan parámetros y que terminen por admin. Para todas las demás, deberán recorrer todas las páginas.
El fichero robots.txt deberá desplegarse en el directorio raíz de nuestra web: www.dominio.com/robots.txt
Para más información os recomiendo leer la siguiente url con información más detallada sobre el robots.txt.
Una de las grandes confusiones que tiene mucha gente con el robots.txt y que debemos aclarar en esta sección es que el fichero robots.txt no elimina páginas del índice de Google. Si la página ya ha sido indexada y Google la está mostrando, el decirle mediante robots.txt que no rastree esa página no provocará que Google la elimine del índice.
Cómo habéis podido ver tener el fichero robots.txt y configurarlo bien es una tarea muy importante en nuestra optimización SEO. Si tenéis alguna duda o sugerencia no dudéis en comentar.
