Todo lo que tienes que saber sobre robots.txt

Buenos días oyentes. Me podéis encontrar en Podcast seo

¿Qué es?

Es un archivo de texto plano que recomienda unas indicaciones a crawlers y bots de los buscadores

Es un archivo público que se encuentra en midominio.com/robots.txt

El archivo prohíbe el acceso o permite a leer el contenido

Hay que tener cuidado con lo que se pone ya que no hay privacidad ninguna.

Si lo tienes mal la puedes liar muy gorda, pero si lo tienes de forma correcta no vas a posicionar mejor que tu competencia.

Comprobar su funcionamiento en Webmaster Tools

Google, como otros buscadores, utiliza sus propias arañas para ir rastreando todas las páginas webs.

Esto no significa que estos Bots vayan a cumplir las recomendaciones de este archivo.

User-agent: *

Disallow:

User-agent – Indica qué tipo de robot debe cumplir con las directivas que se indiquen a continuación.
Disallow – Deniega el acceso a un directorio o página concreta.
Allow – Funciona al contrario que la directiva Disallow, permitiendo el acceso a directorios y páginas. Se puede utilizar para sobrescribir la directiva Disallow parcial o totalmente.
Sitemap – Indicar la ruta donde se encuentra un mapa del sitio en XML.
Crawl-delay – Indica al robot el número de segundos que debe esperar entre cada página. Puede ser útil en casos en los que se necesita reducir la carga del servidor

No.

Muestro el siguiente ejemplo