Buenos días oyentes. Me podéis encontrar en Podcast seo
¿Qué es?
Es un archivo de texto plano que recomienda unas indicaciones a crawlers y bots de los buscadores
Es un archivo público que se encuentra en midominio.com/robots.txt
El archivo prohíbe el acceso o permite a leer el contenido
Hay que tener cuidado con lo que se pone ya que no hay privacidad ninguna.
¿Qué beneficios tiene para el SEO?
Si lo tienes mal la puedes liar muy gorda, pero si lo tienes de forma correcta no vas a posicionar mejor que tu competencia.
Comprobar su funcionamiento en Webmaster Tools
¿Qué son los Bots, Crawlers y Spiders?
Google, como otros buscadores, utiliza sus propias arañas para ir rastreando todas las páginas webs.
Esto no significa que estos Bots vayan a cumplir las recomendaciones de este archivo.
Directrices más comunes
User-agent: *
Disallow:
- User-agent – Indica qué tipo de robot debe cumplir con las directivas que se indiquen a continuación.
- Disallow – Deniega el acceso a un directorio o página concreta.
- Allow – Funciona al contrario que la directiva Disallow, permitiendo el acceso a directorios y páginas. Se puede utilizar para sobrescribir la directiva Disallow parcial o totalmente.
- Sitemap – Indicar la ruta donde se encuentra un mapa del sitio en XML.
- Crawl-delay – Indica al robot el número de segundos que debe esperar entre cada página. Puede ser útil en casos en los que se necesita reducir la carga del servidor
¿Robots.txt impide la indexación?
No.
Muestro el siguiente ejemplo
Deja una respuesta