SEO y SEM Profesional

Servicios de posicionamiento Web

  • Google Ads
  • SEO
  • Quién Soy
  • Podcast
  • Contacto
Estás aquí: Inicio / Podcast / 62. Todo lo que tienes que saber sobre robots.txt

27 abril, 2016 Por Juan Carlos Díaz

62. Todo lo que tienes que saber sobre robots.txt

https://seoprofesional.net/wp-content/uploads/2016/04/62.-todo-lo-que-tienes-que-saber-sobre-robots-txt.mp3

Buenos días oyentes. Me podéis encontrar en Podcast seo

 

¿Qué es?

Es un archivo de texto plano que recomienda unas indicaciones a crawlers y bots de los buscadores

Es un archivo público que se encuentra en  midominio.com/robots.txt

El archivo prohíbe el acceso o permite a leer el contenido

Hay que tener cuidado con lo que se pone ya que no hay privacidad ninguna.

ejemplo de privacidad robots.txt

 

¿Qué beneficios tiene para el SEO?

Si lo tienes mal la puedes liar muy gorda, pero si lo tienes de forma correcta no vas a posicionar mejor que tu competencia.

Comprobar su funcionamiento en Webmaster Tools

¿Qué son los Bots, Crawlers y Spiders?

Google, como otros buscadores, utiliza sus propias arañas para ir rastreando todas las páginas webs.

Esto no significa que estos Bots vayan a cumplir las recomendaciones de este archivo.

 

Directrices más comunes

User-agent: *

Disallow:

  • User-agent – Indica qué tipo de robot debe cumplir con las directivas que se indiquen a continuación.
  • Disallow – Deniega el acceso a un directorio o página concreta.
  • Allow – Funciona al contrario que la directiva Disallow, permitiendo el acceso a directorios y páginas. Se puede utilizar para sobrescribir la directiva Disallow parcial o totalmente.
  • Sitemap – Indicar la ruta donde se encuentra un mapa del sitio en XML.
  • Crawl-delay – Indica al robot el número de segundos que debe esperar entre cada página. Puede ser útil en casos en los que se necesita reducir la carga del servidor

 

¿Robots.txt impide la indexación?

No.

Muestro el siguiente ejemplo

ejemplo de indexacion robots.txt

Archivado en: Podcast

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

podcast de seo profesional (SEO)
descargate el podcast de seo profesional en itunes

¿Hablamos?

    Los campos marcados con un * son requeridos

    Nombre *

    Correo electrónico *

    Teléfono *

    Mensaje *

    Al usar este formulario accedes al almacenamiento y gestión de tus datos por parte de esta web.

    Copyright © 2023 · SEO Profesional ahora es convertiam Aviso legal y protección de datos