Recordad que me podéis encontrar en Seo Profesional el Podcast
Podéis descargar la APP gratuita y sin publicidad en:
Que Es Crawl Budget
El tiempo que google pasa en tu página web.
Dependido de la accesibilidad de la web, autoridad y velocidad Google dará un Crawl budget menor o superior.
Beneficios para el SEO
Está estrechamente relacionado que las páginas con más trafico son las páginas que más visita el BOT o el Crawler de Google..
¿Se puede indicar a Google por dónde tiene que pasar? y debemos hacerlo
A través de la arquitectura, la profundidad de los enlaces con etiquetas Follow nofollow. Con index no index
Posibles problemas de rastreo:
- DNS
- SERVIDOR
- Generación de Urls dinámicas
- Tiempo de espera agotado
- Cabeceras incompletas
- Sin respuesta
- Robots.txt
- Flash, JS
Optimizar el Crawl budeget
Tener una arquitectura correcta y clara.
Utilizar el enlazado interno de forma correcta
Evitar errores 404.
Excluir las páginas que no queremos rastrear a través del fichero robots.txt
Páginas eliminadas pero no borradas del Sitemap
Páginas no index pero no excluidas
Paginaciones infinitas por ejemplo el Calendario
Detectar el número de páginas que están recibiendo tráfico orgánico.
Hacer uso adecuado de los metadatos y los atributos noindex & nofollow.
No tener contenido duplicado, el Bot es capaz de detectar si se está ofreciendo el mismo contenido en otras páginas de nuestro sitio y darnos una frecuencia de rastreo inferior al detectar el mismo contenido en varias páginas dentro de nuestro sitio.
El bloquear una página a través del fichero robots.txt puede ser un tiempo muy preciado que la araña del buscador no perderá en entrar en esa página y rastrearla.
Es necesario tener un mapa web en formato XML (Sitemap) con toda la lista de URL que queremos indexar y las más importantes.
El Sitemap tiene un límite de 50.000 urls.
https://www.google.com/webmasters/tools/googlebot-report
Desde Search Console podemos limitar la frecuencia de rastreo.
Deja una respuesta