Connect with us

SEO

Gary Illyes explica sólo lo que debes saber acerca del Crawl Budget

Published

on

Gary Illyes explica sólo lo que debes saber acerca del Crawl Budget 1

En enero del 2017 Gary Illyes publicó en el blog para webmasters de Google lo que sería la definición, según sus creadores, del Crawl Budget o presupuesto de rastreo.

El texto inicia de esta manera:

«Recientemente, hemos escuchado una serie de definiciones para el «presupuesto de rastreo», sin embargo, no tenemos un solo término que describa todo lo que el «presupuesto de rastreo» significa externamente. Con este post vamos a aclarar lo que realmente tenemos y lo que significa para Googlebot.»

What Crawl Budget Means for Googlebot by Gary Illyes

Han pasado cerca de 3 años y aún, desde mi punto de vista, continúan los desaciertos en torno a esta definición.

Con la reciente actualización de Googlebot es posible que algunas cosas planteadas en el artículo de Gary cambien un poco, pero para bien, sobre todo en el trato hacia el contenido en JS.

¡El Crawl Budget existe!

Gary afirma que el presupuesto de rastreo es el resultado de dos factores determinantes para rastreo adecuado de todo nuestro sitio web.

Estos son:

1- Límite de velocidad de rastreo

«Esto representa el número de conexiones paralelas simultáneas que Googlebot puede utilizar para rastrear el sitio, así como el tiempo que tiene que esperar entre las tomas.»

Sin embargo, este factor puede estar condicionado por la salud del rastreo y el límite establecido por consola.

Salud del rastreo:

«Si el sitio responde muy rápidamente durante un tiempo, el límite aumenta, lo que significa que se pueden utilizar más conexiones para rastrear. Si el sitio se ralentiza o responde con errores del servidor, el límite se reduce y Googlebot gatea menos.»

En otras palabras, el estado de tu web puede afectar la experiencia de Googlebot, logrando que invierta menos tiempo en revisar toda tu página.

Límite establecido en la Consola de Búsqueda

«Los propietarios de sitios web pueden reducir el rastreo de su sitio por parte de Googlebot.»

Evidentemente, aquí Gary se refiere a la antigua versión de Google Search Console.

El segundo factor que condiciona tu Crawl Budget  es la demanda de rastreo.

2- Demanda de rastreo

En este punto coinciden muchos, digamos que es la mesa donde todos podemos sentarnos y compartir una misma opinión.

Si tu sitio web se actualiza constantemente tu demanda de rastreo e indexación será alta, eso parece estar claro y justifica que los sitios estáticos tengan una demanda de rastreo baja.

En ese sentido, Gary Comenta que en este punto existen «dos factores que juegan un papel importante en la determinación de la demanda de rastreo son:

Popularidad: Las URLs que son más populares en Internet tienden a ser rastreadas más a menudo para mantenerlas más frescas en nuestro índice.

Staleness: nuestros sistemas intentan evitar que las URLs se queden anticuadas en el índice.»

Por otro lado, añade que:

«Los eventos a nivel de todo el sitio, como los movimientos del sitio, pueden desencadenar un aumento de la demanda de rastreo con el fin de reindexar el contenido bajo las nuevas URL.»

Entonces, apoyados en la tasa de rastreo y la demanda de rastreo «podemos definir el presupuesto de rastreo como el número de URL que Googlebot puede y quiere rastrear.»

Advertisement
Click to comment

Reciente