Antes de comenzar con este post, debemos dejar claro como es el funcionamiento de Google mediante el cual rastrea y clasifica todas las páginas web en sus servidores.

Para ello vamos a comenzar imaginando que ya tenemos una página web terminada, pero que aún no aparece en Google.

Para el inicio de este proceso, Google utiliza los llamados rastreadores web (crawlers), que no son más que un software que va entrando a las páginas web siguiendo enlaces con la intención de recopilar todos los datos posibles.

Una vez que han recopilado cierta cantidad de datos, Google, en base a sus algoritmos y a sus parámetros clasifica las páginas web y las guarda en su índice para mostrarlas según su clasificación en las SERP´s de Google cuando un usuario realiza una búsqueda.

Parece un proceso bastante sencillo, pero resulta mucho más complicado. Una vez entendido cómo funciona Google, podemos empezar a explicar qué es el Crawl Budget.

 

¿Qué es el Crawl Budget?

Ahora que entendemos como funciona la indexación de contenidos en Google, podemos pasar a ver los rastreadores de Google (Crawl Budget) y cómo funcionan.

Por muy grande que parezca Google, sus recursos son finitos, por lo tanto Google asigna a sus rastreadores un tiempo determinado para que se paseen por tu web, por lo tanto debemos de optimizar bien nuestro Crawl Budget para no hacer perder el tiempo a Google en páginas que no nos interesa potenciar.

estadisticas de rastreo crawl budget

De hecho, en función de la calidad del contenido, de la velocidad de carga, del enlazado interno de la web y la autoridad de nuestras páginas determina la importancia (tiempo) que debe pasar cada crawler en cada página.

 

¿Cómo podemos optimizar nuestro Crawl Budget?

Como hemos dicho anteriormente, los recursos de Google no son infinitos, de ahí viene la importancia de optimizar el Crawl Budget. Existen diferentes maneras de optimizar la frecuencia de rastreo de una página web, a continuación veremos algunas de ellas:

  • Sitemap: El sitemap es el archivo que recoge todas las páginas de la web que nos interesa mostrar a Google, es una buena práctica para optimizar el Crawl Budge el ir actualizando nuestro sitemap en función de los nuevos contenidos que generemos en la web además de hacerle un “ping“ a Google a través de “Web Master Tools“ para que vuelva a revisar nuestro sitemap actualizado.

sitemap crawl budget

  • Robots.txt: El robots.txt es un archivo en el cual le podemos indicar a Google qué páginas nos interesa mostrar y cuales no. Esto es muy útil para optimizar el Crawl Budget ya que directamente le decimos a Google qué páginas tiene que ver lo que le permite ahorrar minutos de rastreo para otros contenidos más importantes.
  • Refrescar contenidos antiguos: Otra buena práctica para optimizar la frecuencia de rastreo es el ir actualizando contenidos antiguos que tengamos en la web, esto indica a Google que estamos refrescando contenidos antiguos por lo tanto los dotará de una mayor relevancia para sus crawlers.
  • Optimizar el enlazado interno: El mejorar nuestro enlazado interno permitirá a los crawlers moverse más fácilmente por nuestra web sin pasar por páginas de poca relevancia, esto aumenta tanto nuestro % de páginas relevantes como nuestra capacidad de Crawl Budget.
  • Errores 4XX y 5XX: Los errores de respuesta o de servidores influyen negativamente tanto en la experiencia de usuario como a los crawlers de Google, ya que desperdician el tiempo de rastreo en páginas con errores mientras que en las páginas importantes pasará menor tiempo.

errores crawl budget

 

Conclusiones…

Como hemos visto en este post, la frecuencia de rastreo es algo bastante importante para el SEO y es algo que muchas personas no tienen en cuenta, si podemos permitirnos optimizar el Crawl Budget de nuestra web a la larga nos será más sencillo posicionarnos por términos con más búsquedas ya que Google te dota de una mayor capacidad a la hora de indexar los contenidos, una ventaja muy buena frente a nuestros competidores

Crawl Budget, ¿qué es y cómo podemos optimizarlo?
Valora nuestro post

Share This