Crawl Budget, NO (siempre) importa optimizarlo, pero ¡Te enseño a optimizarlo!

¡Hola Soywebmasters!

¡Aquí David Ayala de nuevo!

Quiero empezar este artículo con un resumen del mismo: No siempre es importante optimizar el Crawl Budged, pero te enseño a optimizarlo porque es muy importante. Boomm!! Me explota la cabeza!!

¡Qué mejor que una contradicción para empezar una mañana de viernes!

Así que… ¡Adelante!

Crawl Budget, que es

Hablar de Crawl Budget y presupuesto de rastreo es lo mismo, pero realmente, ¿Que es el crawl budget El presupuesto de rastreo de una web es el tiempo que determina utilizar Google para rastrear esa web en concreto, es decir, le asigna X tiempo para rastrear el contenido de tu web.

Límite de nuestro presupuesto de rastreo

Al tener asignado un presupuesto determinado para nuestra web, tenemos que ser conscientes de que una vez gastamos ese presupuesto de rastreo, Google dejará de rastrear y por lo tanto de indexar contenidos y cambios de tu web, por lo tanto, es muy importante saber optimizar ese Crawl Budget para no desaprovechar ni un segundo del mismo.

¿Sé puede aumentar el presupuesto de nuestra web? Por supuesto que sí, no es la tarea más sencilla del mundo en algunas ocasiones, pero se puede conseguir aumentar. Sobre esto os hablaré un poco más adelante en este mismo post.

Problemas que puede ocasionar tener un presupuesto bajo

Muchas personas dicen, bueno no tengo prisa, si Google no rastrea mi web hoy, ya la rastreará mañana, y si no la semana que viene.

¡Error!

Necesitamos que Google rastree nuestra web con una buena frecuencia por varios motivos:

-Si alguien nos copia y Google indexa el contenido en su web antes que en la nuestra, es posible que determine que nosotros le estamos copiando el contenido en vez de al revés.

-Si tenemos una frecuencia de publicación de artículos alta, es posible que cuando Google vuelva a visitar la home de nuestra web ya no estén esos nuevos artículos en ella y estén ya en páginas anteriores de la paginación y por lo tanto es posible que no llegue a encontrar todos los artículos nuevos, rastrearlos e indexarlos.

-Si tenemos una frecuencia de rastreo baja, cuando hagamos algún cambio u optimización a nivel on page en nuestra web, google tardará mucho en verla y por lo tanto en surtir efecto.

-Si Google tarda mucho más en encontrar nuestros contenidos, también tardaremos más en rankear por que Google prácticamente no sabrá ni que existen.

Cómo se comporta Google en nuestra web

Si hablamos de crawl budget, es muy importante poder saber como se comporta Google en nuestra web, exactamente a que zonas le está dando más importancia y está rastreando más, que otras zonas prácticamente no rastrea y realmente nos interesaría que lo hiciera, etcétera.

Esta tarea puede parecer un poco abstracta ya que ¿Cómo podemos comprobarlo?

Realmente no es tan complicado, por un lado necesitaremos tener los logs del servidor, cosa que es bastante fácil de conseguir si usamos un hosting con cpanel (la gran mayoría lo usan).

Tan solo tendremos que acceder vía ftp a nuestro hosting y en la raiz deberíamos de tener una carpeta llamada “logs”. Dentro deberíamos encontrar tanto los logs del ftp como los logs de nuestra web en formato .gz.

Ese fichero aunque lo abramos nos encontraremos con lineas y lineas de texto escrito que para interpretar nos podríamos volver locos.

Pero… ¡No problemo! Tenemos Screaming Frog Log Analyser para hacer este trabajo y poder sacar los datos de esos logs de una manera mucho más amigable.

Ahora que ya tenemos Screaming listo, ¿Qué podremos medir con él que nos interese?

-Zonas por las que accede Google a nuestra web.
-A qué zonas accede más y a que zonas accede menos.
-Frecuencia de navegación.
-Secciones que remiten error.
-Secciones que están generando una redirección.
-Accesos de GoogleBot Desktop VS GoogleBot Mobile.
-Y muchos datos más que pueden interesarnos.

¿Cómo optimizar el presupuesto de rastreo?

Antes de ponernos a aumentar el presupuesto de rastreo que tenemos destinado para nuestra web, es importante que aprovechemos al 100% el que ya tenemos.

Seguir la filosofía del menos es más

Si queremos optimizar el presupuesto de rastreo tenemos que tener en cuenta que debemos evitar a toda costa que el Bot de Google pierda el tiempo con contenidos inútiles.

Una de las grandes frases que podríamos aplicar es la de “menos es más”. ¿Qué quiere decir esto? Qué si tienes 50.000 páginas indexadas en tu web, quizás estés desaprovechando el Crawl Budget en URLs que no sirven para nada y que no van a posicionar nunca.

¿Solución? Elimina todo el contenido que veas inútil en tu web y sobre todo que no está rankeando, no va a rankear y no aporta nada al usuario.

¿Qué contenido puede ser susceptible de ser borrado? En primer lugar todo el contenido duplicado (paginaciones, parámetros etcétera) de la web bórralo o limita el paso de Google Bot por que no te va a ayudar en nada más que a hacer perder tiempo al Bot.

Elimina contenidos con canibalización, no tiene sentido que tengas contenidos que intenten competir por las mismas keywords (en la mayoría de los casos) y aparte de problemas de canibalización perderás parte de tu presupuesto de rastreo.

Elimina los contenidos de poco valor de cara a los usuarios y que te hagan empeorar métricas de usuario y CTR, aprovecharás para mejorar la calidad de tu contenido y de paso el Crawl Budget en contenidos de poco valor.

Comprueba que artículos no están rankeando y llevan ya mucho tiempo en tu web, quizás sea hora de hacer limpieza de contenidos que no te van a traer tráfico.

Borrando todo este tipo de contenido conseguiremos que el tiempo que empleaba el Bot de Google en rastrearlo sin sentido, lo aplique al rastreo de otros contenidos nuevos u otros contenidos ya existentes.

Del mismo modo es algo muy útil en webs con mucho contenido actualizado a diario.

Mejora de la velocidad de carga

Otro consejo para optimizar el presupuesto de rastreo es la mejora de la velocidad de carga de nuestra web, ya que si conseguimos que nuestras URLs carguen más rápido, en el mismo lapso de tiempo conseguiremos rastrear muchas más URLs, lo cual será de nuevo una gran mejora.

Es importante que trabajemos el WPO para mejorar todo esto, pero como es algo bastante extenso, dará para un post completo próximamente (os adelanto que hablaré sobre optimización de código, optimización de CSS, JS, como hacer que funcione mucho más rápido WordPress y… ¡Muchas cosas más!)

También hay que tener en cuenta que el servidor que tengamos contratado tendrá relación directa con la velocidad de nuestra web, por eso es importante también contratar un hosting en condiciones. Si aun no lo tienes, aprovecho para recomendarte Raiola.

Errores y redirecciones

Del mismo modo, algo esencial para no hacer perder tiempo a Google Bot es el no generar códigos de error ni redirecciones internas dentro de nuestra web.

Cualquier tipo de error o redirección hará que Google Bot emplee más tiempo de lo necesario en escanear esas URLs y por lo tanto estaremos perdiendo un tiempo muy valioso.

¿Cómo aumentar el presupuesto de rastreo?

En este caso lo que queremos no es optimizarlo, si no conseguir aumentar el tiempo que destina Google Bot a rastrearnos. ¿Es posible? Sin lugar a dudas sí.

Una de las opciones que tenemos en Search Console es la de sugerir aumentar la frecuencia de rastreo, sin embargo os puedo asegurar que esto no sirve para nada.

¿Por qué? Por que al final siempre es Google quien va a determinar si te da más o menos presupuesto de rastreo y por lo tanto por mucho que le sugieras el aumentar la frecuencia de rastreo en Search Console, no te va ha hacer ni caso.

Otra cosa es que le sugirieras una frecuencia menor, en tal caso si que te puede funcionar por que así conseguirías que ahorre recursos Google Bot, sin embargo sería una tontería hacer esta acción.

Entonces, ¿Cómo podemos aumentar nuestro Crawl Budget?

Aumentar la autoridad de nuestra web para aumentar el Crawl Budget

Una forma de aumentar el presupuesto de rastreo es la de aumentar la autoridad de nuestra web. Si aumentamos la autoridad de una URL en concreto de nuestra web, conseguiremos un mayor presupuesto de rastreo para esta URL.

¿Cómo conseguimos aumentar esa autoridad? Tendremos que recurrir a mejorar su linkbuilding, mejorar métricas de usuario, etcétera, con el fin de conseguir que aumente esa autoridad y de paso, que también mejore su posicionamiento.

Esto hará que Google determine que es una URL con mucho más peso en nuestra web y por lo tanto le comenzará a destinar más presupuesto de rastreo.

Actualización de contenidos para aumentar nuestro Crawl Budget

Otra manera de aumentar el presupuesto de rastreo es la actualización de contenidos, ya sea metiendo artículos nuevos en la web o directamente actualizando el contenido de los artículos ya existentes.

¿Por qué? Esto hará ver a Google Bot que tienes siempre contenido nuevo y por lo tanto tendrá que aumentar el Crawl Budget para poder rastrear todo tu nuevo contenido. Obviamente esto tiene que ser algo regular y no algo puntual de varios días.

Crawl Budget: Me importas, pero paso de ti

Bueno, ahora vamos a lo que os interesa, ¿Estoy loco o tiene sentido esta contradicción? (Os hago un spoiler, ¡Ambas!)

Parece que el tema del presupuesto de rastreo, es algo que se ha puesto muy de moda en estos últimos meses, sin embargo no en todos los casos tiene sentido trabajarlo.

¿Por qué paso de ti?

Por ejemplo, una web de fontanería de 10 URLs… ¡No tiene sentido ponernos a mirar logs y trabajar el crawl budget de esa web! Si Google no rastrea correctamente esas 10 URLs es que realmente lo has hecho muy mal. Además, ¿Qué crawl vas a ahorrar ahí?

Es por ello por lo que os digo que si tenéis un proyecto pequeño, no os obsesionéis con el tema del crawl budget, no es algo que os vaya a dar grandes mejoras en esos casos.

No siempre es interesante e importante trabajar el Crawl Budget. Clic para tuitear

¿Por qué me importas?

Otro caso muy diferente es cuando nos encontramos con webs de tamaño medio o grande.

Por ejemplo una web con 10.000 URLs, aquí sí que podemos empezar a trabajar los logs de la web y empezar a ahorrar crawl por muchas zonas. Además en este caso sí que será interesante por que Google no va a rastrear la totalidad de todas esas URLs constantemente y puede que haya algunas zonas que nos interese que rastree más, otras que menos, etcétera.

En estos casos por lo tanto, sí que nos interesará trabajar el crawl budget de nuestra web.

Conclusiones sobre Crawl Budget

Quizás el Crawl Budget no sea un factor directo mediante el cual mejorar nuestro posicionamiento en Google, pero sí que es un factor indirecto mediante el cual podemos conseguir grandes mejoras, por eso es muy importante tenerlo en cuenta, saber optimizarlo y controlarlo (en la medida de lo posible claro está).

Además hay que ser realistas y saber en qué casos es interesante trabajarlo y en que casos no. ¿Qué opinas tu sobre todo esto? ¡Quiero tu opinión y que me dejes también una contradicción! 🙂

RECIBIR NOVEDADES POR EMAIL