Crawl Budget
El crawl budget (presupuesto de rastreo) es la cantidad de páginas de un sitio que los buscadores están dispuestos y en condiciones de rastrear en un período de tiempo determinado. En sitios grandes, un mal uso del crawl budget puede hacer que páginas importantes tarden en ser rastreadas o indexadas.
Depende de dos factores: la capacidad de rastreo (cuánto puede rastrear el servidor sin sobrecargarse) y la demanda de rastreo (cuán interesado está el buscador en tus páginas, según su popularidad y frescura). Es relevante principalmente para sitios grandes; en sitios chicos casi nunca es una limitación real.
Ejemplo
Un ecommerce con millones de URLs generadas por filtros y combinaciones de productos puede agotar su crawl budget rastreando páginas de bajo valor, dejando fuera páginas de producto importantes.
Términos relacionados
Preguntas frecuentes
¿El crawl budget es un problema para sitios chicos?
Generalmente no, es una preocupación relevante solo para sitios con una gran cantidad de páginas.
¿Cómo optimizo mi crawl budget?
Bloqueando el rastreo de páginas de bajo valor (parámetros, filtros duplicados) vía robots.txt, y manteniendo un sitemap limpio y actualizado.
¿Un sitio más rápido mejora el crawl budget?
Sí, un servidor más rápido permite que el buscador rastree más páginas en el mismo tiempo sin sobrecargarlo.
