Crawling
Crawling (rastreo) es el proceso mediante el cual los buscadores usan programas automatizados (como Googlebot) para descubrir y recorrer las páginas de un sitio web siguiendo enlaces, antes de poder indexarlas.
El rastreo es el primer paso del proceso: sin rastreo no hay indexación. Los bots descubren páginas nuevas siguiendo enlaces (internos y externos) o a través de un sitemap XML enviado en Search Console. El archivo robots.txt controla qué partes del sitio pueden o no ser rastreadas.
Ejemplo
Cuando publicás un post nuevo y lo enlazás desde la home o desde otro artículo, le das al rastreador una vía para descubrirlo más rápido, en vez de esperar a que lo encuentre por su cuenta.
| Etapa | Qué hace |
|---|---|
| Crawling | El bot descubre y descarga las páginas |
| Rendering | El bot ejecuta el JavaScript para ver el contenido final |
| Indexación | El buscador guarda la página en su base de datos para poder mostrarla en resultados |
Términos relacionados
Preguntas frecuentes
¿Rastreo e indexación son lo mismo?
No, son etapas distintas: primero se rastrea una página, y solo si Google decide que vale la pena, la indexa.
¿Cómo evito que se rastreen ciertas páginas?
Usando el archivo robots.txt para bloquear el acceso a esas rutas.
¿Un sitemap XML es obligatorio?
No es obligatorio, pero ayuda a que los buscadores descubran tus páginas más rápido y de forma más completa.
