Google utiliza un software denominado "rastreador web" para descubrir páginas web de dominio público. El rastreador másconocido es "Googlebot". Los rastreadores consultan las páginas web y siguen los enlaces que aparecen en ellas, al igual que haría cualquier usuario al navegar por el contenido de laWeb. Pasan de un enlace a otro y recopilan datos sobre esas páginas web que proporcionan a los servidores de Google.
El proceso de rastreo comienza con una lista de direcciones web derastreos anteriores y de sitemaps proporcionada por los propietarios de sitios web. Al acceder a estos sitios web, nuestros rastreadores buscan enlaces a otras páginas para visitarlas.El software presta especial atención a los nuevos sitios, a los cambios en los sitios actuales y a los enlaces inactivos.
Los programas informáticos determinan qué sitios rastrear,con qué frecuencia y cuál es el número de páginas que se deben explorar en cada sitio. Google no acepta pagos para rastrear un sitio con más frecuencia. Nos preocupamos más por tener losmejores resultados posibles porque, a largo plazo, es lo mejor para los usuarios y también para nosotros.
Opciones para propietarios de sitios web
La mayoría de sitios web nonecesita establecer restricciones para rastrear, indexar o publicar contenido, por lo que sus páginas pueden aparecer en los resultados de búsqueda. Dicho esto, los propietarios de lossitios tienen muchas opciones sobre cómo Google rastrea e indexa sus sitios a través de las Herramientas para webmasters de Google y un archivo llamado "robots.txt". Con este archivo, lospropietarios de sitios pueden indicar que prefieren que Googlebot no rastree sus sitios o bien proporcionar instrucciones más específicas para que se procesen las páginas de sus sitios.
Regístrate para leer el documento completo.