buscadores

Historia de los Buscadores
20.1. de 1993 a 2008
La web se comenzó a idear en 1980 cuando Tim Berners-Lee se plantea lo que más adelante, 10 años después, sería lo que hoy conocemos como sitiosweb. A finales de 1990 comenzó a aplicar sus ideas creando el primer servidor web en NeXT, el primer navegador web llamado WorldWideWeb (que también era editor HTML) y la primera página web…
Una vezcomenzó la web a tener contenido, en junio de 1993 y desde el MIT (con Matthew Gray a la cabeza), se desarrolló World Wide Web Wanderer, un robot de búsqueda creado en Perl que pretendía medir el tamañode la red. Ese robot se amplió pudiendo leer direcciones URL creándose así Wandex, el que se podría considerar el primer buscador de Internet, y que tuvo grandes problemas de infraestructura yvelocidad cuando alcanzó los cientos de visitas diarias, ya que su robots conseguía “tirar” los sitios que indexaba.
El siguiente buscador (quizá mejor llamarlo directorio) fue Aliweb (Archie Like Indexingon the Web), también apareció en octubre de 1993 y todavía está en marcha. Creado por Martijn Koster, lo que hacía era indexar los metatags de las páginas que se le daban a su índice, es decir, que notenía un robot de búsqueda que consumiera gran cantidad de ancho de banda como Wandex.
Tras estos primeros procesos de rastreo en la red, Martijn Koster propuso unas sugerenciaspara lo que sería elfichero robots.txt que limita la acción de los robots de búsqueda en los sitios web. En ese momento se comenzaba a poder detectar cada uno de los robots mediante su agente, se sugería usar siempre unaDNS única, filtrar determinados lugares del sitio para que no fuera accesible…
Aquí comenzaron a desarrollarse los primeros robots (arañas) como Jumpstation que indexaba el título, URL y cabeceradel sitio, al igual que World Wide Web Worm, creado por Oliver Mc.Bryan en 1994 (y comprado en 1998 por Goto.com) que funcionaba de la misma manera. Aunque era interesante que indexaran, el problema...