Desde el año 1990 en el que se creó el primer servidor web en NeXT, el primer navegador web llamado WorldWideWeb (que también era editor HTML) y la primera página web, la red fue admitiendo contenido pero no era posible localizarlo de una manera sencilla. Es por ello que en junio de 1993 se desarrolló Wandex, un robot de búsqueda que pretendía medir el tamaño de la red, pero que se amplió finalmente pudiendo leer direcciones URL. Éste se podría considerar el primer buscador de internet, y que tuvo grandes problemas de infraestructura y velocidad cuando alcanzó los cientos de visitas diarias.
En 1994 se presentó WebCrawler, buscador y robot con la enorme diferencia de que indexaba las páginas de forma completa y buscaba información en ellas, al contrario de su antecesor, que sólo buscaba en la dirección web, título o metatags. Esto hizo que la relevancia de los resultados fuera mucho mayor.
Tambien en 1994 surgió Lycos, con un algoritmo interesante que incluía el concepto de proximidad entre palabras. Eso sí, no indexaba de forma completa las páginas, sólo las 20 primeras frases, las 200 primeras de la cabecera y un grupo de las 100 más relevantes de todo el documento. Aunque sí hay que destacar a Lycos es por la enorme cantidad de documentos indexados: se lanzó con 54.000 documentos; en agosto de 1994 alcanzó los 394,000 documentos; en enero de 2005, los 1,5 millones de documentos; y en noviembre de 1996 alcanzó la impresionante cifra de 60 millones, convirtiéndose en el motor de búsqueda más destacado. La palabra que ofrecía más resultados, curiosamente, era surf.
En esta época comenzaron también a aparecer los primeros metabuscadores, que unificaban los resultados de varios motores de búsqueda simultáneamente para ofrecerlos mezclados. En diciembre de 1995 varios estudiantes de Stanford lanzaron Excite27, con complicado algoritmo que pretendía crear un sistema de sinónimos mediante resultados estadísticos entre las palabras relacionadas, de forma que se podía realizar una búsqueda obteniendo resultados aunque esta palabra no apareciera en la web si existía alguna relación.
Fue el buscador de referencia hasta mediados de 1999 y en 2002 perdió su sistema de búsqueda pasando a ser un metabuscador.
De forma paralela iban apareciendo algunos directorios como EINet Galaxy, pero fue en abril de 1994 cuando se creó Yahoo!, en principio una colección de páginas web favoritas gestionadas por personas, por lo que tuvo que evolucionar incorporando un buscador para ese directorio.
El siguiente gran lanzamiento fue AltaVista28 en Diciembre de 1995, con grandes mejoras respecto a los anteriores, ya que poseía ancho de banda casi ilimitado, permitía consultas en lenguaje natural, consultas avanzadas mediante operadores lógicos, añadir o eliminar direcciones web en 24 horas, comprobar los enlaces entrantes a un sitio web e incluso permitía hacer búsquedas en los nombres de imágenes y algunos ficheros multimedia. No sólo era grande en resultados sino veloz al entregarlos. Además, ofrecía una serie de ayudas y trucos para mejorar aún más la calidad de las consultas.
A finales del 95 apareció Ozú, cuya base de datos, tanto del buscador como del directorio. estaba íntegramente gestionada y actualizada por personas (con ayuda de herramientas de rastreo y gestión de calidad). Durante 1997 y hasta el 2000 la empresa tuvo un largo litigio contra un empleado que robó el dominio ozu.com, tiempo en el que estuvo explotando el buscador paralelamente hasta que concluyó el juicio favorable. Mientras tanto, se utilizaba ozu.es, que es el sitio web que ha perdurado.
A partir del 2001 las cosas evolucionaron ya que Ozú fue comprado por el Grupo Vocento y
se llega a un acuerdo con Google para utilizar sus resultados, priorizando los resultados de Ozú.
También a finales de 1995 apareció un nuevo e importante directorio, LookSmart, creado por un matrimonio australiano, y tras muchos problemas financieros, en 1997 se trasladaron a San Francisco y en 1998 llegaron a un acuerdo con Microsoft para ser su proveedor. Pocos meses después, en 1996 se lanzaba Hotbot, considerado el primer motor de búsqueda capaz de indexar los millones de sitios web que había en ese momento. Tras la burbuja del 2001, perdió muchos de sus usuarios y en 2002 fue comprado por Yahoo!.
El 1 de Junio de 1996 se lanzaba el primer directorio español univesitario, Donde?, que incorporaba 1.157 resultados en su base de datos y consiguió 3,5 millones de accesos al mes. Después el número de consultas creció más lentamente. El tope se alcanzó en junio de 1998, dos años después de inaugurar el servicio, con 29.000 registros y casi 5 millones de consultas en un mes: una media de más de 100 consultas por minuto, momento en el que se produjo un estancamiento. El número de registros siguió aumentando, pero las consultas no. La razón era el colapso del servidor: no daba más de sí, no admitía más usuarios. Con 44.563 registros en la base de datos, dónde anunció que cerraba sus puertas el 1 de junio de 1999.
El siguiente de la lista es Ask Jeeves, lanzado en 1996 también; su idea era la de poder contestar preguntas de forma natural, tal y como las hacemos habitualmente. Aplicó su tecnología en el motor de búsqueda y mucha gente ya lo utilizaba al poco tiempo de aparecer debido a la alta relevancia que ofrecía, principalmente porque basaba sus resultados de búsqueda en los clicks que hacían los usuarios, siendo esta técnica la que utilizan los principales buscadores en la actualidad.
El proyecto Google comenzó a desarrollarse en enero de 1996 por Sergey Brin y Larry Page en la Universidad de Stanford, y desarrollaba una tecnología que calculaba la importancia de un sitio web en base a los enlaces que recibía. El 15 de septiembre de 1997 el dominio google.com era comprado. Hay que destacar dos razones por las que Google se hizo muy interesante: una interfaz muy clara y sencilla, minimalista, y unos resultados muy relevantes. El secreto de los resultados, la tecnología el PageRank, hizo que el mundo de los motores de búsqueda cambiase completamente dando por iniciado lo que se puede llamar la versión dos de los buscadores. Google implementó un sistema mediante el cuál no sólo se tenían en cuenta los factores de la propia página en la que se buscaba información, sino que se tenían en cuenta otros factores externos que daban mayor o menor importancia al sitio web. Hoy en día, todos los motores de búsqueda utilizan una tecnología similar a ésta.
Otro de los motores más importantes del mundo es Yandex, lanzado en 1997, el principal buscador ruso que lleva su nombre desde “Yet Another iNDEXer”, además de ser muy similar al primer buscador: Wandex. Además, la R invertida se pronuncia I en inglés, por lo que su nombre se pronuncia “Index”. Uno de los elementos más interesantes de este motor es su especialización en la gramática rusa, lo que lo hace único en el mundo.
En 1998 apareció MSN Search, de la mano de Microsoft además de Open Directory Project (DMOZ), que, aunque no era el primer directorio hecho por personas, sí que era el primero en hacerlo de forma colaborativa.
A mediados de 1999 apareció en el mercado AllTheWeb, buscador que ofrecía algunas mejoras con respecto a Google como por ejemplo una base de datos más actualizada, una búsqueda avanzada mucho más amplia búsquedas clusterizadas, pero nunca llegó a tener tanto éxito. En febrero de 2003 fue comprado por Overture y ésta, a su vez, en marzo de 2004 por Yahoo! que redujo algunas de sus funcionalidades. Hay que tener en cuenta que su base de datos pasó de 80 millones a finales de 1999 a 200 millones a principios de 2000 llegando a los 2.000 millones en junio de 2002 quedando en 3.300 millones cuando fue adquirida por su actual propietario Microsoft.
En 1999 también aparecía un gigante de la red: Baidu. El motor de búsqueda chino sería un punto de referencia hasta la actualidad debido a la presión que mantiene el gobierno chino sobre Internet. Es curioso que la mayor parte de la inversión que tiene procede de empresas estadounidenses.
