El creador del motor de búsqueda moderno es Archie, inventado en 1990 por Alan Emtage, un estudiante de la Universidad de Montreal. Aunque la World Wide Web aún no había aparecido en ese momento, las transferencias de archivos en la red eran bastante frecuentes y, debido a que una gran cantidad de archivos estaban dispersos entre varios hosts FTP dispersos, era muy inconveniente realizar consultas, por lo que Alan Emtach pensó en desarrollar un sistema de transferencia de archivos para buscar archivos, y nació Archie.
El principio de funcionamiento de Archie es muy parecido al de los motores de búsqueda actuales. Se basa en programas de script para buscar automáticamente archivos en línea y luego indexar información relacionada para que los usuarios la consulten utilizando ciertas expresiones. Inspirados por la popularidad de Archie entre los usuarios, los Servicios de Computación del Sistema de la Universidad de Nevada desarrollaron otra herramienta de búsqueda muy similar en 1993, pero esta vez la herramienta de búsqueda no sólo podía indexar archivos sino también recuperar páginas web.
La palabra "robot" era muy popular entre los programadores de aquella época. Un robot informático es un programa de software que puede realizar una tarea sin interrupción a una velocidad que los humanos no pueden alcanzar. Debido a que los programas "robots" diseñados para recuperar información se arrastran por la web como arañas, los programas "robots" de los motores de búsqueda se denominan programas "araña".
El primer programa "robot" del mundo para monitorear la escala de Internet fue World Wide Web Wanderer desarrollado por Matthew Gray. Al principio solo se usaba para contar la cantidad de servidores en Internet y luego se desarrolló para recuperar nombres de dominio de sitios web.
Correspondiente a Wanderer, Martin Coster fundó ALIWEB en junio de 1993, que es la versión HTTP de Archie. ALIWEB no utiliza programas "robots", sino que crea su propio índice de enlaces enviando activamente información del sitio web, similar al Yahoo que ahora conocemos.
Con el rápido desarrollo de Internet, se ha vuelto cada vez más difícil recuperar todas las páginas web nuevas. Por lo tanto, basándose en "El autoestopista" de Matthew Gray, algunos programadores mejoraron el principio de funcionamiento de los programas "araña" tradicionales. La idea es que, dado que todas las páginas web pueden tener enlaces a otros sitios web, es posible buscar en todo Internet siguiendo enlaces a un sitio web. A finales de 1993, comenzaron a aparecer uno tras otro algunos motores de búsqueda basados en este principio, entre ellos JumpStation, el gusano World Wide Web (el predecesor de Goto, el actual Overture) y la araña de ingeniería de software basada en conocimientos (RBSE). son los más famosos.
JumpStation y WWW Worm solo clasifican los resultados de la búsqueda en el orden en que la herramienta de búsqueda encuentra información coincidente en la base de datos y no hay asociación de información. RBSE es el primer motor que introduce el concepto de coincidencia de cadenas de palabras clave en la clasificación de los resultados de búsqueda.
El primer motor de búsqueda moderno apareció en julio de 1994. En ese momento, Michael Mauldin conectó el programa araña de John Leavitt a su programa de indexación y creó Lycos, que ahora es ampliamente conocido. En abril del mismo año, dos estudiantes de doctorado de la Universidad de Stanford, David Filo y el chino-estadounidense Gerry Yang, cofundaron el índice de súper directorio Yahoo e introdujeron con éxito el concepto de motor de búsqueda Profundamente arraigado en los corazones de las personas. Desde entonces, los motores de búsqueda han entrado en un período de rápido desarrollo. Actualmente existen cientos de motores de búsqueda conocidos en Internet y la cantidad de información que recuperan no es la misma que antes. Por ejemplo, Google, que ha estado en el punto de mira recientemente, ¡tiene 3 mil millones de páginas almacenadas en su base de datos!
Con la rápida expansión de Internet, un motor de búsqueda ya no puede adaptarse solo a la situación actual del mercado, por lo que ahora existe una división del trabajo y cooperación entre los motores de búsqueda, y existen tecnologías de motores de búsqueda profesionales. y buscar proveedores de servicios de bases de datos.
Por ejemplo, el Inktomi extranjero (adquirido por Yahoo) no es un motor de búsqueda orientado directamente al usuario, pero proporciona servicios de búsqueda web de texto completo a otros motores de búsqueda, incluidos Overture (anteriormente GoTo, adquirido por Yahoo), LookSmart, MSN, HotBot y otros. motores de búsqueda. Baidu de China también entra en esta categoría (Nota 1), y Sohu y Sina utilizan su tecnología (Nota 2). Entonces, en ese sentido, son motores de búsqueda para motores de búsqueda.