Un motor de căutare este un program de calculator care acționează ca o modalitate de a prelua informații dintr-o bază de date, pe baza anumitor criterii definite de utilizator. Cele moderne caută baze de date care conțin cantități uriașe de date, colectate de pe World Wide Web, grupuri de știri și proiecte de directoare.
Înainte de a exista World Wide Web, dar după apariția Internetului și popularitatea care a urmat în circuitul universitar, a fost creat primul motor de căutare. În acest moment al istoriei — la sfârșitul anilor 1980 și începutul anilor 1990 — unul dintre principalele protocoale utilizate pe Internet a fost protocolul de transfer de fișiere (FTP). Serverele FTP au existat în întreaga lume, de obicei în campusuri universitare, facilități de cercetare sau agenții guvernamentale. Unii studenți de la Universitatea McGill din Montreal au decis că o bază de date centralizată cu fișiere disponibile pe diferitele servere FTP populare ar ajuta la economisirea de timp și le-ar oferi un serviciu excelent celorlalți. Aceasta a fost originea motorului de căutare Archie.
Archie, care era prescurtarea de la archive, era un program care se conecta în mod regulat la serverele FTP din lista sa și făcea un index al fișierelor care se aflau pe server. Deoarece timpul procesorului și lățimea de bandă erau încă o marfă destul de valoroasă, Archie a verificat doar actualizările în fiecare lună. La început, indexul pe care l-a construit Archie a fost menit să fie verificat folosind comanda Unix grep, dar în curând a fost dezvoltată o interfață de utilizator mai bună pentru a permite căutarea ușoară a indexului. În urma lui Archie, o mână de motoare de căutare au apărut pentru a căuta protocolul similar Gopher – două dintre cele mai faimoase fiind Jughead și Veronica. Archie a devenit relativ învechit odată cu apariția World Wide Web și a motoarelor de căutare ulterioare, dar serverele Archie încă există.
În 1993, la scurt timp după crearea World Wide Web, Matthew Gray a dezvoltat World Wide Web Wanderer, care a fost primul robot web. World Wide Web Wanderer a indexat toate site-urile web care existau pe internet prin captarea adreselor URL, dar nu a urmărit niciunul dintre conținutul real al site-urilor web. Indexul asociat cu Wanderer, care a fost un tip timpuriu de motor de căutare, a fost numit Wandex.
Alte câteva proiecte mici au crescut după Wanderer, care a început să se apropie de motorul de căutare modern. Acestea au inclus World Wide Web Worm, paianjenul RBSE (Repository-Based Software Engineering) și JumpStation. Toate aceste trei au folosit datele colectate de roboții web pentru a returna acele informații utilizatorilor. Cu toate acestea, informațiile tocmai au fost returnate nefiltrate în cea mai mare parte, deși RBSE a încercat să clasifice valoarea paginilor.
În 1993, o companie fondată de niște studenți din Stanford, numită Excite, a lansat ceea ce este, probabil, primul motor de căutare care încorporează de fapt analiza conținutului paginii. Această ofertă inițială a fost concepută pentru a căuta într-un site, dar nu pentru a căuta pe web în întregime.
În 1994, însă, lumea motorului de căutare a avut o descoperire majoră. O companie numită WebCrawler a intrat în funcțiune cu un motor de căutare care nu numai că a captat titlul și antetul paginilor de pe Internet, dar a preluat și tot conținutul. WebCrawler a avut un succes enorm – atât de succes încât în mare parte din timp nici măcar nu a putut fi utilizat, deoarece resursele sale de sistem erau folosite.
Puțin mai târziu în acel an a fost lansat Lycos, incluzând multe dintre aceleași caracteristici ca și WebCrawler și construind pe ele. Lycos și-a clasat rezultatele în funcție de relevanță și a permis utilizatorului să modifice o serie de setări pentru a obține rezultate care se potrivesc mai bine. Lycos a fost, de asemenea, uriaș – în cursul anului acesta avea peste un milion de site-uri web arhivate și în doi ani a ajuns la 60 de milioane.