Bei roboterbasierten Suchdiensten, die oft als search engines oder Suchmaschinen[23] bezeichnet werden, kommen Harvestingroboter zum Einsatz, die das WWW mit automatisierten Methoden durchsuchen. Dabei werden bestimmte Teile der Dokumente bzw. die Volltexte automatisch indexiert. Diese in einer Datenbank gespeicherten Indexdaten sind über Suchschnittstellen abfragbar, wobei verschiedene Methoden des Information Retrieval zum Einsatz kommen. Poulter definierte eine `World Wide Web search engine' als
"... a retrieval service, consisting of a database (or databases) describing mainly resources available on the World Wide Web (WWW), search software and a user interface also available via WWW."[24]
Ein roboterbasierter Suchdienst für das WWW besteht also aus der Harvestingsoftware, dem Indexierungsprogramm, dem Retrievalprogramm und der Benutzungsoberfläche. Die Indexierung ist in der Praxis oft entweder in die Suchsoftware oder das Retrievalprogramm integriert.
Die ersten roboterbasierten Suchdienste waren Lycos und der WWW Worm, die beide 1994 an Universitäten entwickelt wurden, gefolgt von WebCrawler im Sommer 1995, welcher ebenfalls eine universitäre Entwicklung war. All diese Dienste wurden später privatisiert. Die frühen roboterbasierten Suchdienste beschränkten sich rein auf die Indexierung von HTML und boten noch keine weiteren Nebendienste mit an. Sie indexierten z.T. noch nicht die Volltexte der Dokumente, sondern nur Teile daraus. Auch boten sie nur primitive Retrievalfunktionalitäten. Avanciertere Retrievalmethoden wurden mit zunehmender Größe der Dienste notwendig.
[23] Die Bezeichnung search engine und deren deutsch Übersetzung mit "Suchmaschine" hat sich zwar eingebürgert, ist aber uneindeutig. Oft wird der Begriff als Synonym für den gesamten Dienst verwendet, teilweise ist aber auch für den Harvestingroboter oder die Retrievalsoftware, also Teile des Dienstes. Deshalb wird in der vorliegenden Arbeit der allgemeinere Begriff "Suchdienst" verwendet, wenn der Dienst als Gesamtheit gemeint ist.
[24] Poulter 1997, S. 131