Wie findet eine Suchmaschinen Webseiten? Bei der Fülle an Informationen ist dies nur noch automatisiert über Software-Programme möglich, die das Web selbstständig durchforsten und entsprechende Infos filtern und indizieren. Derartige Software nennt man Crawler oder Spider.
Jede Suchmaschinen hat Ihren eigenen Crawler, der über bestimmte Eigenschaften und Eigenheiten verfügt. Beim Blick auf die Logfiles einer Webseite kann man erkennen, ob ein Crawler die Webseite besucht hat. Dieser gibt sich meist als sog. BOT zu erkennen.
Siehe hierzu auch Spider.
