Suchmaschinen, sog. Crawler oder Spider werden verwendet, um Webseiten zu indizieren. Der sog. Deepbot ist ein Spider von Google, der neue Webseiten indiziert, die dann dauerhaft in den Google-Index übernommen werden. Die Indizierung erfolgt in die Tiefe. Es sollten möglichst viele Einzelseiten erfasst werden.
Vgl. hierzu auch Fresh-Crawl.
