TechDivision Glossar
Deepbot
Suchmaschinen, sog. Crawler oder Spider werden verwendet, um Webseiten zu indizieren. Der sog. Deepbot ist ein Spider von Google, der neue Webseiten indiziert, die dann dauerhaft in den Google-Index übernommen werden. Die Indizierung erfolgt in die Tiefe. Es sollten möglichst viele Einzelseiten erfasst werden.
Vgl. hierzu auch Fresh-Crawl.

