Die Crawl Equity optimieren

admin, 8. Oktober 2009 kein Kommentar RSS

Crawl Equity könnte man als Verteilungsgerechtigkeit beim Crawlen übersetzen. Hintergrund ist die Tatsache, dass die Spider der Suchmaschinen pro Site nur eine begrenzte Zeit und Bandbreite aufwenden können. Die wichtige Frage ist nun, wie man dafür sorgen kann, dass 1.) möglichst viele Seiten der Site von den Suchmaschinen besucht werden und dass 2.) alle wichtigen Seiten aufgenommen und wenn nötig eher unwichtige Seiten ignoriert werden.

Ladezeiten minimieren

Dieser Rat gilt immer, nicht nur für die Crawl Equity, sondern auch für Surfer mit dünnen Leitungen. Je schneller eine Seite geladen wird, desto geringer die Wartezeit und die benötigte Bandbreite für die Spider der Suchmaschinen. Ein großes Optimierungspotenzial liegt meist bei Bildern, für die man einen guten Kompromiss aus Dateigröße und Bildqualität eingehen muss. Auch bei Datenbankabfragen gibt es Möglichkeiten für Optimierungen.

Doppelte Inhalte

Duplicate Content ist dann zulässig, wenn er in Form der Webseite und einer Druckversion erscheint. Letztere Seiten sollten aber auf jeden Fall in der robots.txt von der Indizierung ausgeschlossen werden.

Seiten klassifizieren

Man sollte sich überlegen, welche Seiten auf jeden Fall indiziert werden müssen und welche Seiten im Index der Suchmaschinen eigentlich wenig Sinn machen. Und die Seiten aus der letzten Kategorie gehören auf die Ausschlußliste der robots.txt. Gängige Beispiele für solche Kandidaten sind:

  • Kontaktformular
  • weitere Formulare, z.B. Weiterempfehlen
  • Suchergebnisse
  • aus Tag-Clouds erreichbare Seiten
  • Kalender
  • dynamisch generierte Seiten.

Auch wenn man nicht immer ganz sicher sein kann, dass die Suchmaschinen die Angaben in der robots.txt auf’s Wort befolgen, sollte man seine Möglichkeiten auf jeden Fall ausschöpfen. Was dann dabei rauskommt, kann man dem Suchbegriff site:<meine URL> überprüfen und bei Bedarf weitere Optimierungen vornehmen.


Kommentar abgeben