Als Crawler werden die Bots von Google, Bing, Yahoo, DuckDuckGo und anderen gängigen Suchmaschinen bezeichnet. Sie crawlen jede Internetseite regelmässig und speichern eventuelle Neuerungen in der internen Datenbank der Search Engine ab.
Definition Crawler: So arbeiten die Bots der Suchmaschinen
Damit eine neue Internetseite in den Suchergebnissen gefunden werden kann, muss sie zunächst indexiert werden. Es reicht dabei völlig aus, die Seite bei Google indexieren zu lassen, die anderen Suchmaschinen greifen regelmässig auf neue Seiten in der Google Konsole zu. Wer nicht alle Unterseiten in der Google Suche wiederfinden möchte, kann einzelne Pages vom Crawlen ausschliessen. Dazu wird ein entsprechender Eintrag in der robots.txt [Link] auf dem Server vorgenommen. Eine absolute Sicherheit, dass die Google Bots nicht doch auf die eigene Webseite aufmerksam werden, gibt es jedoch nicht.
Für eine gute Sichtbarkeit und Auffindbarkeit im Netz ist es wichtig, dass es innerhalb der Homepage vielerlei Verlinkungen gibt. Auch von anderen Seiten aus sollte der eigene Internetauftritt gut für die Robots erreichbar sein. Die automatischen Crawler der Suchmaschinen werden auch als “Spider” bezeichnet. Hintergrund ist, dass die Spuren der Search Engine Bots einem Spinnennetz ähneln: Je verzweigter die Verlinkungen sind, umso besser wird der eigene Webauftritt bewertet!
Das Ergebnis der Crawler hat einen Einfluss auf das Search Engine Ranking
Backlinks sind eine wichtige OffPage [Link] Massnahme, die zu Ihrer Suchmaschinenoptimierung beiträgt. Es kann jedoch eine Zeitlang dauern, bis die Crawler der Suchmaschine alle Neuerungen auf Ihrer Webseite gefunden haben. Das Abbild von Google ist nicht live, vielmehr wird bei jeder Google Suche auf eine umfangreiche Datenbank zugegriffen, welche die Ergebnisse der Bots enthält. Je mehr fremde Webseiten auf Ihre Seite verweisen, umso höher steigt Ihr Google Ranking. Aber Achtung: Legen Sie zu viele Backlinks auf einmal an, kann dies zu einer Abstrafung von Google [Link] führen!