Skip to content

Crawler

Definition

Ein Crawler ist ein Computerprogramm, also eine Software, die Dokumente jeglicher Art im World Wide Web durchsucht und indexiert. Ver bekannteste Crawler im Web ist sicher der Googlebot. Die Programme sind besonders für sich wiederholende Aktionen programmiert, um das Durchsuchen komplett zu automatisieren. Daher werden diese auch Robots genannt, und aufgrund der Spuren, die sie im Internet hinterlassen, die wie ein Spinnennetz aussehen, existiert auch die Bezeichnung Spider. Es gibt auch Crawler, die nicht nur Webseiten, sondern auch andere Arten von Informationen wie RSS-Feeds oder E-Mail-Adressen durchsuchen können.

Ihr

Ansprechpartner

Khalil Agheli Zadeh Geschäftsführer
Khalil Agheli Zadeh
Geschäftsführer

So funktioniert ein Crawler

Damit Suchmaschinen wie Google oder Bing korrekt funktionieren können, müssen die Crawler ihnen mitteilen, was es im World Wide Web eigentlich so alles gibt. Der Webcrawler „kriecht“ (to crawl=kriechen) also durch das Internet und sammelt Informationen, analysiert diese und erstellt Listen. Dafür folgt er den Linkstrukturen, die das WWW ausmachen. Um den Suchenden eine Liste mit relevanten Webseiten (SERPs) für seine Suchanfrage bereitstellen zu können, müssen Spider den gesamten Text einer Website, die Meta-Tags, Informationen an Bildern, den Quellcode und Hyperlinks aus. Hat er all diese Informationen, erstellt er ein Profil der Webseite und stellt es den Suchmaschinen zur Verfügung.

Crawler vs. Scraper

Während ein Crawler nur ein fleißiger Datensammler ist, ist ein Scraper ein ganz anderes Kaliber. Beim Scraping, was eine Technik der Black Hat SEO ist, sollen die Daten nicht nur gesammelt, sondern kopiert werden. Dann werden sie in genau dieser oder einer leicht abgewandelten Form auf der eigenen Webseite platziert. Der Scraper klaut also Daten und Inhalte, um sie für sich selbst nutzen zu können.

crawler

Crawler und Suchmaschinenoptimierung

Durch das Crawling und die Indexierung, die dadurch möglich ist, ist es den Suchmaschinen überhaupt erst möglich, den Suchenden Ergebnisse zu liefern. Der Webcrawler hat für seine Analyse nur eine bestimmte Zeit zur Verfügung. Daher ist es wichtig, neben der Platzierung von Schlüsselbegriffen, die der Crawler natürlich auch scannt und ins Ranking einbezogen werden, sich auch um die Performance und die Struktur seiner Webpräsenz zu kümmern. Die Optimierung von Seitenstrukturen und Dateigrößen ermöglichen es dem Spider mehr Inhalte in seinem Durchgang zu erfassen und zu indexieren. Durch eine große Anzahl eingehender Links (Backlinks) und viel Traffic auf der Webseite, erhöht sich das CrawlBudget der Robots. Gezielte Onpage- und Offpage-SEO-Maßnahmen steigern also das Potential für ein höheres Ranking einer Webseite. Um Crawler wie den Googlebot allerdings noch direkter zu steuern, gibt es wichtige Instrumente wie die robots.txt sowie die Hinterlegung einer Sitemap in der Google Search Console.

Bei Fragen oder Interesse nehmen Sie bitte einfach Kontakt zu uns auf.

SEO Deutschland – Die kreative SEO Agentur