Googlebot

Bots, Crawler und Parser

Ein Bot ist ein Computerprogramm, das selbständig bestimmte Aufgaben bearbeiten kann, ohne dass Menschen nach Start des Programmes noch irgendwelche weiteren Befehle eingeben müssen. Seinen Namen hat der Bot vom englischen „robot“ = „Roboter“, und genauso arbeitet er auch: Einmal in Gang gesetzt, erledigt er automatisch immer die gleichen, sich wiederholenden Arbeitsschritte.

Ein Crawler, genauer „Webcrawler“, ist eine Unterart eines Bots, der auch Spider, Robot oder Searchbot genannt wird, weil er spezifische, in Suchmaschinen anfallende Aufgaben wahrnimmt: Sein Programm weist ihn an, automatisch und ständig das World Wide Web zu durchsuchen und alle Webseiten zu analysieren, die ihm Zugang gewähren.

Dabei können die Webcrawler E-Mail-Adressen oder Web-Feeds oder andere Arten von Informationen sammeln, und in Suchmaschinen nehmen sie eine der Kernaufgaben wahr: Sie werden eingesetzt, um die im Netz verbreiteten Webseiten in den Index der Suchmaschine aufzunehmen – was die Voraussetzung dafür ist, dass eine Webseite nach einer Suche mit passenden Begriffen in der Suchergebnissen ausgegeben wird.

Weil Google Webseiten aber nicht in einer beliebigen Reihenfolge ausgibt, sondern vor jeder Ausgabe eine Sortierung vornimmt, um dem Nutzer die jeweils besten Ergebnisse auf seine Suchanfrage zu liefern, muss jede Webseite schon bei der Indizierung umfassend analysiert werden. Google erfasst den EAT [Link Artikel „EAT Guidelines“] und die Entität des Contents [Link Artikel „Entitäten“], prüft die Website auf Dublicate Content [Link Artikel „Dublicate Content“] und Sicherheit und viele, viele Dinge mehr.

Deshalb spricht Google auch von „crawlen und parsen“, weil hier ein weiteres Computerprogramm aus der Reihe der Parser ins Spiel kommt: Der Parser ist nach dem englischen Verb „to parse“ benannt, was sich mit „analysieren“ oder auch „zerteilen“ übersetzen lässt. Er nimmt sich alles vor, was ihm eingegeben wird, um es zu zerlegen und in das Format umzuwandeln, das für die Weiterverarbeitung am besten geeignet ist.

Wenn der Parser für eine Suchmaschine arbeitet, werden ihm fremde Webseiten vorgelegt, die er analysieren, aber nur in dem Rahmen zerteilen oder umwandeln kann, dem der jeweilige Betreiber durch Akzeptanz der Google-Nutzungsbedingungen zugestimmt hat. Die Webseite bleibt also im Wesentlichen so, wie sie eingestellt wurde, der Parser beschränkt sich bei seinem Analysevorgang darauf, die Seite möglichst gut zu verstehen und zu erfassen, ihr etliche Strukturbeschreibungen zuzufügen und diese zu speichern, um der Seite später auf Suchanfragen schnell einen angemessenen Platz in den Suchergebmissen zuweisen zu können.

Bekannte Fakten über die Arbeitsweise des Googlebots

Wie hinter jedem Webcrawler steckt auch hinter dem Googlebot ein Algorithmus, der auf selbständiges Arbeiten programmiert ist. Dieser Algorithmus nutzt die „innerste Grundstruktur“ des World Wide Web, das deshalb „Netz“ heißt, weil es ein riesiges Geflecht von Webseiten bildet, die über Links miteinander verbunden sind.

Der Crawler erfasst Websites vor allem, indem er die Verweise nutzt, um von einer URL zur nächsten zu springen. Dahinter steckt mathematisch ein Graphen-Konzept, das z. B. auch hinter Bahn-Netzen oder Stammbäumen steht und dem Crawler hilft, das Netz maximal schnell und effektiv zu durchsuchen. Genauere Informationen zur Programmierung des Googlebot s sind jedoch ebenso wenig verfügbar wie zu den Einzelheiten der Suchalgorithmus-Programme.

Was Google herausgibt, sind Informationen zur Anzahl der Crawler und dem jeweiligen Suchbereich. Denn auch wenn „der Googlebot“ bisher immer nur in der Einzahl angesprochen wurde, benutzt Google in Wirklichkeit mehrere Googlebots und dazu noch mehrere andere Crawler, um die Milliarden im Netz befindlichen Seiten zu sichten, und erfasst Websites auf viele verschiedene Arten:
– der Googlebot Crawler für Computer ist im gesamten Netz unterwegs und der bestbeschäftigte Crawler
– der Googlebot für Smartphones crawlt Seiten für die Mobil-Welt
– der Googlebot-Image crawlt Bilder
– der Googlebot-News crawlt News
– der Googlebot-Video crawlt Videos
– der Crawler APIs-Google übermittelt Push-Benachrichtigungen von Google-APIs, wenn Anwendungsentwickler sich für den Empfang der Nachrichten registriert haben
– der AdSense-Crawler ermittelt Anzeigen-relevanten Content
– der AdsBot Mobile Web Android Crawler prüft die Qualität der Anzeigen auf für Android-Geräte optimierten Seiten
– der AdsBot Mobile Web Crawler prüft die Qualität der Anzeigen auf für iPhones optimierten Websites
– der AdsBot Crawler prüft die Qualität der Anzeigen auf für Computer optimierten Webseiten
– der Mobile AdSense Crawler ermittelt Anzeigen-relevanten Content für Mobil-Geräte
– der Mobile Apps Android Crawler prüft die Qualität der Anzeigen auf für Android-Apps optimierten Websites
– der Feedfetcher crawlt von Nutzern initiierte Feeds
– der Google Read Aloud Crawler erfasst Webseiten mit aktivierter Sprachausgabe
– der Duplex im Web Crawler unterstützt den Dienst „Google Duplex im Web“
– der Google Favicon Crawler crawlt Favicons für diverse Dienste
– der Web Light Crawler sucht nach schnellen Seiten für Mobil-Nutzer, die auf langsamen Mobil-Geräten suchen

Jeder dieser Crawler kann durch seinen Namen im HTTP-Header als Googlebot User Agent eindeutig identifiziert werden. All diese Googlebot User Agenten arbeiten mit verschiedensten Techniken, wobei sich fokussierte Crawler auf ihr Thema konzentrieren, andererseits aber auch mehrere Crawling-Prozesse in Multi-Threading gleichzeitig bearbeitet werden.

Die Bedeutung des Google-Crawlings für Webseitenbetreiber

Google Crawling ist für jeden Webseitenbetreiber von entscheidender Bedeutung, dessen Webseite viele Menschen erreichen soll. Das Crawling entscheidet bereits darüber, ob eine neue Website überhaupt in der Suchmaschine gesucht und gefunden werden kann. Denn dazu muss Google zunächst Kenntnis von der Existenz der Seiten-URL erlangen, weil die Seite sonst von Google Systemen nicht gecrawlt und indexiert werden kann, um in den Suchergebnissen aufgeführt zu werden.

Wenn eine neue Webseite ohne weitere Maßnahmen in Netz gestellt wird, kann Google auf mehrere Arten von der Existenz dieser Seite erfahren: Viele Seiten werden über Webhosts/Provider verwaltetet, die Google informieren, wenn neue (oder aktualisierte) Seiten gecrawlt werden sollen. Die Google-Crawler können außerdem auf die Webseite aufmerksam werden, indem sie andere Seiten crawlen, deren Inhalte mit dieser Webseite verknüpft sind.

Die neue Webseite wird also von den Googlebots also irgendwann gefunden werden, die Indexierung kann bei dieser Vorgehensweise allerdings eine Weile dauern. Hier erklärt Google, wie geprüft werden kann, was Google auf dieser Website sehen kann und ob die Website für die entscheidenden Crawler zugänglich, sicher und schnell genug ist: developers.google.com/search/docs/guides/get-started.

Wenn eine Website schnell gefunden werden soll, kann die Erfassung durch den Googlebot auf verschiedene Arten beschleunigt werden:

1. Zunächst sollte den Googlebots eine Sitemap zur Verfügung gestellt werden. Diese Liste mit den URLs der neu eingestellten Inhalte stellt dem Googlebot die benötigten Informationen über die Struktur der Website in kompakter Form und an einem gut erreichbaren Ort zur Verfügung. Sie kann vor allem bei umfangreichen Webseiten zu einer sehr viel schnelleren Indizierung führen.

2. Wenn die neue Website (noch) arm an Backlinks ist, gibt es schnellere Möglichkeiten als den langsamen und geordneten Linkaufbau, um Google auch woanders im Netz über Verweise zur neuen Seite stolpern zu lassen: Die Seite kann in öffentliche Branchenverzeichnisse und andere seriöse Link-Bibliotheken eingetragen werden, zu einschlägigen Blogs können Pingbacks gesendet werden, die auf die gewünschte Start-URL für den Googlebot verweisen.

3. Wenn mehrere URLs mit fast gleichem Inhalt wie HTML-Seite, AMP-Seite (Accelerated Mobile Page) + Ansicht für mobile Apps eingestellt wurden, sollte Google über die Beziehung zwischen den Seiten aufgeklärt werden. Die Hauptseite wird dazu im Header mit einem Canonical-Tag gekennzeichnet, die anderen Seiten werden entsprechend verknüpft oder weitergeleitet. Die Aufnahme der Hauptseite wird beschleunigt, auch wenn sie noch kaum Backlinks aufweist; die Klärung sorgt außerdem dafür, dass sich die ähnlichen Seiten nicht selbst Konkurrenz machen (bzw. eine Abstrafung wegen doppeltem Inhalt erhalten, wenn sie sich sehr ähnlich sind).

4. Es gibt auch die Möglichkeit, den Googlebot direkt zu benachrichtigen. Wenn die Sitemap an Google gesendet wird, erkennt der Googlebot neue URLs sehr viel schneller.