Deepbot
Inhalt
Definition
Der Deepbot ist ein Teil des Crawlers von Google. Dieser durchsucht das gesamte Internet nach indexierbaren Seiten, um diese dann in die Suchergebnislisten (SERPs) der Suchmaschine mit aufzunehmen. Der Name des Teils des Googlebots legt schon nahe, dass der Deepbot sich vor allem auf die Tiefen von Websites konzentriert. Er stößt dabei entlang aller Verweise, die er schon kennt, ganz nach unten in die kleinsten Teile einer Website vor. Er hangelt sich von Verweis zu Verweis und speist diese in das umfassende System der Suchmaschine Google ein. Diese regelmäßige Tiefenüberprüfung über Veränderungen entlang der Verweise bereits indexierter Seiten fließt ebenfalls mit in den Algorithmus von Google zur Berechnung des Rankings mit ein wie die des Freshbots.
Ihr
Ansprechpartner
Geschäftsführer
Deepbot und Freshbot – die Unterschiede
Der Deepbot und der Freshbot sind beides Spider des Googlebots. Sie sind quasi gegensätzliche Geschwister. Während der eine sich an den Verweisen bereits indexierter Webseiten entlanghangelt, sucht der Freshbot nach neuem Content. Vor allem konzentriert der Freshbot sich dabei auf Websites, die regelmäßig immer wieder neuen Content hochladen. Das sind zum Beispiel Newsportale, Blogs und auch Postings in den sozialen Medien. Im Gegensatz zum Deep Crawl wird diese Überprüfung Fresh Crawl genannt. Dieser kann sich positiv auf das Ranking von Websites auswirken, auch wenn der PageRank gar nicht so gut ist. Der Aktualitätsbonus verliert sich aber nach einer gewissen Zeit wieder.
Das Ziel des Deepbots ist es, einen in die Tiefe gehenden Überblick über schon bestehende Inhalte zu bekommen, um diese dann in den Suchanfragen entsprechend schnell anzeigen zu können. Teilweise wird der Deepbot dabei von anderen Teilen des Googlebots unterstützt. So bekommt er manches Mal auch Anstöße vom Freshbot, wenn dieser relevante neue Inhalte gefunden hat. Mit seiner inkrementellen Suche trägt der Deepbot ständig zur Verbesserung des gesamten Systems Google bei.
Wie kann ich sehen, ob der Deepbot meine Website gecrawlt hat?
Bei jedem Crawl-Vorgang gibt es eine Kommunikation zwischen Server und Client. Das heißt, man kann durchaus nachvollziehen, wenn ein Teil des Google Bots die eigene Webpräsenz besucht hat. An der IP-Adresse und dem User Agent sieht man zum Beispiel in der Abfrage „Abruf wie durch Google“ in der Search Console, welcher Bot der Suchmaschine es war. Es gibt auch einige Möglichkeiten, um das Crawling zu beeinflussen. Das sind unter anderem sind die robots.txt oder Meta Tags wie Nofollow.
Der Deepbot und seine Bedeutung für die SEO
Der Besuch des Google Bot mit seinen Teilen Deepbot und Freshbot sind notwendig, damit es überhaupt zu einer Indexierung von Inhalten und Seiten einer Website und somit zur Aufnahme in die SERPs kommt. Dies geschieht mittlerweile in Form des Instant Indexing. Das bedeutet, dass manuelle Eingriffe, um den Google Bot über neue Einträge nicht mehr unbedingt notwendig sind. Für Suchmaschinenexperten ist es wichtig, den Überblick zu behalten, welcher Art die Zugriffe auf die Webpräsenz sind. Das Unterscheiden von echten Zugriffen und Bot-Besuchen ist daher eine wesentliche Komponente zur Einschätzung des relevanten Traffic auf eine Website. Das Deckeln der Crawlfrequenz bei sehr häufigen Bot-Zugriffen kann helfen, die Serverauslastung zu kontrollieren und somit die Ressourcen für echte Nutzer freizuhalten. Die Regulierung der Bot-Zugriffe durch Ausschluss bestimmter Bots und Regelungen, welche Seiten der Deepbot crawlen soll und welche nicht, gehört zur Suchmaschinenoptimierung dazu.
Bei Fragen oder Interesse nehmen Sie bitte einfach Kontakt zu uns auf.
SEO Deutschland – Die kreative SEO Agentur
