Webcrawler

Webcrawler werden auch Bot oder nur Crawler genannt. Webcrawler dienen Suchmaschinen dazu die Inhalte von Webseiten auszulesen.

Neben der schlechten Eigenschaft blind für Bilder zu sein, besitzen Sie aber die überaus nützliche Eigenschaft Hyperlinks auf Webseiten zu folgen.