Crawler

Der Begriff Crawler, abgeleitet vom englischen Wort "crawl" (auf Deutsch: schleichen), wird gerne auch als Spider oder Robot bezeichnet.

Crawler sind Programme, die sich kontinuierlich und selbstständig durch das Internet bewegen, dabei Inhalte von Webseiten einlesen und für die Indizierung in Suchmaschinen erfassen oder zu anderen Zwecken speichern.

Im Zuge der Indizierung von Webseiten durch Suchdienste wurden die URL's zuvor entweder bei der jeweiligen Suchmaschine angemeldet oder die Crawler folgen eigenständig auf Webseiten angebrachten Links und erfassen dabei neue Seiten. Neben dem Web-Crawlern existieren noch die sogenannten eMail-Crawler, die selbständig Internetseiten auf vorhandene eMail-Adressen absuchen und diese abspeichern, um die gewonnen Daten später zu Marketing-Zwecken oder Spammen zu verwenden.

Durch Verwendung einer robots.txt kann man die Indizierung der eigenen Webseite, einzelner Verzeichnisse oder Dateien durch Crawler von Suchmaschinen unterbinden. Eine Anleitung zur Erstellung einer robots.txt finden Sie hier.