Spider

Der Begriff Spider (auf Deutsch: Spinne) wird gerne auch als Crawler oder Robot bezeichnet.

Spider sind Programme, die sich kontinuierlich und selbstständig durch das Internet bewegen, dabei Inhalte von Webseiten einlesen und für die Indizierung in Suchmaschinen erfassen oder zu anderen Zwecken speichern.

Im Zuge der Indizierung von Webseiten durch Suchdienste wurden die URL's zuvor entweder bei der jeweiligen Suchmaschine angemeldet oder die Spider folgen eigenständig auf Webseiten angebrachten Links und erfassen dabei neue Seiten. Neben dem Web-Spider existieren noch die sogenannten eMail-Spider, die selbständig Internetseiten auf vorhandene eMail Adressen absuchen und diese abspeichern, um die gewonnen Daten später zu Marketing-Zwecken oder Spammen zu verwenden.

Durch Verwendung einer robots.txt kann man die Indizierung der eigenen Webseite, einzelner Verzeichnisse oder Dateien durch Spider von Suchmaschinen unterbinden. Eine Anleitung zur Erstellung einer robots.txt finden Sie hier.