Robots

Der Begriff Robots (Kurzform: Bots) wird gerne auch als Crawler oder Spider bezeichnet.

Robots sind Programme, die sich kontinuierlich und selbstständig durch das Internet bewegen, dabei Inhalte von Webseiten einlesen und für die Indizierung in Suchmaschinen erfassen oder zu anderen Zwecken speichern.

Im Zuge der Indizierung von Webseiten durch Suchdienste wurden die URL's zuvor entweder bei der jeweiligen Suchmaschine angemeldet oder die Robots folgen eigenständig auf Webseiten angebrachten Links und erfassen dabei neue Seiten. Neben dem Web-Robots existieren noch die sogenannten eMail-Robots, die selbständig Internetseiten auf vorhandene eMail Adressen absuchen und diese abspeichern, um die gewonnen Daten später zu Marketing-Zwecken oder Spammen zu verwenden.

Durch Verwendung einer robots.txt kann man die Indizierung der eigenen Webseite, einzelner Verzeichnisse oder Dateien durch Robots von Suchmaschinen unterbinden. Eine Anleitung zur Erstellung einer robots.txt finden Sie hier.