Bots

Der Begriff Bots ist die Kurzform von Robots und wird gerne auch als Crawler oder Spider bezeichnet.

Bots sind Programme, die sich kontinuierlich und selbstständig durch das Internet bewegen, dabei Inhalte von Webseiten einlesen und für die Indizierung in Suchmaschinen erfassen oder zu anderen Zwecken speichern.

Im Zuge der Indizierung von Webseiten durch Suchdienste wurden die URL's zuvor entweder bei der jeweiligen Suchmaschine angemeldet oder die Bots folgen eigenständig auf Webseiten angebrachten Links und erfassen dabei neue Seiten. Neben dem Web-Bots existieren noch die sogenannten eMail-Bots, die selbständig Internetseiten auf vorhandene eMail-Adressen absuchen und diese abspeichern, um die gewonnen Daten später zu Marketing-Zwecken oder Spammen zu verwenden.

Durch Verwendung einer robots.txt kann man die Indizierung der eigenen Webseite, einzelner Verzeichnisse oder Dateien durch Bots von Suchmaschinen unterbinden. Eine Anleitung zur Erstellung einer robots.txt finden Sie hier.