Ich beobachte seit einiger Zeit seltsame Dinge auf meiner HP. In der dortigen Statistik tauchen so seltsame Dinge auf wie: msn.boot gonzo1 gonzo2 googleboot und ähniches hinter gonzo stand dann auch:mail.to:crawleradmin-t-info@telekom.de
kann mir das mal jemand erklären? Hab mal wieder absolut keine Ahnung
Edit: du kannst mit einer Datei robots.txt steuern welcher Such-Robot welches Projektverzeichnisse auslesen darf. Siehe auch: http://de.selfhtml.org/diverses/robots.htm
ja das habe ich auch gerade gelesen hab mal bei Wikipedia nach Crawler geguckt. Mir ist aber immer noch nicht klar was die wirklich machen Speichern die z.B. auch die Email-Adressen aus den Gästebucheinträgen? Da hätte ich nämlich was dagegen
ich habe mit Hilfe der Datei robots.txt mein Gästebuch vor den Such-Robots versteckt. Dies hatte vor allem den Grund weil mein Gästebuch zugespammt wurde.