Forum

Ich habe mal meine Suchmaschinen Optimierung, Stichwort robot.txt, verbessert. Nun beobachte ich die Sache seid ein paar Wochen.
Dabei habe ich folgendes festgestellt.
Einige Suchmaschinen überfluten mich gerade zu. Die kommen aus dem osteuropäischen Raum, Schweden oder auch überregional(Yahoo).

An sich ja keine schlechte Sache, aber zum einen wird dann der Seitenaufbau langsamer und zum anderen hat sich an meinem Ranking bei den Suchmaschinen auch nicht unbedingt was verbessert.

Ich weiß etliche User hatten schon ähnliche Erfahrungen und auch andere "Nicht OPN Communitys" berichten darüber.

Gibt es schon Erfahrungswerte, wie man damit am besten umgeht?

Das ist ein interessantes Thema.

Die erfahrung kann ich bestätigen vor allem Yahoo. Eigentlich sollten haben die extra tags für die robot.txt die die Anzahl der Gleichzeitigen Besuche setzen sollen, aber da hält er sich nicht ran.

Das ganze ist nicht so einfach die es erst aussieht. Eigentlich denkt man ja dann das man dann einfach die/den IP Bereich sperren könnte.

Kann man ja auch, aber dann bekommt der BOT ein 403 was nicht wirklich hilft. Auf apache ebene ist da nicht wirklich eine Lösung möglich. Jedenfalls nicht so einfach.

Ist also ein Problem.

Ja ein sehr grosses Problem sogar.

Stefan weiss das ja, ich habe gerade den Yahoo Crawler ich weiss nicht wo alles versucht auszuschliessen, aber irgendwie keine Chance.
Auf einer meiner Webseiten habe ich den bis zu teilweise über 400mal online und das löst jedes mal eine Errormail aus, warum auch immer.

Errorlog habe ich bei mir jetzt komplett deaktiviert auf meinen Seiten, weil mit den zusätzlichen Spams.... leg ich sonst Stefans Mail-Server wieder lahm

Mal im Nebel stocher, weil ja nicht wirklich Ahnung hab.

Könnte man die nicht auf eine Seite umleiten(per Blacklist), alternativ wie 403, wo dann steht "Du bist ein dummer Robot und mußt draußen bleiben"? Oder so ähnlich.

Vielleicht machen sich dann Yahoo und Kollegen mal ein paar Gedanken.

leider kannst du gerade beim Yahoo Crawler nicht eine einzige IP sperren. Du musst den ganzen IP Block sperren, was dann aber eben auch nicht gerade optimal ist.

aber wenn du zuwenig Mail hast, dann lasse dir die Error Logs zu senden und du zwingst den Mailserver in die Knie

Flash

Selbst das mit dem IP-Block hat nicht funktioniert... der macht grad was er will^^ der Yahoo...

das mit dem IP Block geht schon, nur du läuft in die besagte Falle Error Code 403 und dann trotzdem Trafik + Mail.

Selbst wenn du beim 403 ein "die()" machst ist zwar weniger Trafik aber apache ist trotzdem ausgelastet. Das Hilft wenn dann nur wenig und alle 403 zumachen mit die() ist auch nicht gut.

Sagte ja hab nicht wirklich eine gut Lösung bis jetzt. Bliebe iptables aber das ist Handarbeit. Und gesamt bezogen.

@ Stefan

http://sp.de.ask.com/de/docs/about/asksearch.shtml

http://www.ysearchblog.com/archives/000078.html

Tipp für die robost.txt:
Bedeutet, dass der Crawler zwischen 2 Request immer 20 Sekunden versteichen lassen muss. Auch keine optimale Lösung, aber reduziert den Traffic schon mal ordentlich.

User-agent: Slurp
Crawl-delay: 20


Flash

Rolf ja kenne ich aber das hilft nicht, jedenfalls hat er sich bei mir nicht dran gehalten.