Forum

Ist da ein Fehler oder gibt es da eine Möglichkeit wo man dies auch verhindern kann.

ich denke ja

Mit dem User-agent: * sperrst du deine angegebenen Verzeichnisse für alle Bots und Spider, das ist korrekt.

Danach schreibst du jedoch
User-agent: googlebot
Disallow: /safetytrap

Der Googlebot hält sich an deine Anweisung, da du die ja für den Googlebot explizit definiert hast.
Das Verzeichnis /safetytrap wird nicht mehr durchsucht, jedoch alles andere.

Nimm also den Eintrag vom Googlebot weg, oder ergänze diesen mit den Verzeichnisse welche nicht durchsucht werden sollen und warte ein paar Tage.

Teste das ganzen über die Webmastertools.


Flash

Hm trotz Sperre in der robots.txt werden PDF Dateien bei Google aufgenommen und dann in den Suchergebnissen angezeigt. Hier ein Beispiel: http://www.google.de/search?q=%22N%C3%BCrnberger%22+AND+Versicher&num=100&hl=de&lr=lang_de&tbs=lr:lang_1de,qdr:d&prmd=ivns&source=lnt&sa=X&ei=MExiTfu3GsGt8gO75eXxCA&ved=0CBUQpwUoAg
(Anzeige kann natürlich bei Euch schon wieder anders aussehen.)

# /robots.txt for your openPHPnuke Site
#
# default no bot is allowed to search the Site 

User-agent: *
Disallow: /admin
Disallow: /cache
Disallow: /cgi-bin
Disallow: /class
Disallow: /default_images
Disallow: /html
Disallow: /images
Disallow: /include
Disallow: /install
Disallow: /java
Disallow: /opn-bin
Disallow: /pro
Disallow: /themes
Disallow: /developer
Disallow: /w3c

User-agent: *
Disallow: /safetytrap

User-agent: googlebot
Disallow: /safetytrap
 

Ist da ein Fehler oder gibt es da eine Möglichkeit wo man dies auch verhindern kann.