MSNBot richtig erkennen

12.12.2006

Meldungen von Bots oder Browsern, die in Server Logs erfasst werden sind nicht besonders vertrauenswürdig. Die Einträge können über die Clientkennung (User Agent) leicht manipuliert werden. Die Statistiken der Logdateien werden hierdurch verfälscht. Deshalb erklärt MSN wie die MSNBots identifiziert werden können.

Die Crawler von MSN melden sich mit MSNBot. Dieser String im Weblog alleine ist jedoch keine Garantie für den Besuch eines echten Bots von MSN.

MSN weist ausdrücklich darauf hin dass es unterschiedliche Crawler für  unterschiedliche Inhalte gibt.

MSNBot - erfasst textbasierte Inhalte für Live.com

MSNBot-Media - Bilder und alle anderen Mediendateien für images.live.com.

MSNBot-NewsBlogs - erfasst Nachrichten und Blogs. search.live.com/news

MSNBot-Products - Produkte & Shopping products.live.com

MSNBot-Academic - Akademische Suche academic.live.com

So erkennen Sie die echten MSN-Bots:

1. Für die Anforderung von Webseiten werden die obigen Bezeichnungen für den “User-Agent” eingesetzt. Alle MSN-Abrufe enthalten das Wort “MSNBot”.
   
   
2. Per DNS Lookup lässt sich feststellen wer hinter einer IP-Adresse steckt. Sie erhalten den Host-Namen.
   
   
3. Alle Domains der MSNBots enden mit search.live.com. Bringt die Domain-Auflösung einen anderen Host-Namen handelt es sich nicht um Crawler von MSN.
   
   
4. Mit einem sogenannten Forward DNS lässt sich feststellen, ob die IP-Adresse tatsächlich mit der Domain zusammengehört. Falls nicht die unter 2. und 3. ermittelten Daten zusammenpassen ist die IP-Adresse gefälscht.