Robots IP Adressbereiche

Von welcher IP besucht mich der Googlebot?

Diese Frage kann sehr wichtig sein, beispielsweise wenn ihr aktiv versucht Spammer von Eurem Server über die IP-Adresse auszusperren, Ihr aber trotzdem noch für Google zugänglich sein möchtet, solltet Ihr die IP-Adressen kennen, von die der Googlebot  aus die Webseite crwalt. Schließlich wollt Ihr ja nicht auch noch den Googlebot und andere nützliche Suchmaschinenbots von Eurer Seite aussperren.

Oder Ihr habt einen  geschlossenen Memberbereich der nur  für Mitglieder freigeschaltet ist. Suchmaschinen würden hier ausgesperrt werden, wenn die IPs der Bots bekannt sind, könnt Ihr diese auch für den geschlossenen Bereich freigeben. Im folgenden könnt Ihr eine Liste mit IP Adressbereichen uns User-Agents  sehen, die die Suchmaschinen Google, MSN bzw. Bing nutzen.

GOOGLE (GOOGLEBOT)

Google User-Agents

"AdsBot-Google (+https://www.google.com/adsbot.html)"User-Agents:
"DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +https://www.google.com/bot.html)"
"Googlebot-News"
"Googlebot-Image/1.0"
"Googlebot-Video/1.0"
"Googlebot/2.1 (+https://www.google.com/bot.html)"
"Googlebot/2.1 (+https://www.googlebot.com/bot.html)"
"Googlebot/Test (+https://www.googlebot.com/bot.html)"
"Googlebot/Test"
"Mediapartners-Google/2.1 (+https://www.googlebot.com/bot.html)"
"Mediapartners-Google/2.1"
"Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
"SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +https://www.google.com/bot.html)"
"gsa-crawler (Enterprise; S4-E9LJ2B82FJJAA; me@mycompany.com)"

Welche IP hat der BING Bot?

BING (MSNBOT)

Bingbot User Agents

"Mozilla/5.0 (compatible; bingbot/2.0; +https://www.bing.com/bingbot.htm)"
"Mozilla/5.0 (compatible; bingbot/2.0 +https://www.bing.com/bingbot.htm)"

Wer weitere Bots identifizieren möchte sollte dieser Seite einen Besuch abstatten: https://myip.ms/info/bots/Google_Bing_Yahoo_Facebook_etc_Bot_IP_Addresses.html

Anmerkung

Die Suchmaschinen selber empfehlen euch nicht eine Liste dieser Bots anzulegen, mit dem Verweiß, dass die IP-Adressen der Bots sich ändern könnten. Wer aber großzügige Bereiche Erlaubt und keine einzelne Adressen sollte eigentlich keine Probleme haben. Von daher nenne ich hier keinen einzelnen IPs sondern Adressbereiche. Allerdings erheben diese Listen auch keinen Anspruch auf Vollständigkeit. Fall Ihr noch weitere Adressen kennt, die nicht in den hier aufgeführten Adressbereichen hineinfallen, könnt ihr gerne einen Kommentar hinterlassen.

Suchmaschinenbots per Reverse & Forward DNS Lookup identifizieren

Google und Bing empfehlen anstatt einer starren Whitelist mit IPs, den Bot per Reverse DNS Lookup zu identifizieren. Wer Windows nutzt kann dies mit der cmd.exe tun.

Auf Linux basierenden System geht das wie folgt:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer 
crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Übrigens den Echtheit des Bingbots könnt ihr mit dieser Toolbox ganz einfach online überprüfen:

https://www.bing.com/toolbox/verify-bingbot

Google selber bietet leider nicht so eine nützliche Toolbox an. Vielleicht bietet Google in Zukunft so eine Toolboxin den Webmastertools an? Wünschenswert wäre es allemale.