Robots IP Adressbereiche

Googlebot und Bing Bot identifizieren
Googlebot und Bing Bot identifizieren | © Carsten Reisinger – Fotolia.com

Von welcher IP besucht mich der Googlebot?

Diese Frage kann sehr wichtig sein, beispielsweise wenn ihr aktiv versucht Spammer von Eurem Server über die IP-Adresse auszusperren, Ihr aber trotzdem noch für Google zugänglich sein möchtet, solltet Ihr die IP-Adressen kennen, von die der Googlebot  aus die Webseite crwalt. Schließlich wollt Ihr ja nicht auch noch den Googlebot und andere nützliche Suchmaschinenbots von Eurer Seite aussperren.

Oder Ihr habt einen  geschlossenen Memberbereich der nur  für Mitglieder freigeschaltet ist. Suchmaschinen würden hier ausgesperrt werden, wenn die IPs der Bots bekannt sind, könnt Ihr diese auch für den geschlossenen Bereich freigeben. Im folgenden könnt Ihr eine Liste mit IP Adressbereichen uns User-Agents  sehen, die die Suchmaschinen Google, MSN bzw. Bing nutzen.

GOOGLE (GOOGLEBOT)

VonBisWHOIS
64.233.160.064.233.191.255WHOIS
66.102.0.066.102.15.255WHOIS
66.249.64.066.249.95.255WHOIS
72.14.192.072.14.255.255WHOIS
74.125.0.074.125.255.255WHOIS
203.208.32.0203.208.63.255WHOIS
209.85.128.0209.85.255.255WHOIS
216.239.32.0216.239.63.255WHOIS

Google User-Agents

"AdsBot-Google (+https://www.google.com/adsbot.html)"User-Agents:
"DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +https://www.google.com/bot.html)"
"Googlebot-News"
"Googlebot-Image/1.0"
"Googlebot-Video/1.0"
"Googlebot/2.1 (+https://www.google.com/bot.html)"
"Googlebot/2.1 (+https://www.googlebot.com/bot.html)"
"Googlebot/Test (+https://www.googlebot.com/bot.html)"
"Googlebot/Test"
"Mediapartners-Google/2.1 (+https://www.googlebot.com/bot.html)"
"Mediapartners-Google/2.1"
"Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
"SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +https://www.google.com/bot.html)"
"gsa-crawler (Enterprise; S4-E9LJ2B82FJJAA; me@mycompany.com)"

Welche IP hat der BING Bot?

BING (MSNBOT)

VonBisWHOIS
65.52.0.065.55.255.255WHOIS
131.253.21.0
131.253.47.255WHOIS
157.54.0.0157.60.255.255WHOIS
199.30.16.0199.30.31.255WHOIS
207.46.0.0207.46.255.255
WHOIS

Bingbot User Agents

"Mozilla/5.0 (compatible; bingbot/2.0; +https://www.bing.com/bingbot.htm)"
"Mozilla/5.0 (compatible; bingbot/2.0 +https://www.bing.com/bingbot.htm)"

Wer weitere Bots identifizieren möchte sollte dieser Seite einen Besuch abstatten: https://myip.ms/info/bots/Google_Bing_Yahoo_Facebook_etc_Bot_IP_Addresses.html

Anmerkung

Die Suchmaschinen selber empfehlen euch nicht eine Liste dieser Bots anzulegen, mit dem Verweiß, dass die IP-Adressen der Bots sich ändern könnten. Wer aber großzügige Bereiche Erlaubt und keine einzelne Adressen sollte eigentlich keine Probleme haben. Von daher nenne ich hier keinen einzelnen IPs sondern Adressbereiche. Allerdings erheben diese Listen auch keinen Anspruch auf Vollständigkeit. Fall Ihr noch weitere Adressen kennt, die nicht in den hier aufgeführten Adressbereichen hineinfallen, könnt ihr gerne einen Kommentar hinterlassen.

Suchmaschinenbots per Reverse & Forward DNS Lookup identifizieren

Google und Bing empfehlen anstatt einer starren Whitelist mit IPs, den Bot per Reverse DNS Lookup zu identifizieren. Wer Windows nutzt kann dies mit der cmd.exe tun.

Reverse & Forward DND Lookup in Windows
Screenshot: Reverse & Forward DND Lookup in Windows mit cmd.exe

Auf Linux basierenden System geht das wie folgt:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer 
crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Übrigens den Echtheit des Bingbots könnt ihr mit dieser Toolbox ganz einfach online überprüfen:

https://www.bing.com/toolbox/verify-bingbot

Google selber bietet leider nicht so eine nützliche Toolbox an. Vielleicht bietet Google in Zukunft so eine Toolboxin den Webmastertools an? Wünschenswert wäre es allemale.

3 Kommentare zu „Robots IP Adressbereiche“

  1. Super Artikel vielen Dank! Das htaccess File kann man dann wie folgt für die Google Bots freigeben:
    Order allow,deny
    Allow from 64.233.160.0/19
    Allow from 66.102.0.0/20
    Allow from 66.249.64.0/19
    Allow from 72.14.192.0/18
    Allow from 74.125.0.0/16
    Allow from 203.208.32.0/19
    Allow from 209.85.128.0/17
    Allow from 216.239.32.0/19

  2. Ich habe schon oft eine halbbe Stuhde damit verbracht,
    die Blogbeitrag oder Kommentare dieser Webseite mit
    eimer Tasse Kaffee zu lesen.

Kommentar verfassen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

18 + 17 =

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

Nach oben scrollen