Häufige Ablehnungen

robots.txt blockiert Ihre Anzeigen

Das ist die verwirrendste Ablehnung überhaupt. Die Seite rankt bestens in der Google-Suche, Sie sind also sicher, dass nichts blockiert ist, und trotzdem wird jede Shopping-Anzeige dafür abgelehnt. Die Ursache ist eine Zeile, die die meisten nie genau lesen mussten.

Was Google verlangt

Drei verschiedene Crawler, alle zugelassen

Google erreicht Ihren Shop mit mehr als einem Crawler, und Shopping hängt von dreien ab:

Googlebot, der Ihre Zielseiten liest.
Googlebot-image, der Ihre Produktbilder abruft.
AdsBot-Google, der die Zielseite hinter einer Anzeige prüft.

Damit ein Produkt beworben werden kann, müssen alle drei in der robots.txt die relevanten Teile Ihrer Website erreichen dürfen. Suche und Shopping werden von verschiedenen Bots bedient, und bei dem einen willkommen zu sein sagt nichts über den anderen.

Warum es so verwirrend ist

AdsBot-Google ignoriert die Wildcard-Gruppe

Die meisten robots.txt-Dateien enthalten eine Wildcard-Gruppe, User-agent: *, was heißt: "Diese Regeln gelten für jeden Crawler". Genau diese Intuition macht den Fehler so schwer zu erkennen, denn AdsBot-Google ist eine bewusste Ausnahme: Er befolgt die Wildcard-Gruppe überhaupt nicht. Er folgt nur Regeln, die namentlich für ihn geschrieben sind.

Eine Datei wie diese sieht also harmlos aus und ist es nicht:

User-agent: *
Disallow: /checkout/
Disallow: /cart/

Such-Crawler lesen die Wildcard-Gruppe, meiden /checkout/ und indexieren den Rest der Website normal, deshalb rankt die Seite. AdsBot-Google ignoriert diese Gruppe komplett. Gibt es keine Gruppe namens AdsBot-Google, die die Zielseiten erlaubt, oder schlimmer, steht unter seinem Namen ein verirrtes Disallow: /, wird jede Shopping-Anzeige auf diese Seiten abgelehnt, während die Suche weiterläuft, als wäre nichts.

So beheben Sie es von Hand

Den Bot beim Namen nennen und zulassen

Rufen Sie https://ihredomain/robots.txt im Browser auf und lesen Sie die Datei vollständig, einschließlich jeder Gruppe, die speziell für AdsBot-Google geschrieben ist.
Ist AdsBot von Ihren Zielseiten ausgeschlossen, fügen Sie eine Gruppe hinzu, die sie erlaubt, und denken Sie daran, dass er nichts aus der Wildcard-Gruppe erbt:
```
User-agent: AdsBot-Google
Allow: /
```
Prüfen Sie, ob Googlebot Ihre Zielseiten und Googlebot-image Ihre Bildpfade erreichen kann, damit weder die Suche noch die Bildprüfung blockiert ist.
Achten Sie auf Security-Plugins, CDN-Regeln oder Firewalls, die unbekannte User-Agents blockieren; das kann AdsBot stoppen, selbst wenn die robots.txt korrekt ist.

Welche unserer Prüfungen greifen

Die robots-Prüfungen, die FeedMender ausführt

Der Scan stellt eine Anfrage pro Domain und testet die drei User-Agents getrennt, denn der springende Punkt ist ja, dass sie sich nicht gleich verhalten. Es ist eine Stichprobe, keine erschöpfende Abdeckung: höchstens drei Domains und höchstens fünf Zielseitenpfade pro Domain, über HTTPS. Ein Shop, der von einer einzigen Domain ausliefert, und das sind fast alle, ist vollständig abgedeckt.

robots_blocks_adsbot_googlelink, blockiert
robots_blocks_googlebotlink, blockiert
robots_blocks_googlebot_imagelink, blockiert

Diese drei sind eine Codefamilie, pro Crawler zusammengesetzt, dieselbe Prüfung liest also jeden User-Agent der Reihe nach. Sie steht auf der Liste der Prüfungen als *robots_blocks_ unter den Familien pro Attribut.

Der schnellere Weg

Lassen Sie den Scan sie für Sie lesen

Weil sich dieser Fehler hinter einer Seite versteckt, die rankt, lohnt es sich, die robots-Regeln für alle drei Crawler ausdrücklich prüfen zu lassen. Der kostenlose Scan liest Ihre robots.txt und berichtet getrennt über Googlebot, Googlebot-image und AdsBot-Google.