Częste odrzucenia

robots.txt blokuje Twoje reklamy

To najbardziej mylące odrzucenie ze wszystkich. Strona świetnie rankuje w wyszukiwarce Google, więc masz pewność, że nic nie jest zablokowane, a mimo to każda reklama Shopping dla tej strony jest odrzucana. Przyczyną jest jedna linijka, której większość ludzi nigdy nie miała powodu czytać uważnie.

Czego wymaga Google

Trzy różne roboty, wszystkie z dostępem

Google dociera do Twojego sklepu więcej niż jednym robotem, a Shopping zależy od trzech z nich:

Googlebot, który czyta Twoje strony docelowe.
Googlebot-image, który pobiera Twoje zdjęcia produktów.
AdsBot-Google, który sprawdza stronę docelową za reklamą.

Aby produkt mógł być reklamowany, wszystkie trzy muszą mieć w robots.txt dostęp do odpowiednich części Twojej witryny. Wyszukiwarkę i Shopping obsługują różne boty, a to, że jeden jest mile widziany, nie mówi nic o drugim.

Dlaczego to takie mylące

AdsBot-Google ignoruje grupę wieloznaczną

Większość plików robots.txt zawiera grupę wieloznaczną, User-agent: *, rozumianą jako "te reguły obowiązują każdego robota". Właśnie ta intuicja sprawia, że tę usterkę tak trudno zauważyć, bo AdsBot-Google jest celowym wyjątkiem: w ogóle nie stosuje się do grupy wieloznacznej. Przestrzega wyłącznie reguł napisanych dla niego z nazwy.

Taki plik wygląda więc niegroźnie, a niegroźny nie jest:

User-agent: *
Disallow: /checkout/
Disallow: /cart/

Roboty wyszukiwarki czytają grupę wieloznaczną, omijają /checkout/ i normalnie indeksują resztę witryny, dlatego strona rankuje. AdsBot-Google całkowicie ignoruje tę grupę. Jeśli nie ma grupy o nazwie AdsBot-Google, która dopuszcza strony docelowe, albo, co gorsza, pod jego nazwą stoi zabłąkane Disallow: /, każda reklama Shopping wskazująca te strony jest odrzucana, podczas gdy wyszukiwarka działa dalej, jakby nic się nie stało.

Jak naprawić to ręcznie

Nazwij bota i daj mu dostęp

Pobierz https://twojadomena/robots.txt w przeglądarce i przeczytaj go w całości, łącznie z każdą grupą napisaną konkretnie dla AdsBot-Google.
Jeśli AdsBot ma zakaz wstępu na Twoje strony docelowe, dodaj grupę, która je dopuszcza, pamiętając, że nie odziedziczy ona niczego z grupy wieloznacznej:
```
User-agent: AdsBot-Google
Allow: /
```
Potwierdź, że Googlebot może dotrzeć do Twoich stron docelowych, a Googlebot-image do ścieżek Twoich zdjęć, aby ani wyszukiwarka, ani weryfikacja zdjęć również nie były zablokowane.
Uważaj na wtyczkę bezpieczeństwa, regułę CDN lub zaporę, która blokuje nieznane user agenty: potrafi zatrzymać AdsBota nawet wtedy, gdy robots.txt jest poprawny.

Które z naszych kontroli tu działają

Kontrole robots, które uruchamia FeedMender

Analiza wysyła jedno żądanie na domenę i testuje trzy user agenty osobno, bo cały sęk w tym, że nie zachowują się tak samo. To próbka, a nie wyczerpujące pokrycie: najwyżej trzy domeny i najwyżej pięć ścieżek stron docelowych na domenę, przez HTTPS. Sklep serwowany z jednej domeny, czyli prawie każdy, jest pokryty w całości.

robots_blocks_adsbot_googlelink, blokuje
robots_blocks_googlebotlink, blokuje
robots_blocks_googlebot_imagelink, blokuje

To jedna rodzina kodu, składana per robot, więc ta sama kontrola czyta kolejno każdy user agent. Na liście kontroli figuruje jako *robots_blocks_ wśród rodzin per atrybut.

Szybsza droga

Pozwól analizie przeczytać go za Ciebie

Ponieważ ta usterka kryje się za stroną, która rankuje, warto, aby coś sprawdziło reguły robots dla wszystkich trzech robotów wprost. Bezpłatna analiza czyta Twój robots.txt i raportuje osobno dla Googlebot, Googlebot-image i AdsBot-Google.