Proteção Contra Bots e Crawlers Verificados no X Shield

O X Shield vai bloquear o Googlebot?

Não. O X Shield deixa o Googlebot entrar na sua loja Shopify enquanto o Googlebot estiver marcado em Bypass global → Bots conhecidos, como acontece por padrão. Ele verifica o endereço de cada crawler contra as faixas de IP publicadas pelo Google, Bing, Apple, DuckDuckGo, OpenAI, Anthropic e Perplexity, ou a rede dele no caso da Meta, da Ahrefs e da Yandex. Com a Proteção contra bots ativada, Googlebots falsos são bloqueados.

Um crawler marcado que passa nessa verificação ignora toda proteção, então bloquear um país não impede o Google de indexar sua loja.

O que a Proteção contra bots bloqueia?

Visitantes automatizados que executam o JavaScript da sua loja e não estão na sua lista permitida. Para ativá-la, vá até a Visão geral e, em Controle de acesso, ative a Proteção contra bots; um toast diz Recurso ativado. O Ativar todas do guia de configuração faz o mesmo. Ela está incluída em todos os planos hoje (compare os planos).

Observação: A Proteção contra bots funciona dentro do navegador do visitante. Clientes que nunca executam o JavaScript das suas páginas, como curl, python-requests, Scrapy e a maioria dos crawlers de IA, recebem seu HTML de qualquer forma, endpoints de dados como /products.json nunca são verificados, e um navegador headless bem disfarçado pode passar. As miniaturas de tema da Shopify e as auditorias do Lighthouse, o motor por trás do PageSpeed Insights, são deixadas passar.

Quais crawlers o X Shield reconhece, e como?

Dez famílias de crawlers, listadas em Bypass global → Bots conhecidos. Cada uma é verificada pelo endereço, usando as faixas de IP publicadas pelo fornecedor ou sua rede (ASN), nunca só pelo user agent. O Google documenta comparar o endereço IP de um crawler com suas faixas publicadas como uma forma de verificar o Googlebot.

Para mudar a lista, marque ou desmarque uma entrada e clique em Save. Um crawler desmarcado não recebe bypass: com a Proteção contra bots ativada, ele é bloqueado, e suas outras regras o tratam como qualquer visitante. Crawlers que não publicam faixas de IP que o X Shield consiga verificar, como Pinterestbot, Amazonbot e o Bytespider da ByteDance, não podem ser verificados, então não podem ser adicionados.

O que acontece com um bot fingindo ser o Googlebot?

Com a Proteção contra bots ativada, ele é bloqueado. Se o user agent de um visitante diz Googlebot mas o endereço dele não está nas faixas do Google, o X Shield o trata como falso, mostra a página de bloqueio e registra Bot detected (SP): … em Análises.

Com a Proteção contra bots desativada, um crawler falso não recebe tratamento especial: suas regras de país, IP e rede se aplicam a ele como a qualquer um. A Proteção contra bots nunca bloqueia um crawler só porque a própria consulta de IP do X Shield falhou.

Devo permitir crawlers de IA como o GPTBot e o ClaudeBot?

Marque-os se você quer que buscas e assistentes de IA leiam suas páginas; deixe-os desmarcados se preferir que não leiam. Eles são opcionais: OpenAI (GPTBot, ChatGPT), Claude (Anthropic) e Perplexity começam desmarcados, então com a Proteção contra bots ativada, o X Shield os bloqueia quando executam o JavaScript das suas páginas.

A maioria dos crawlers de IA nunca executa JavaScript, então recebem seu HTML de qualquer forma, marcados ou não. Para pedir que fiquem longe, a Shopify permite editar o robots.txt, embora a Shopify observe que essas regras são apenas indicativas e nem todo crawler as segue. A Shopify também observa que bloquear crawlers de IA afeta apenas a descoberta na web aberta: os dados de produto que você compartilha com storefronts agênticos chegam a eles de qualquer forma pelo Shopify Catalog.

Por que o X Shield avisa que os crawlers do Facebook e do Instagram estão bloqueados?

Porque o Meta (Facebookbot) está desmarcado. O crawler da Meta busca a imagem de prévia, o título e o preço quando sua loja é compartilhada no Facebook, Instagram, WhatsApp ou Messenger, e ele alimenta o Instagram Shopping.

1. Em Bypass global, clique em Permitir a Meta no aviso, ou marque Meta (Facebookbot).
2. Clique em Save.

A Meta é verificada pela rede dela, então permiti-la não pode ser falsificado. Se uma nota disser que a Meta foi adicionada à lista em uma certa data, o X Shield corrigiu um padrão desatualizado na sua loja; desmarque-a se preferir bloquear a Meta.

E se um crawler chegar à página de bloqueio mesmo assim?

A página de bloqueio diz aos mecanismos de busca para não indexá-la (noindex,nofollow), então aquele endereço pode sair dos resultados do Google em vez de mostrar “Access denied”. Isso acontece se você desmarcar o Googlebot, ou para crawlers que o X Shield não consegue verificar.

Manter o Googlebot marcado significa que o Google vê páginas que seus visitantes bloqueados não conseguem. A orientação do Google para páginas que mudam por localização é tratar o Googlebot como qualquer visitante do país de onde ele parece vir, e os endereços padrão do Googlebot parecem estar nos Estados Unidos. Se você bloquear os Estados Unidos, leia antes bloquear países prejudica o SEO?

Como verifico se o Google ainda consegue rastrear minha loja?

Rode um teste ao vivo no Google Search Console. A captura de tela deve mostrar sua loja, não a página de bloqueio.

1. No Search Console, inspecione uma das URLs dos seus produtos com a ferramenta de inspeção de URL.
2. Clique em Test live URL.
3. Clique em View tested page e abra a aba Screenshot.

O teste ao vivo usa o Google-InspectionTool, que o X Shield verifica em Googlebot. Nos planos pagos, Bypass global também lista Bypasses recentes, onde as visitas de crawlers verificados aparecem como Crawler verificado.

Relacionado

• Bloquear países prejudica o SEO?
• Como funciona o bloqueio por país
• Tráfego de bots de Cingapura e da China, explicado
• Bloqueio de VPN e de redes de scrapers