Protection contre les robots et robots vérifiés — X Shield
X Shield va-t-il bloquer Googlebot ?
Non. X Shield laisse Googlebot entrer dans votre boutique Shopify tant que Googlebot est coché sous Contournement global → Bots connus, ce qui est le cas par défaut. Il vérifie l’adresse de chaque robot par rapport aux plages IP publiées par Google, Bing, Apple, DuckDuckGo, OpenAI, Anthropic et Perplexity, ou par son réseau pour Meta, Ahrefs et Yandex. Avec la Protection contre les robots activée, les faux Googlebots sont bloqués.
Un robot coché qui passe ce contrôle échappe à toutes les protections, donc bloquer un pays n’empêche pas Google d’indexer votre boutique.
Que bloque la Protection contre les robots ?
Les visiteurs automatisés qui exécutent le JavaScript de votre boutique et ne figurent pas sur votre liste autorisée. Pour l’activer, allez sur l’Aperçu et, sous Contrôle d’accès, activez Protection contre les robots ; un toast dit Fonctionnalité activée. Toutes les activer dans le guide de configuration fait de même. C’est inclus sur tous les forfaits aujourd’hui (comparer les forfaits).
| Détail dans Analyses | Ce que X Shield a vu |
|---|---|
Bot detected (NA): … |
Un robot vérifié que vous n’avez pas coché dans Bots connus |
Bot detected (SP): … |
Un visiteur revendiquant le nom d’un robot depuis une adresse qui n’est pas celle du robot |
Bot detected (IP): recognised crawler, not allowed |
Un robot reconnu par son adresse que Bots connus n’autorise pas |
Bot detected (UA): … |
Un client dont le user agent n’est pas celui d’un navigateur |
Bot detected (AT): … |
Un outil d’automatisation qui ne se cache pas |
Remarque : La Protection contre les robots fonctionne dans le navigateur du visiteur. Les clients qui n’exécutent jamais le JavaScript de vos pages, comme curl, python-requests, Scrapy et la plupart des robots IA, reçoivent quand même votre HTML, les points d’accès de données comme
/products.jsonne sont jamais vérifiés, et un navigateur headless bien déguisé peut passer. Les miniatures de thème de Shopify et les audits Lighthouse, le moteur derrière PageSpeed Insights, sont laissés passer.
Quels robots X Shield reconnaît-il, et comment ?
Dix familles de robots, listées sous Contournement global → Bots connus. Chacune est vérifiée par son adresse, à l’aide des plages IP publiées par l’éditeur ou de son réseau (ASN), jamais par le seul user agent. Google documente la comparaison de l’adresse IP d’un robot à ses plages publiées comme une façon de vérifier Googlebot.
| Entrée Bots connus | Couvre | Vérifié par | Par défaut |
|---|---|---|---|
| Googlebot | Googlebot, Google-InspectionTool, Storebot-Google, AdsBot-Google et autres robots Google | Plages IP publiées | Autorisé |
| Bingbot (Microsoft) | bingbot, BingPreview, AdIdxBot | Plages IP publiées | Autorisé |
| Applebot | Applebot | Plages IP publiées | Autorisé |
| DuckDuckBot | DuckDuckBot, DuckAssistBot | Plages IP publiées | Autorisé |
| Meta (Facebookbot) | facebookexternalhit, meta-externalagent et autres robots Meta | Réseau (ASN) | Autorisé |
| OpenAI (GPTBot, ChatGPT) | GPTBot, ChatGPT-User, OAI-SearchBot | Plages IP publiées | Bloqué |
| Claude (Anthropic) | ClaudeBot, Claude-User, Claude-SearchBot | Plages IP publiées | Bloqué |
| Perplexity | PerplexityBot | Plages IP publiées | Bloqué |
| AhrefsBot | AhrefsBot, AhrefsSiteAudit | Réseau (ASN) | Bloqué |
| YandexBot | YandexBot, YaDirectFetcher | Réseau (ASN) | Bloqué |
Pour modifier la liste, cochez ou décochez une entrée et cliquez sur Save. Un robot décoché n’a droit à aucun contournement : avec la Protection contre les robots activée, il est bloqué, et vos autres règles le traitent comme n’importe quel visiteur. Les robots qui ne publient aucune plage IP que X Shield puisse vérifier, comme Pinterestbot, Amazonbot et Bytespider de ByteDance, ne peuvent pas être vérifiés et donc pas être ajoutés.
Que se passe-t-il pour un robot qui se fait passer pour Googlebot ?
Avec la Protection contre les robots activée, il est bloqué. Si le user agent d’un visiteur indique Googlebot mais que son adresse ne figure pas dans les plages de Google, X Shield le traite comme un faux, affiche la page de blocage et enregistre Bot detected (SP): … dans Analyses.
Avec la Protection contre les robots désactivée, un faux robot ne reçoit aucun traitement particulier : vos règles de pays, d’IP et de réseau s’appliquent à lui comme à n’importe qui. La Protection contre les robots ne bloque jamais un robot simplement parce que la recherche IP de X Shield a échoué.
Dois-je autoriser les robots IA comme GPTBot et ClaudeBot ?
Cochez-les si vous voulez que la recherche et les assistants IA lisent vos pages ; laissez-les décochés si vous préférez qu’ils ne le fassent pas. Ils sont optionnels par défaut : OpenAI (GPTBot, ChatGPT), Claude (Anthropic) et Perplexity démarrent décochés, donc avec la Protection contre les robots activée, X Shield les bloque quand ils exécutent le JavaScript de vos pages.
La plupart des robots IA n’exécutent jamais de JavaScript, donc ils reçoivent votre HTML quoi que vous cochiez. Pour leur demander de rester à l’écart, Shopify vous permet de modifier robots.txt, même si Shopify précise que ces règles sont indicatives et que tous les robots ne les suivent pas. Shopify précise aussi que bloquer les robots IA n’affecte que la découverte sur le web ouvert : les données produit que vous partagez avec des boutiques agentiques les atteignent de toute façon via Shopify Catalog.
Pourquoi X Shield avertit-il que les robots Facebook et Instagram sont bloqués ?
Parce que Meta (Facebookbot) est décoché. Le robot de Meta récupère l’image d’aperçu, le titre et le prix quand votre boutique est partagée sur Facebook, Instagram, WhatsApp ou Messenger, et il alimente Instagram Shopping.
- Sur Contournement global, cliquez sur Autoriser Meta dans l’avertissement, ou cochez Meta (Facebookbot).
- Cliquez sur Save.
Meta est vérifié par son réseau, donc l’autoriser ne peut pas être usurpé. Si une note indique que Meta a été ajouté à la liste à une certaine date, X Shield a corrigé une valeur par défaut obsolète sur votre boutique ; décochez-le si vous préférez bloquer Meta.
Que se passe-t-il si un robot atteint quand même la page de blocage ?
La page de blocage indique aux moteurs de recherche de ne pas l’indexer (noindex,nofollow), donc cette URL peut disparaître des résultats de Google plutôt que d’afficher « Access denied ». Cela arrive si vous décochez Googlebot, ou pour les robots que X Shield ne peut pas vérifier.
Garder Googlebot coché signifie que Google voit des pages que vos visiteurs bloqués ne peuvent pas voir. Les recommandations de Google pour les pages qui changent selon la localisation sont de traiter Googlebot comme n’importe quel visiteur du pays d’où il semble venir, et les adresses par défaut de Googlebot semblent se situer aux États-Unis. Si vous bloquez les États-Unis, lisez d’abord le blocage géographique nuit-il au SEO ?
Comment vérifier que Google peut toujours explorer ma boutique ?
Lancez un test en direct dans Google Search Console. La capture d’écran doit montrer votre boutique, et non la page de blocage.
- Dans Search Console, inspectez l’une de vos URL produit avec l’outil d’inspection d’URL.
- Cliquez sur Test live URL.
- Cliquez sur View tested page et ouvrez l’onglet Screenshot.
Le test en direct utilise Google-InspectionTool, que X Shield vérifie sous Googlebot. Sur les forfaits payants, Contournement global liste aussi les Contournements récents, où les visites de robots vérifiés apparaissent comme Robot vérifié.
