Les robots d’exploration d’agents IA, ces robots qui récupèrent des pages en temps réel pour le compte d’une personne en attente de réponse, seront bloqués par défaut sur une partie du Web à partir du 15 septembre. Cloudflare a annoncé le changement le 1er juillet, et depuis lors, la majeure partie de la couverture médiatique s’est concentrée sur Google. La partie la plus utile est ce qu’elle demande à chacun des agents de construction et ce qu’elle leur offre en retour.
Cloudflare a remplacé son commutateur de robots IA à bloc unique par trois catégories. La recherche couvre les robots qui indexent une page pour répondre ultérieurement aux questions à ce sujet. L’agent couvre les systèmes automatisés agissant en temps réel pour un utilisateur, y compris le robot de récupération de ChatGPT et les agents de pilotage du navigateur. La formation couvre les robots d’exploration qui extraient le contenu dans les pondérations d’un modèle. Les contrôles ont été mis en ligne le 1er juillet pour chaque client, y compris le niveau gratuit.
A partir du 15 septembre, les valeurs par défaut changent. La formation et l’agent seront bloqués sur les pages qui affichent des publicités, tandis que la recherche restera autorisée. Les nouvelles valeurs par défaut s’appliquent aux domaines nouvellement intégrés à Cloudflare, aux nouveaux sites créés par les clients existants et à tous les clients gratuits existants.
Quiconque ne les souhaite pas peut se désinscrire via ses paramètres de sécurité avant la date.
La logique de Cloudflare est qu’une publicité est la preuve qu’une page a été créée pour qu’un humain puisse y atterrir. Un robot de recherche qui renvoie un lecteur est une référence. Un robot qui lit la page et donne la réponse à quelqu’un d’autre ne l’est pas.
Ce que rencontrent actuellement les robots d’exploration d’agents IA
Les déploiements d’agents ont été construits sur l’hypothèse que le Web ouvert reste ouvert. Un agent de recherche récupère la page de tarification d’un concurrent. Un outil de veille vérifie les annonces d’un fournisseur. Un agent du service client extrait la fiche technique d’un fabricant. Rien de tout cela n’implique une licence, et jusqu’à présent, rien de tout cela n’en nécessitait.
Cloudflare se trouve devant une grande partie du trafic Web mondial et ses blocs fonctionnent au niveau du réseau plutôt que comme une suggestion robots.txt qu’un robot d’exploration peut ignorer. Les pages financées par la publicité sont exactement les pages que souhaitent les agents, car c’est là que se trouvent les actualités, les avis, les prix et la couverture des produits. Le mode de défaillance d’un agent d’entreprise n’est pas un procès. C’est le silence, ou une réponse construite à partir de ce qu’elle peut encore atteindre.
Il existe une complication en forme de Google. Googlebot explore à la fois la recherche et la formation dans un seul bot. Ainsi, selon la règle la plus restrictive, un site qui bloque la formation bloque également Googlebot. Le PDG de Cloudflare, Matthew Prince, a déclaré que la société espère que les changements « encourageront les robots d’exploration à usage mixte à séparer la recherche de l’utilisation et de la formation des agents », ce qui est une manière polie de dire que la pression est le but.
Obtenir l’autorisation pour les robots d’exploration d’agents IA
Toute personne exécutant des agents doit commencer par déterminer lequel de ses comptes Cloudflare sera lu comme classe d’agent. La classification est comportementale plutôt que quelque chose que vous acceptez, de sorte qu’un agent de recherche qui navigue en temps réel est détecté, que son opérateur le considère ou non comme un robot d’exploration.
Attendez-vous à une couverture dégradée plutôt qu’à un échec net, car le bloc atterrit sur les pages financées par la publicité et laisse le reste accessible. L’accès négocié, et non une chaîne d’agent utilisateur réécrit, est la voie à suivre.
Les éditeurs ont une liste de devoirs différente. Vérifiez d’abord votre niveau, car les clients du niveau gratuit existants sont automatiquement déplacés vers les nouvelles valeurs par défaut le 15 septembre, un détail que la plupart des couvertures ont ignoré. Ensuite, décidez si le blocage de Training vaut ce qu’il coûte, car cela entraîne Googlebot et votre visibilité dans les recherches.
Le mécanisme à surveiller est l’argent. Le Pay Per Crawl devient le Pay Per Use, Ceramic.ai payant les éditeurs lorsque leur contenu apparaît dans les résultats de recherche de l’IA, et You.com payant lorsqu’un agent atteint un contenu premium. Cloudflare affirme que plus de la moitié du trafic des robots d’exploration de l’IA est consacré à la récupération de pages qui n’ont pas changé, il y a donc un gaspillage des deux côtés qui mérite d’être évalué.
Il s’agit du premier round de la bataille du contenu, où la réponse proposée est un tarif plutôt qu’un mur.
Une faiblesse réside dans la taxonomie elle-même. La recherche, l’agent et la formation sont des comportements que les sociétés d’IA déclarent à propos de leurs propres robots, et une entreprise qui préfère ne pas voir sa formation classée comme formation a une incitation évidente. L’annonce n’explique pas ce qui l’arrête.
L’accès au web ouvert est gratuit et illimité depuis trente ans, et la facture est désormais détaillée. Les constructeurs d’agents qui règlent leur accès avant septembre ont un problème réalisable. Ceux qui découvrent une 403 la reconstruiront à la volée.
