Le piège : demander à l'IA ce que fait votre concurrent

L'erreur la plus fréquente que je vois : ouvrir ChatGPT, taper "fais-moi un benchmark des principaux acteurs de mon marché", puis de prendre pour argent comptant, ou presque, ce qui en sort.

Et ça serait le même problème avec Claude ou Gemini. Le problème n'est pas l'outil. C'est la source.

Une IA générative qui a accès à internet va chercher ce qui est publiquement disponible sur vos concurrents. Et ce qui est publiquement disponible, c'est quasi exclusivement leur discours marketing : pages produit, communiqués de presse, articles sponsorisés, cas clients rédigés par leurs propres équipes com. Ce que les équipes marketing de vos concurrents ont décidé de mettre en avant. Or le marketing a tendance à enjoliver. C'est son rôle. Certains raccourcis que j'ai vus dans la tech sont édifiants.

Prenez l'exemple d'un acteur qui se présente comme "la seule plateforme Zero Trust du marché". Le Zero Trust est un principe de conception, pas une fonctionnalité propriétaire qu'une seule entreprise pourrait détenir. Dire "la seule plateforme Zero Trust" c'est un peu comme dire "le seul logiciel qui utilise des bases de données". Et ça arrive plus fréquemment qu'on ne le pense : les équipes marketing ne comprennent pas toujours les produits qu'elles vendent, déconnectées de la réalité technique. Mais si vous demandez à une IA de vous faire une fiche sur cet acteur, elle va potentiellement reprendre cette claim mot pour mot. Et la bêtise se propage.

La clé : contrôler les sources avant de lancer l'IA

Un bon benchmark avec l'IA commence bien avant d'ouvrir un outil. Il commence par la sélection des sources.

La règle c'est simple : on ne donne à l'IA que des sources fiables, qui émanent des usages réels et des équipes techniques, pas du marketing. Si on faisait un benchmark dans le secteur de la santé, on partirait de publications scientifiques, d'études cliniques, de notices médicaments et de rapports HAS, pas des brochures commerciales rédigées par les laboratoires pharmaceutiques. La logique est exactement la même dans la tech, le SaaS ou n'importe quel secteur où le produit est complexe.

Concrètement, voici le type de sources sur lesquelles on s'appuie chez Joynt, quel que soit le secteur :

• La documentation officielle publiée par les acteurs : doc technique, fiches produit, datasheets disponibles en téléchargement (pas leur page «pourquoi nous»).

• Les publications de référence du secteur : changelogs et release notes pour la tech, études cliniques et rapports HAS pour la santé, rapports réglementaires pour la finance, standards techniques pour l'industrie.

• Les avis utilisateurs sur G2, Capterra, Trustpilot, pas les témoignages sélectionnés par l'entreprise, mais les vraies évaluations.

• Les forums et communautés où les utilisateurs parlent sans filtre (Reddit, communautés Slack ou Discord selon le secteur).

• Les offres d'emploi en cours : ce qu'une entreprise recrute dit beaucoup sur ses chantiers réels et ses lacunes actuelles.

Ce sont des données vérifiables, qui reflètent la réalité du produit et non son image projetée.

L'outil : NotebookLM pour garder le contrôle

Une fois les sources sélectionnées, l'outil que j'utilise et que je recommande en première approche c'est NotebookLM de Google, basé sur Gemini. C'est gratuit, accessible, et surtout il répond exactement au problème qu'on vient de décrire : vous choisissez vous-mêmes les documents que l'outil peut utiliser. Il ne va pas chercher ailleurs. Il travaille uniquement à partir de ce que vous lui avez donné.

Vous uploadez la documentation produit de vos concurrents, leurs fiches techniques, les avis G2 que vous avez sélectionnés. NotebookLM construit sa synthèse à partir de ces sources uniquement, en citant ses sources à chaque affirmation. Vous pouvez vérifier. Vous pouvez contester. Vous gardez le contrôle.

NotebookLM va bien au-delà du benchmark — c'est un outil qui mérite un article entier, et j'y reviendrai. Mais pour cet usage précis, c'est le point d'entrée le plus simple et le plus sûr.

La méthode : ce qu'on fait ensuite

Avoir les bonnes sources dans le bon outil ne suffit pas. Il faut encore savoir quoi en faire. Voici la structure qu'on applique chez Joynt pour produire un benchmark exploitable.

1. Définir les axes de comparaison avant de lancer l'IA

Ne laissez pas l'IA décider ce qui est important. Définissez en amont les dimensions qui comptent pour votre marché : fonctionnalités clés, positionnement tarifaire, cibles adressées, maturité technique, points forts identifiés par les utilisateurs, points de friction récurrents. C'est vous qui posez le cadre. L'IA remplit.

2. Interroger les sources par acteur, pas globalement

Plutôt que de demander "compare ces cinq acteurs", traitez chaque concurrent séparément dans un premier temps. Vous obtenez une fiche précise par acteur, que vous pouvez ensuite croiser. C'est plus long mais infiniment plus fiable.

3. Valider avec un regard humain expert

L'IA synthétise. C'est un humain qui interprète. Sur des marchés techniques, il faut quelqu'un qui comprend le produit pour valider que ce qui est sorti tient la route. Si vous êtes dans la cybersécurité, dans la santé, dans la fintech — la relecture technique est non négociable.

4. Mettre en forme pour rendre le benchmark lisible

Un bon benchmark mal présenté, c'est un benchmark qui ne sera pas lu. Une fois le travail d'analyse fait, je donne le résultat brut à Claude et lui demande des idées de mise en forme : tableau comparatif, structure de slides, document synthétique. L'IA n'invente rien à cette étape, elle accélère la réflexion sur la forme et vous évite de partir d'une page blanche. Ce qui prend habituellement une après-midi se règle en une heure.

Aller plus loin : l'IA comme détecteur de failles

La plupart des équipes s'arrêtent une fois les fiches acteurs prêtes. C'est une erreur. Vous avez la synthèse, mais pas encore l'intelligence.

On reste dans NotebookLM pour cette étape, mais on enrichit les sources : on y ajoute le benchmark qu'on vient de construire, et on intègre aussi, volontairement cette fois, les pages marketing qu'on avait écartées au départ, pages Features, pages tarification. L'objectif est de créer la confrontation entre ce que le concurrent dit de lui-même et ce que les sources fiables révèlent.

Voilà trois angles d'analyse particulièrement révélateurs qu'il peut être intéressant de demander :

Le test de cohérence. "Compare les promesses de la page Features avec les limites mentionnées dans la documentation technique. Où sont les zones d'ombre ? Qu'est-ce qu'ils ne disent pas ?"

L'analyse de friction. "En lisant ces avis utilisateurs sur G2, identifie les besoins récurrents qui ne sont jamais adressés dans la roadmap officielle."

Le scénario de bascule. "Si j'étais un client de [concurrent X], quelle serait la raison technique précise, et non marketing, qui me ferait changer d'acteur ?"

L'objectif n'est plus de savoir ce que fait le concurrent. C'est de comprendre où il est fragile. Et c'est là que le benchmark devient vraiment utile.

Ce qu'on retient

Un benchmark concurrentiel fait avec l'IA peut être l'un des livrables les plus utiles que vous produisez. Ou l'un des plus dangereux si les bases sont mauvaises. La différence ne tient pas à l'outil, mais à la rigueur avec laquelle vous avez sélectionné vos sources avant même d'ouvrir quoi que ce soit.

Ce travail de rigueur sur les sources, c'est exactement ce qu'on entend par marketing augmenté : l'IA accélère, mais c'est la méthode humaine qui garantit la qualité du résultat.

Garbage in, garbage out. C'est vieux comme l'informatique. L'IA n'a pas changé ça.

Joynt est une agence de marketing augmenté basée à Paris. On aide les dirigeants et leurs équipes à intégrer l'IA dans leurs processus marketing, avec les bonnes méthodes. Prenez rendez-vous avec nous.