Comment on mesure.

Ce que l'on compte

Une réponse est le texte rendu par un assistant IA à une requête d'achat, à un instant donné. skoup en tire les produits et les marques recommandés, dans l'ordre où ils apparaissent, ainsi que les sources citées.

La part de rayon d'un produit est le nombre de réponses qui le citent, divisé par le nombre de réponses analysées sur la même requête, le même marché et la même période. Un produit cité deux fois dans une réponse compte une fois. Sa position est le premier rang auquel il apparaît ; la position moyenne ne porte que sur les réponses qui le citent.

Quand et combien de fois

Chaque marque règle sa cadence et le nombre de réponses demandées par requête et par assistant. Par défaut, en cadence hebdomadaire, chaque requête est rejouée 4 fois sur chaque assistant, chaque lundi à 02:00 UTC. En cadence quotidienne (plans Growth et Agency), elle est rejouée chaque jour, et les réponses d'une même semaine sont regroupées en un seul cycle : les deux cadences se lisent donc semaine par semaine. Plus il y a de réponses, plus l'intervalle de confiance est étroit.

Un même assistant peut répondre différemment à la même question. C'est pourquoi un chiffre skoup est toujours une proportion sur plusieurs réponses, jamais une capture d'écran.

Quels assistants, dans quelles conditions

skoup interroge 8 assistants : ChatGPT, Claude, Gemini, Perplexity, Grok, Mistral, DeepSeek et Qwen. Chaque marque choisit ceux qu'elle mesure, dans la limite de son plan. Pour chacun, skoup interroge par l'API le modèle que sert l'application grand public, avec la recherche web activée : l'assistant lit le web du jour. La réponse peut différer de celle de l'application, qui ajoute son propre contexte.

Chaque marché est interrogé dans sa langue et sa devise. L'extraction des produits cités est faite par un modèle distinct, qui ne fait jamais partie des assistants mesurés.

Des requêtes d'achat neutres

Le panel de requêtes proposé par skoup reprend ce qu'un acheteur demanderait : une catégorie, un budget, un usage. Ces requêtes ne nomment pas votre marque, pour mesurer si l'assistant pense à vous sans y être invité.

Vous pouvez ajouter vos propres requêtes, y compris des comparaisons qui nomment un produit. Elles sont mesurées de la même façon, et restent identifiables dans les rapports.

D'où viennent nos requêtes

Le panel proposé est écrit par un modèle de langage à partir de votre boutique : les catégories les plus fournies du catalogue, avec trois titres en exemple, puis ce que votre site vend et que le catalogue ne couvre pas encore. Le modèle reçoit aussi vos publics, vos critères d'achat et les concurrents nommés par votre site, et écrit dans la langue du marché. Toute requête qui contient le nom de votre marque, un nom propre relevé sur votre site ou, pour une boutique, un titre de votre catalogue est écartée.

Ces requêtes sont des sondes, pas des requêtes dont on connaît le volume : skoup ne sait pas combien de personnes ont tapé exactement cette phrase, et ne l'affiche jamais. Vous voyez chacune d'elles, vous la modifiez ou la désactivez sans perdre son historique, et chacune garde son origine : proposée par skoup ou ajoutée par vous.

Deux contrôles relient le panel à des personnes réelles. Dans Résultats, l'effet d'un correctif se lit contre des requêtes témoins, celles du même marché qu'aucun correctif publié n'a touchées sur les mêmes semaines. Et à côté de la visibilité mesurée, skoup montre ce que les gens ont fait : les visites venues des assistants, les commandes et les impressions dans les réponses IA de Google, tirées du rapport « IA générative » de la Search Console, jamais additionnées aux visites.

L'intervalle de confiance

Chaque part est affichée avec son intervalle de confiance à 95 %, calculé par la méthode de Wald : ± 1,96 × √(p × (1 − p) / n), où p est la part observée et n le nombre de réponses. Avec 256 réponses et une part de 34 %, l'intervalle est d'environ ± 6 points.

Une variation plus petite que l'intervalle n'est pas un mouvement : c'est du bruit. skoup applique un plancher à la variance : l'intervalle existe donc même quand la part vaut 0 % ou 100 %, parce qu'un petit échantillon ne prouve jamais une certitude.

Le jugement contre votre catalogue

Les prix et les disponibilités annoncés par les assistants sont comparés à votre catalogue. Le prix de référence est la fourchette de prix des variantes du produit ; un ancien prix barré n'est pas une vérité, et un prix annoncé dans une autre devise n'est jamais comparé. Une disponibilité n'est jugée que si le stock est connu.

Les caractéristiques sont comparées à la fiche d'identité du produit. Chaque élément reçoit un verdict : conforme, absent, déformé ou faux. Un verdict cite toujours les mots de la réponse. Une caractéristique n'est dite inventée que si la réponse l'affirme avec une valeur, et qu'elle ne figure ni dans la fiche ni dans le titre et la description du produit.

L'attribution des commandes

Une commande est attribuée à un assistant quand la visite qui a converti en venait : skoup lit le site référent de la session, puis le paramètre utm_source de l'URL d'arrivée. C'est une attribution au dernier contact, telle que la boutique la connaît.

Aucune donnée personnelle de vos clients n'est conservée : ni nom, ni e-mail, ni adresse. De vos clients, seul le pays de la commande est gardé. Ce qu'un correctif a changé se lit en comparant ses requêtes visées aux requêtes qu'il n'a pas touchées, sur les mêmes semaines : skoup écrit « depuis » ou « après », jamais « grâce à ».

Ce que la mesure ne dit pas

Les applications mobiles des assistants ne transmettent pas toujours de site référent : le chiffre d'affaires attribué est donc un minimum. L'attribution ne suit pas un parcours en plusieurs visites, et les montants ne sont pas convertis d'une devise à l'autre.

Les réponses mesurées sont celles d'un utilisateur sans historique ni personnalisation. Le texte brut des réponses est conservé 16 semaines ; les mesures et les preuves qui en sont tirées sont conservées au-delà.