IQAI — Étude pilote Risk

Résumé exécutif

Cette étude pilote a testé les mêmes 10 éléments affirmation/preuve sur trois surfaces de revue : des réviseurs humains, des LLM et IQAI Risk. L’objectif n’était pas de déclarer automatiquement qu’un type de réviseur est correct, mais de mesurer l’accord, le désaccord et les cibles de calibration.

Constat principal : les humains et les LLM se sont fortement alignés sur les lacunes de preuve courtes et nettes. IQAI Risk s’est aligné directionnellement, tout en appliquant une politique de sévérité différente : plusieurs affirmations prospectives sans preuve directe ont été maintenues en WEAK / NEEDS REVIEW, alors que les humains et les LLM les ont souvent classées UNSUPPORTED. La conclusion produit la plus forte est que le jugement seul n’est pas un dossier de contrôle : IQAI Risk ajoute répétabilité, routage de vérification, politique de calibration et reçus.

Métriques de l’étude

Réviseurs humains

Participants MTurk anonymisés

Questions

Paires affirmation/preuve

κ soutien humain

0.664

Accord pilote substantiel

κ enjeu humain

0.402

Modéré; les étiquettes d’enjeu sont plus nuancées

Temps moyen

22:55

Temps moyen de complétion humaine

Humain vs LLM

Proche

Alignement majoritaire presque complet

Correspondance directionnelle

Élevée

Après regroupement des étiquettes

Calibration principale

Frontière

Weak vs Unsupported

Ce que le pilote a montré

Le pilote est petit, mais il clarifie la thèse produit. Les humains et les LLM peuvent repérer les lacunes de preuve évidentes dans des exemples courts et contrôlés. Le problème en entreprise apparaît ensuite : la revue est-elle répétable, routée, calibrée et conservée comme dossier?

Constat 1

Accord

Humains et LLM se sont fortement alignés sur les lacunes de preuve évidentes.

Constat 2

Variation

Les LLM individuels variaient encore sur la nuance, la posture de vérification et la sévérité.

Constat 3

Routage

Les registres, dépôts, dates, prix et calculs exigent des voies explicites de vérification.

Constat 4

Dossier

IQAI Risk transforme la revue en dossier de notation gouverné avec reçus.

Conclusion produit : le pilote ne montre pas que les réviseurs humains ou les LLM sont inutiles. Il montre qu’un jugement simple ne suffit pas pour un usage fiable en entreprise. IQAI Risk ajoute la couche de contrôle : notation gouvernée par règles, routage de vérification, frontières de calibration et reçus de revue.

Comparaison de haut niveau

Le tableau résume la majorité humaine, la majorité LLM et le résultat IQAI Risk pour chaque élément.

Q	Type d’affirmation	Majorité humaine	Majorité LLM	Résultat IQAI Risk	Correspondance / note
Q1	Affirmation prospective sur la demande	Unsupported	Unsupported	WEAK	Alignement directionnel; IQAI Risk moins sévère.
Q2	Affirmation factuelle directement appuyée	Supported	Supported	SUPPORTED	Alignement exact.
Q3	Affirmation financière prospective	Unsupported	Unsupported	WEAK	Alignement directionnel; IQAI Risk moins sévère.
Q4	Affirmation prospective de conformité / contrôle	Unsupported	Unsupported	WEAK	Alignement directionnel; IQAI Risk moins sévère.
Q5	Affirmation commerciale prospective	Unsupported	Unsupported	WEAK	Alignement directionnel; IQAI Risk moins sévère.
Q6	Affirmation prospective de cybersécurité / contrôle	Unsupported	Unsupported	WEAK	Alignement directionnel; IQAI Risk moins sévère.
Q7	Registre / vérification de dossier	Needs outside verification	Needs outside verification	Record lookup / needs verification	Alignement fonctionnel; IQAI Risk route l’affirmation vers la vérification de registre.
Q8	Contradiction directe de périmètre	Unsupported	Unsupported	UNSUPPORTED / HOLD	Fort alignement sur une contradiction directe.
Q9	Attribution causale / cause complète	Split support label	Unsupported	UNSUPPORTED / HOLD	Alignement au niveau de l’enjeu : les cinq humains ont choisi cause non prouvée.
Q10	Durabilité / permanence surestimée	Partially supported / overstated	Partially supported / overstated	UNSUPPORTED / HOLD	Alignement directionnel; IQAI Risk plus sévère.

Questions, réponses humaines, réponses LLM et résultat IQAI Risk

Ouvrir chaque question pour voir l’affirmation, la preuve, les réponses humaines anonymisées, les réponses LLM et le dossier de notation IQAI Risk.

Question 1 : perspective de demande / lacune de soutien prospectif

Humain : Unsupported · LLM : Unsupported · IQAI Risk : WEAK

Unsupported

AffirmationLa direction s’attend à ce que la demande demeure stable l’an prochain.

PreuveLa note ne comprend pas de commandes clients, de contrats signés, de données de carnet de commandes ni de soutien prévisionnel pour l’an prochain.

Majorité humaine

Unsupported

5/5 Unsupported

Majorité LLM

Unsupported

5/5 réponses LLM valides

IQAI Risk

WEAK

Run ID : SP-279636571A

Réponses humaines, anonymisées

Réviseur	Soutien	Enjeu principal	Confiance	Impact	Explication
Réviseur 1	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	La note ne fournit aucune donnée ni prévision pour appuyer une demande stable l’an prochain.
Réviseur 2	Unsupported	Unsupported	Moyenne	Oui	La preuve ne fournit aucune donnée de demande client ni prévision pour appuyer la stabilité.
Réviseur 3	Unsupported	Surtitré tel qu’écrit	Élevée	Oui	L’affirmation prédit une demande stable, mais la preuve indique explicitement qu’aucune donnée de soutien n’est fournie.
Réviseur 4	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	Aucune donnée de soutien n’est fournie pour une affirmation prospective sur la demande.
Réviseur 5	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	Aucune donnée de soutien n’est fournie pour une affirmation prospective sur la demande.

Réponses LLM

Modèle	Soutien	Enjeu principal	Confiance	Raison
DeepSeek	Unsupported	Aucune base dans la preuve	Élevée	Aucune preuve dans la note n’appuie la demande stable.
OpenAI	Unsupported	Absence de commandes, contrats ou prévisions	Élevée	L’absence de données de soutien rend l’affirmation non étayée.
Anthropic	Unsupported	Aucune prévision, carnet, commande ou contrat	Élevée	La preuve confirme que la note ne contient aucun type de donnée nécessaire pour étayer l’affirmation.
Grok	Unsupported	Manque de données ou de documentation	Élevée	La preuve ne fournit aucune donnée ou documentation appuyant une demande stable.
Gemini	Unsupported	La preuve énumère le soutien absent	Élevée	La preuve énumère l’absence de commandes, de contrats, de carnet et de prévisions.

Dossier de notation IQAI Risk

Run ID	SP-279636571A
Résultat	WEAK
Catégorie	Affirmation prospective sans soutien suffisant.
Note de notation	IQAI Risk a classé la conclusion de demande future comme faible parce que l’orientation explicite, le langage prévisionnel, les contrats, le carnet ou le soutien quantifié étaient absents.

Question 2 : affirmation factuelle appuyée par le contexte opérationnel

Humain : Supported · LLM : Supported · IQAI Risk : SUPPORTED

Supported

AffirmationDes économies d’approvisionnement ont eu lieu pendant le trimestre, et une remise fournisseur ponctuelle a aussi eu lieu pendant le trimestre.

PreuveLa note indique que des économies d’approvisionnement ont eu lieu pendant le trimestre, et qu’une remise fournisseur ponctuelle a aussi eu lieu pendant le trimestre.

Majorité humaine

Supported

5/5 Supported

Majorité LLM

Supported

4/5 Supported

IQAI Risk

SUPPORTED

Run ID : SP-453F36A49E

Réponses humaines, anonymisées

Réviseur	Soutien	Enjeu principal	Confiance	Impact	Explication
Réviseur 1	Supported	Aucun enjeu	Élevée	Oui	La note confirme directement les économies d’approvisionnement et la remise fournisseur.
Réviseur 2	Supported	Aucun enjeu	Élevée	Oui	La note indique directement que les économies et la remise ont eu lieu pendant le trimestre.
Réviseur 3	Supported	Unsupported	Élevée	Oui	La preuve reprend directement l’affirmation sans contradiction ni manque de soutien.
Réviseur 4	Supported	Aucun enjeu	Élevée	Oui	La preuve reprend et appuie directement l’affirmation.
Réviseur 5	Supported	Aucun enjeu	Élevée	Oui	La preuve reprend et appuie directement l’affirmation.

Réponses LLM

Modèle	Soutien	Enjeu principal	Confiance	Raison
DeepSeek	Supported	Aucun enjeu	Élevée	La preuve indique directement les deux éléments de l’affirmation.
OpenAI	Supported	Aucun enjeu	Élevée	L’affirmation est directement appuyée par la preuve.
Anthropic	Supported	Aucun enjeu	Élevée	La preuve indique directement les économies d’approvisionnement et la remise fournisseur.
Grok	Supported	Aucun enjeu	Élevée	La preuve appuie directement l’affirmation.
Gemini	Partially supported / overstated	Prudence de vérification externe	Élevée	Gemini a distingué entre le fait que la note affirme l’événement et la preuve indépendante de l’événement.

Dossier de notation IQAI Risk

Run ID	SP-453F36A49E
Résultat	SUPPORTED
Catégorie	Affirmation factuelle interne directement appuyée.
Note de notation	IQAI Risk a classé l’affirmation comme appuyée parce que la source indiquait directement les économies d’approvisionnement et la remise fournisseur.

Question 3 : perspective EBITDA / lacune de soutien prospectif

Humain : Unsupported · LLM : Unsupported · IQAI Risk : WEAK

Unsupported

AffirmationLa direction s’attend à ce que l’EBITDA augmente l’an prochain.

PreuveLa note ne comprend pas de budget, de modèle prévisionnel, de contrats clients signés, de calendrier d’économies de coûts ni de pont EBITDA quantifié pour l’an prochain.

Majorité humaine

Unsupported

5/5 Unsupported

Majorité LLM

Unsupported

5/5 réponses LLM valides

IQAI Risk

WEAK

Run ID : SP-9562EBBF2A

Réponses humaines, anonymisées

Réviseur	Soutien	Enjeu principal	Confiance	Impact	Explication
Réviseur 1	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	Aucun budget, contrat ou pont EBITDA quantifié n’appuie la croissance attendue.
Réviseur 2	Unsupported	Unsupported	Moyenne	Oui	Il n’y a pas de modèle prévisionnel ou d’analyse EBITDA détaillée.
Réviseur 3	Unsupported	Prospectif sans soutien suffisant	Moyenne	Oui	Aucune donnée ne justifie l’augmentation attendue de l’EBITDA.
Réviseur 4	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	La croissance de l’EBITDA est prospective et sans prévision ou pont de soutien.
Réviseur 5	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	Aucune prévision ou pont n’appuie l’augmentation attendue de l’EBITDA.

Réponses LLM

Modèle	Soutien	Enjeu principal	Confiance	Raison
DeepSeek	Unsupported	Soutien financier manquant	Élevée	La note ne fournit aucune preuve appuyant l’augmentation de l’EBITDA.
OpenAI	Unsupported	Aucune preuve quantitative	Élevée	La note manque de documents et d’analyse financière de soutien.
Grok	Unsupported	Manque de preuve spécifique	Élevée	Aucune donnée n’étaye l’augmentation attendue de l’EBITDA.
Anthropic	Unsupported	Aucun budget, prévision, contrat ou pont	Élevée	Aucune preuve documentaire ne soutient cette attente.
Gemini	Unsupported	La preuve décrit ce qui manque	Élevée	La preuve n’apporte aucun soutien positif à l’affirmation EBITDA.

Dossier de notation IQAI Risk

Run ID	SP-9562EBBF2A
Résultat	WEAK
Catégorie	Affirmation financière prospective sans soutien suffisant.
Note de notation	IQAI Risk a classé l’affirmation future sur l’EBITDA comme faible parce que le soutien prospectif quantifié était absent.

Question 4 : perspective de contrôle des sanctions / lacune de soutien prospectif

Humain : Unsupported · LLM : Unsupported · IQAI Risk : WEAK

Unsupported

AffirmationLa direction s’attend à ce que les contrôles de conformité aux sanctions demeurent adéquats l’an prochain.

PreuveLa note ne comprend pas de rapport de filtrage des sanctions, de piste d’audit, de confirmation réglementaire, de revue de conformité par un tiers ou de plan de test des contrôles pour l’an prochain.

Majorité humaine

Unsupported

5/5 Unsupported

Majorité LLM

Unsupported

5/5 réponses LLM valides

IQAI Risk

WEAK

Run ID : SP-7A4CC94B93

Réponses humaines, anonymisées

Réviseur	Soutien	Enjeu principal	Confiance	Impact	Explication
Réviseur 1	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	Aucun rapport ou examen des sanctions n’appuie l’adéquation des contrôles l’an prochain.
Réviseur 2	Unsupported	Unsupported	Moyenne	Oui	L’absence de rapports ou de plans rend l’affirmation non appuyée.
Réviseur 3	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	Aucune preuve ne démontre l’adéquation future des contrôles.
Réviseur 4	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	L’adéquation future est affirmée sans validation ni test de soutien.
Réviseur 5	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	Aucune preuve n’appuie l’adéquation prospective des contrôles.

Réponses LLM

Modèle	Soutien	Enjeu principal	Confiance	Raison
DeepSeek	Unsupported	Aucune documentation ou plan	Élevée	La preuve montre l’absence de rapports de conformité et de planification prospective.
OpenAI	Unsupported	Manque de preuve sur les contrôles de sanctions	Élevée	La preuve manque de détails sur les contrôles de conformité aux sanctions.
Anthropic	Unsupported	Aucun rapport, piste d’audit, examen ou plan	Élevée	Aucune documentation n’appuie l’adéquation continue.
Grok	Unsupported	Manque de preuve d’adéquation future	Élevée	Aucune documentation ou plan ne soutient l’attente.
Gemini	Unsupported	La preuve détaille ce qui est absent	Élevée	La preuve indique ce qui manque, et non ce qui appuie l’affirmation.

Dossier de notation IQAI Risk

Run ID	SP-7A4CC94B93
Résultat	WEAK
Catégorie	Affirmation prospective de conformité / contrôle sans soutien suffisant.
Note de notation	IQAI Risk a classé l’affirmation d’adéquation future comme faible parce qu’elle ne contenait pas de plans de test ou de guidance prospective.

Question 5 : perspective de désabonnement client / lacune de soutien prospectif

Humain : Unsupported · LLM : Unsupported · IQAI Risk : WEAK

Unsupported

AffirmationLa direction s’attend à ce que le désabonnement client diminue l’an prochain.

PreuveLa note ne comprend pas de données de renouvellement, de métriques de rétention, de prolongations de contrats signées, d’analyse du désabonnement ou de plan de succès client pour l’an prochain.

Majorité humaine

Unsupported

5/5 Unsupported

Majorité LLM

Unsupported

5/5 réponses LLM valides

IQAI Risk

WEAK

Run ID : SP-8A6F1C8A22

Réponses humaines, anonymisées

Réviseur	Soutien	Enjeu principal	Confiance	Impact	Explication
Réviseur 1	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	Aucune donnée de renouvellement ou de désabonnement n’appuie la baisse attendue.
Réviseur 2	Unsupported	Unsupported	Moyenne	Oui	Sans données de renouvellement ou de rétention, l’affirmation n’est pas étayée.
Réviseur 3	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	La note ne fournit aucune métrique appuyant la baisse du désabonnement.
Réviseur 4	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	L’amélioration du désabonnement est prospective et sans preuve de rétention ou de renouvellement.
Réviseur 5	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	Aucune donnée de rétention ou de désabonnement ne soutient l’attente.

Réponses LLM

Modèle	Soutien	Enjeu principal	Confiance	Raison
DeepSeek	Unsupported	Aucune donnée ou plan lié au désabonnement	Élevée	Aucune donnée de soutien n’existe dans la preuve.
OpenAI	Unsupported	Manque de données pertinentes	Élevée	La preuve manque de renouvellements, rétention, contrats, analyse de désabonnement ou planification.
Anthropic	Unsupported	Aucune métrique de rétention ou analyse du désabonnement	Élevée	Aucune preuve n’appuie la baisse attendue du désabonnement.
Grok	Unsupported	Manque de données pertinentes	Élevée	Aucune donnée ou métrique ne soutient l’affirmation.
Gemini	Unsupported	La preuve décrit l’absence	Élevée	La preuve ne fournit aucune preuve positive d’une baisse du désabonnement.

Dossier de notation IQAI Risk

Run ID	SP-8A6F1C8A22
Résultat	WEAK
Catégorie	Affirmation commerciale prospective sans soutien suffisant.
Note de notation	IQAI Risk a classé la prévision de désabonnement comme faible parce que les données de renouvellement, les métriques de rétention et le soutien prospectif étaient absents.

Question 6 : préparation à la réponse aux incidents cyber / lacune de soutien prospectif

Humain : Unsupported · LLM : Unsupported · IQAI Risk : WEAK

Unsupported

AffirmationLa direction s’attend à ce que la préparation à la réponse aux incidents cyber s’améliore l’an prochain.

PreuveLa note ne comprend pas de résultats d’exercice de simulation, de preuve de test de réponse aux incidents, de constats d’audit de sécurité, de jalons de remédiation ou de plan de préparation cyber pour l’an prochain.

Majorité humaine

Unsupported

5/5 Unsupported

Majorité LLM

Unsupported

5/5 réponses LLM valides

IQAI Risk

WEAK

Run ID : SP-C7AE326A30

Réponses humaines, anonymisées

Réviseur	Soutien	Enjeu principal	Confiance	Impact	Explication
Réviseur 1	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	Aucune preuve de tests, exercices ou plans ne soutient l’amélioration de la préparation cyber.
Réviseur 2	Unsupported	Unsupported	Moyenne	Oui	Aucune preuve comme des résultats de tests ou des plans ne soutient l’affirmation.
Réviseur 3	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	Aucune preuve n’est fournie pour l’amélioration de la préparation cyber.
Réviseur 4	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	Aucune preuve de test ou de planification ne soutient l’amélioration.
Réviseur 5	Unsupported	Prospectif sans soutien suffisant	Élevée	Oui	Aucun test ou plan ne soutient l’amélioration de la préparation cyber.

Réponses LLM

Modèle	Soutien	Enjeu principal	Confiance	Raison
Grok	Unsupported	Aucune preuve de l’amélioration attendue	Élevée	La preuve manque de données ou de plans spécifiques.
DeepSeek	Unsupported	Aucune documentation indiquant une amélioration	Élevée	La preuve montre directement le soutien manquant.
OpenAI	Unsupported	Manque de preuve d’amélioration future	Élevée	Aucun plan ou action ne soutient l’affirmation.
Anthropic	Unsupported	Aucun plan de préparation cyber ou preuve de test	Élevée	Aucune base n’existe pour l’amélioration attendue.
Gemini	Unsupported	La preuve décrit ce qui est absent	Élevée	Aucune preuve positive ne soutient l’affirmation.

Dossier de notation IQAI Risk

Run ID	SP-C7AE326A30
Résultat	WEAK
Catégorie	Affirmation prospective de cybersécurité / contrôle sans soutien suffisant.
Note de notation	IQAI Risk a classé l’amélioration de la préparation comme faible parce qu’aucune preuve de test, aucun jalon ou plan de préparation n’était fourni.

Question 7 : vérification de registre / vérification externe

Humain : Needs outside verification · LLM : Needs outside verification · IQAI Risk : RECORD LOOKUP

Needs verification

Affirmation9230-2553 Québec inc. a le NEQ 1166988999.

PreuveLa note affirme que 9230-2553 Québec inc. a le NEQ 1166988999, mais aucun dossier officiel du registre du Québec, résultat de recherche ou rapport de vérification n’est fourni.

Majorité humaine

Needs outside verification

5/5 Needs outside verification

Majorité LLM

Needs outside verification

4/5 Needs External Verification

IQAI Risk

Record lookup

Run ID : SP-E0078EDB98

Réponses humaines, anonymisées

Réviseur	Soutien	Enjeu principal	Confiance	Impact	Explication
Réviseur 1	Needs outside verification	Needs outside verification	Élevée	Incertain	Le numéro NEQ est indiqué mais non vérifié auprès d’un registre officiel.
Réviseur 2	Needs outside verification	Cause not proven	Faible	Incertain	L’affirmation repose sur un numéro de registre sans vérification officielle.
Réviseur 3	Needs outside verification	Needs outside verification	Élevée	Non	L’affirmation NEQ exige une vérification auprès du registre du Québec.
Réviseur 4	Needs outside verification	Needs outside verification	Élevée	Oui	Le NEQ exige une vérification externe du registre.
Réviseur 5	Needs outside verification	Needs outside verification	Élevée	Oui	L’affirmation exige une vérification externe non fournie.

Réponses LLM

Modèle	Soutien	Enjeu principal	Confiance	Raison
OpenAI	Needs outside verification	Aucun dossier officiel du registre	Élevée	La note affirme le NEQ mais manque d’une source officielle.
Grok	Needs outside verification	Manque de vérification officielle	Élevée	L’affirmation est fondée uniquement sur une note.
Anthropic	Needs outside verification	La note répète l’affirmation sans source autoritaire	Élevée	Un dossier officiel du registre du Québec est nécessaire.
Gemini	Needs outside verification	Aucune vérification externe officielle	Élevée	L’affirmation manque d’un dossier officiel du registre du Québec.
DeepSeek	Partially supported / overstated	Énoncé mais non vérifié officiellement	Élevée	La note affirme le NEQ mais manque de vérification.

Dossier de notation IQAI Risk

Run ID	SP-E0078EDB98
Résultat	RECORD LOOKUP / NEEDS VERIFICATION
Catégorie	Vérification externe / consultation de registre nécessaire.
Note de notation	IQAI Risk a routé l’affirmation NEQ vers la voie de consultation de registre plutôt que de la traiter comme un soutien de preuve ordinaire.

Question 8 : affirmation exagérée sur la couverture du pilote

Humain : Unsupported · LLM : Unsupported · IQAI Risk : UNSUPPORTED / HOLD

Unsupported

AffirmationLa direction affirme que le pilote de tarification du T4 couvrait tous les clients.

PreuveLa note indique que le pilote de tarification du T4 couvrait 12 % des clients et ne fournit aucune preuve que tous les clients étaient inclus.

Majorité humaine

Unsupported

4/5 Unsupported; 1/5 partially supported / overstated

Majorité LLM

Unsupported

Tous les modèles valides ont détecté l’exagération

IQAI Risk

UNSUPPORTED / HOLD

Run ID : SP-B90957F085

Réponses humaines, anonymisées

Réviseur	Soutien	Enjeu principal	Confiance	Impact	Explication
Réviseur 1	Unsupported	Surtitré tel qu’écrit	Élevée	Oui	Le pilote ne couvrait que 12 % des clients; dire qu’il couvrait tous les clients est exagéré.
Réviseur 2	Partially supported / overstated	Prospectif sans soutien suffisant	Moyenne	Oui	L’affirmation selon laquelle tous les clients étaient couverts est exagérée; seuls 12 % l’étaient.
Réviseur 3	Unsupported	Surtitré tel qu’écrit	Élevée	Oui	Seuls 12 % des clients étaient couverts.
Réviseur 4	Unsupported	Unsupported	Élevée	Oui	La preuve contredit l’affirmation : 12 % contre tous les clients.
Réviseur 5	Unsupported	Surtitré tel qu’écrit	Élevée	Oui	La preuve montre seulement 12 %, ce qui contredit l’affirmation “tous les clients”.

Réponses LLM

Modèle	Soutien	Enjeu principal	Confiance	Raison
Grok	Unsupported	Surtitré tel qu’écrit	Élevée	L’affirmation est contredite par la preuve indiquant seulement 12 % des clients.
DeepSeek	Partially supported / overstated	Surtitré tel qu’écrit	Élevée	La preuve montre seulement 12 %, et non tous les clients.
Claude	Unsupported	Surtitré tel qu’écrit	Élevée	La note contredit directement l’affirmation.
OpenAI	Unsupported	Surtitré tel qu’écrit	Élevée	La preuve indique que seuls 12 % des clients étaient couverts.
Gemini	Aucune réponse valide	Erreur de quota / 429	S.O.	Aucune réponse valide en raison d’une erreur de quota / 429.

Dossier de notation IQAI Risk

Run ID	SP-B90957F085
Résultat	UNSUPPORTED / HOLD
Catégorie	Contradiction directe de périmètre / affirmation de couverture exagérée.
Note de notation	Après l’overlay actif d’écart sémantique, IQAI Risk a appliqué DIRECT_SCOPE_CONTRADICTION et classé l’affirmation comme non appuyée.

Question 9 : cause non prouvée / attribution complète

Humain : soutien partagé mais 5/5 cause non prouvée · LLM : Unsupported · IQAI Risk : UNSUPPORTED / HOLD

Cause non prouvée

AffirmationLes économies d’approvisionnement ont causé toute l’augmentation de la marge opérationnelle ajustée de 12 % à 15 %.

PreuveLa marge opérationnelle ajustée a augmenté de 12 % à 15 %. Des économies d’approvisionnement ont eu lieu pendant le trimestre. Une remise fournisseur ponctuelle a aussi eu lieu pendant le trimestre. La note ne quantifie pas l’impact des économies d’approvisionnement ni celui de la remise fournisseur ponctuelle.

Étiquette de soutien humaine

Partagée / aucune majorité unique

2 needs verification; 2 partially supported; 1 unsupported

Étiquette d’enjeu humaine

Cause not proven

5/5 ont choisi cause non prouvée

IQAI Risk

UNSUPPORTED / HOLD

Run ID : SP-68B7ED3F2E

Réponses humaines, anonymisées

Réviseur	Soutien	Enjeu principal	Confiance	Impact	Explication
Réviseur 1	Needs outside verification	Cause not proven	Élevée	Oui	Les économies d’approvisionnement ont eu lieu, mais leur impact exact sur la marge n’est pas quantifié.
Réviseur 2	Partially supported / overstated	Cause not proven	Moyenne	Oui	L’augmentation coïncide avec des économies et une remise, mais aucun lien direct quantifié n’attribue toute l’augmentation à l’approvisionnement.
Réviseur 3	Needs outside verification	Cause not proven	Élevée	Oui	Les économies ont eu lieu, mais leur impact sur la marge n’est pas quantifié.
Réviseur 4	Unsupported	Cause not proven	Élevée	Oui	La causalité n’est pas prouvée et les impacts ne sont pas quantifiés.
Réviseur 5	Partially supported / overstated	Cause not proven	Élevée	Oui	Les économies ont eu lieu, mais la causalité pour toute l’augmentation de marge n’est pas prouvée.

Réponses LLM

Modèle	Soutien	Enjeu principal	Confiance	Raison
DeepSeek	Unsupported	Cause not proven	Élevée	Les économies et la remise ont eu lieu, mais aucun impact n’est quantifié.
Grok	Unsupported	Cause not proven	Élevée	La preuve ne quantifie pas les économies d’approvisionnement ni les autres facteurs.
Claude	Unsupported	Cause not proven	Élevée	L’affirmation attribue toute l’augmentation aux économies sans exclure la remise.
OpenAI	Partially supported / overstated	Cause not proven	Moyenne	La preuve montre des faits connexes, mais ne prouve pas la causalité.
Gemini	Aucune réponse valide	Quota / forte demande	S.O.	Gemini 2.0 et 2.5 n’ont pas retourné de réponses valides.

Dossier de notation IQAI Risk

Run ID	SP-68B7ED3F2E
Résultat	UNSUPPORTED / HOLD
Catégorie	Cause non prouvée / attribution complète non appuyée.
Note de notation	Après l’overlay actif d’écart sémantique, IQAI Risk a appliqué CAUSE_NOT_PROVEN et ajusté l’affirmation causale à non appuyée.

Question 10 : permanence / durabilité non prouvée

Humain : Partially supported / overstated · LLM : Partially supported / overstated · IQAI Risk : UNSUPPORTED / HOLD

Partially supported / overstated

AffirmationLa direction a déclaré que le trimestre démontre que le programme de tarification a changé de façon permanente la qualité des bénéfices de l’entreprise.

PreuveLa divulgation appuie que la tarification a contribué à la rentabilité du trimestre courant, mais elle n’isole pas la durabilité ou la permanence de ce changement. Une remise fournisseur ponctuelle a aussi contribué à la rentabilité du T4, et la note ne fournit pas de pont de marge récurrente.

Majorité humaine

Partially supported / overstated

3/5 partially supported / overstated

Majorité LLM

Partially supported / overstated

4/5 LLM valides

IQAI Risk

UNSUPPORTED / HOLD

Run ID : SP-67BD5425BB

Réponses humaines, anonymisées

Réviseur	Soutien	Enjeu principal	Confiance	Impact	Explication
Réviseur 1	Unsupported	Surtitré tel qu’écrit	Élevée	Oui	La preuve montre une contribution à la rentabilité, mais pas une permanence ou une amélioration fiable des bénéfices.
Réviseur 2	Partially supported / overstated	Prospectif sans soutien suffisant	Moyenne	Oui	La preuve indique une contribution actuelle, mais ne prouve pas la permanence.
Réviseur 3	Needs outside verification	Cause not proven	Élevée	Oui	La note montre une contribution au T4, mais ne prouve pas un changement permanent.
Réviseur 4	Partially supported / overstated	Surtitré tel qu’écrit	Élevée	Oui	Un certain soutien existe, mais la permanence est exagérée.
Réviseur 5	Partially supported / overstated	Surtitré tel qu’écrit	Élevée	Oui	La preuve montre que la tarification a aidé les résultats actuels, mais l’affirmation exagère la permanence sans preuve.

Réponses LLM

Modèle	Soutien	Enjeu principal	Confiance	Raison
DeepSeek	Partially supported / overstated	Surtitré tel qu’écrit	Élevée	La tarification a contribué à la rentabilité actuelle, mais ne prouve pas la permanence.
Grok	Partially supported / overstated	Prospectif sans soutien suffisant	Élevée	La preuve manque de soutien sur la durabilité ou la permanence.
Claude	Partially supported / overstated	Surtitré tel qu’écrit	Élevée	Une remise ponctuelle et l’absence de pont récurrent affaiblissent l’affirmation de permanence.
OpenAI	Unsupported	Cause not proven	Élevée	La preuve ne démontre pas un changement durable ou permanent.
Gemini 2.5 Flash	Partially supported / overstated	Surtitré tel qu’écrit	Élevée	Le soutien à la rentabilité actuelle n’isole pas la permanence.

Dossier de notation IQAI Risk

Run ID	SP-67BD5425BB
Résultat	UNSUPPORTED / HOLD
Catégorie	Permanence non prouvée / durabilité non appuyée.
Note de notation	IQAI Risk a classé l’affirmation de permanence comme non appuyée via la voie de jugement d’inférence existante; aucun overlay actif n’était nécessaire.

Interprétation

Le pilote ne montre pas qu’IQAI Risk “bat l’IA” sur des questions simples affirmation/preuve. Les LLM et les humains ont bien performé sur les éléments courts et contrôlés.

La valeur d’IQAI Risk est différente : il transforme la revue du soutien d’une affirmation en dossier de notation gouverné, répétable et consultable. Il couvre aussi des surfaces de vérification que les humains et les LLM ne peuvent pas router de façon constante à grande échelle, notamment les vérifications de registre, les identifiants de dépôt, les vérifications externes de prix/date, la réconciliation mathématique et la traçabilité par reçu.

Insight de calibration : les affirmations prospectives non appuyées sans preuve directe devraient-elles rester WEAK, ou certaines devraient-elles être promues à UNSUPPORTED?

Limites et prochaines étapes

Il s’agit d’un pilote de calibration de 10 éléments, et non d’un banc d’essai de niveau publication.
L’échantillon humain était petit : cinq réviseurs.
Les étiquettes de référence finales sont provisoires et devraient être arbitrées par des réviseurs experts dans une étude plus large.
La prochaine étude devrait utiliser 30 à 100 éléments, équilibrés entre les catégories supported, weak, unsupported, vérification externe, causalité, numérique et vérification de registre.
Les versions futures devraient mesurer les humains, les LLM et IQAI Risk séparément contre des étiquettes de référence arbitrées.

Étude pilote humain / LLM / IQAI Risk

Résumé exécutif

Métriques de l’étude

Ce que le pilote a montré

Comparaison de haut niveau

Questions, réponses humaines, réponses LLM et résultat IQAI Risk

Réponses humaines, anonymisées

Réponses LLM

Dossier de notation IQAI Risk

Réponses humaines, anonymisées

Réponses LLM

Dossier de notation IQAI Risk

Réponses humaines, anonymisées

Réponses LLM

Dossier de notation IQAI Risk

Réponses humaines, anonymisées

Réponses LLM

Dossier de notation IQAI Risk

Réponses humaines, anonymisées

Réponses LLM

Dossier de notation IQAI Risk

Réponses humaines, anonymisées

Réponses LLM

Dossier de notation IQAI Risk

Réponses humaines, anonymisées

Réponses LLM

Dossier de notation IQAI Risk

Réponses humaines, anonymisées

Réponses LLM

Dossier de notation IQAI Risk

Réponses humaines, anonymisées

Réponses LLM

Dossier de notation IQAI Risk

Réponses humaines, anonymisées

Réponses LLM

Dossier de notation IQAI Risk

Interprétation

Limites et prochaines étapes