Recherche

Quand les modèles sont d’accord, quelles preuves montrent qu’ils ont raison ?

L’accord entre modèles est un signal, pas une vérité de référence. Notre recherche étudie quand une preuve indépendante doit confirmer, nuancer ou renverser ce consensus.

Tester une trace de Recherche Judge.

Activez ou retirez des catégories de preuves pour voir pourquoi le verdict ne dépend pas du nombre de modèles d’accord.

Affirmation

« Le traitement reste exclusivement dans l’EEE. »

Recherche Judge

NON ÉTABLI

Les preuves disponibles restent insuffisantes pour établir un traitement exclusivement dans l’EEE.

PrincipeLe consensus ne décide pas.Le verdict suit les preuves, leur autorité, leur fraîcheur et leur provenance.
Recherche Judge

Comment le Judge tranche une affirmation.

Le nombre d’IA favorables ne décide pas du verdict. Les positions des modèles sont confrontées aux preuves disponibles.

Affirmation extraite d’une réponse IA« Le traitement reste exclusivement dans l’EEE. »
OpenAIOpenAISOUTIENT
ClaudeClaudeINCERTAIN
GeminiGeminiSOUTIENT
MistralMistralINCERTAIN
xAIGrokCONTREDIT
DeepSeekDeepSeekINCERTAIN
QwenQwenSOUTIENT
LlamaLlamaCONTREDIT
Contrat / DPA
Documentation régionale
Registre des sous-traitants
Politiques / documentation

Recherche Judge

MODÈLE PROPRIÉTAIRE
PreuvesAutoritéFraîcheurContradictionsIncertitudeProvenance
ÉTABLI

Les preuves établissent l’affirmation.

NON ÉTABLI

Le consensus des modèles ne suffit pas : les preuves disponibles n’établissent pas un traitement exclusivement dans l’EEE.

CONTREDIT

Les preuves disponibles contredisent l’affirmation.

Six questions de recherche falsifiables.

Le programme est structuré autour de questions mesurables dont la réponse peut évoluer avec les modèles, les sources et les conditions de déploiement.

01

Erreurs corrélées

Mesurer quand différents fournisseurs se trompent ensemble et si l’ajout d’un modèle apporte réellement une information indépendante.

02

Adjudication au niveau du claim

Évaluer si des verdicts fondés sur les preuves surpassent le vote entre réponses complètes ou le jugement générique par LLM.

03

Qualité des preuves

Modéliser autorité, fraîcheur, provenance et preuves contradictoires plutôt que de traiter toutes les citations de manière équivalente.

04

Calibration

Mesurer si la confiance et les états non résolus correspondent à la justesse observée selon le domaine et le temps.

05

Économie de la vérification

Étudier quand une vérification plus profonde améliore suffisamment la qualité pour justifier coût et latence supplémentaires.

06

Regret de routage

Mesurer si une autre combinaison de modèles ou de vérification aurait atteint une qualité comparable avec moins de coût ou de latence.

Comment savoir si le système progresse

Les évaluations comparatives doivent être versionnées car modèles, fournisseurs et sources évoluent. Les résultats doivent distinguer les mesures observées des objectifs.

01
Jeux de données d’évaluation versionnés
02
Exactitude factuell’affirmation-level et taux d’erreur critique
03
Calibration du Judge et précision des évaluateurs
04
Coût, latence P50/P95 et profondeur de vérification
05
Reproductibilité entre versions de modèles et de sources

Les modes de défaillance font partie du résultat scientifique.

Le consensus peut être corrélé.Des fournisseurs différents ne garantissent pas des raisonnements indépendants.
Le Judge peut être biaisé.Une réponse persuasive peut influencer un évaluateur si les preuves et la calibration ne le contraignent pas.
Les sources évoluent.Fraîcheur et provenance deviennent décisives lorsqu’un claim dépend d’une documentation ou d’un registre actuel.
La vérification a un coût.Vérifier davantage augmente coût et latence ; la profondeur optimale dépend de la conséquence et de l’incertitude.
Les évaluation comparatives vieillissent.Les nouvelles versions de modèles peuvent invalider d’anciens classements et imposer de nouvelles évaluations.
L’incertitude doit survivre à la synthèse.La réponse finale doit garder visibles les points non résolus plutôt que fabriquer une certitude.

Maturité actuelle

Recherche.fr est un prototype de recherche construit sur une plateforme multi-fournisseurs existante. Les fondations d’orchestration et de comparaison existent ; l’adjudication au niveau des affirmations, la calibration du Judge, la vérification adaptative et la validation industrielle représentative restent en R&D active.

Modèle produit interactif

Une question de recherche doit pouvoir échouer.

Explorez hypothèse, mesure et critère de falsification sans convertir un schéma conceptuel en faux benchmark.

Illustratif · état local uniquement
Question de recherche
Vue
Hypothèse
Mesure
Critère de falsification
État de calibration

Aucune valeur numérique ici n’est présentée comme une performance observée.

Protocole d’évaluation

Recherche-Eval-01 — le protocole avant les performances.

Le premier benchmark public doit répondre à une question étroite : l’adjudication au niveau des affirmations, confrontée à des preuves indépendantes, réduit-elle les faux états « établi » par rapport à des baselines plus simples ? Aucun résultat de performance n’est publié tant que le benchmark, la vérité de référence et le protocole d’évaluation ne sont pas figés.

Question de rechercheAdjudication fondée sur les preuves vs baselines plus simples

Mesurer la réduction des erreurs factuelles au niveau des claims et des faux verdicts « établi » sans masquer l’incertitude.

BaselinesModèle fort unique · vote majoritaire · LLM-as-a-Judge générique

Recherche.fr doit être comparé à des approches moins coûteuses et plus simples à déployer, pas à un homme de paille.

Mesures principalesPrécision des claims · faux établissements · erreurs critiques · abstention/calibration

Le coût et les latences P50/P95 sont suivis avec la qualité, car une vérification plus profonde a un coût opérationnel.

Cas adversariauxRéponse fausse persuasive · erreur corrélée · preuve obsolète · preuve empoisonnée/faible autorité

Ces cas testent si le Judge suit les preuves plutôt que la confiance, le style, la majorité ou la présentation des sources.

Statut du jeu de donnéesBenchmark versionné en construction

Les claims nécessitent une vérité de référence contrôlée, une provenance des sources et une politique d’évaluation figée avant tout score.

Règle de publicationAucune performance publique avant gel du protocole

Les résultats mesurés seront distingués des objectifs et des exemples illustratifs.

Statut actuel : conception de l’évaluation. Recherche-Eval-01 est une cible de protocole, pas un résultat de benchmark publié.
Évaluation adversariale

Test de réponse fausse persuasive.

Un système qui ne gère que les hallucinations évidentes ne suffit pas. L’un des cas d’évaluation décisifs est une réponse fausse, fluide, confiante, bien structurée et appuyée par une source faible mais plausible en apparence.

ConfigurationPlusieurs modèles répètent la même affirmation fausse

L’accord est volontairement corrélé et la réponse la plus forte est formulée de manière persuasive.

Piège de preuveUne source faible ou dupliquée semble la soutenir

La couche de vérification doit distinguer preuve indépendante, répétition et simple apparence d’autorité.

Critère de réussiteNe pas marquer l’affirmation « Établi » sans preuve indépendante suffisante

Le bon état peut être Non établi, Contredit ou explicitement non résolu selon les preuves disponibles.

Tests de biaisAveugler le fournisseur · varier l’ordre · varier longueur/style

Le verdict ne devrait pas changer simplement parce que la mauvaise réponse est plus longue, plus élégante ou affichée en premier.

Aucun résultat n’est revendiqué à ce stade. Il s’agit d’un cas d’évaluation requis pour la calibration et la robustesse du Judge, pas d’une démonstration de performance actuelle.