IA explicable : la condition d'une IA de confiance dans l'administration et les secteurs régulés

Q: Qu'est-ce que l'IA explicable (XAI) ?

L'IA explicable (XAI, eXplainable AI) désigne les systèmes d'intelligence artificielle dont les résultats peuvent être compris et justifiés par un humain : quelles données ont été utilisées, quels critères ont été appliqués, pourquoi cette conclusion plutôt qu'une autre. Elle s'oppose à la « boîte noire » qui produit un score ou une décision sans justification vérifiable.

Quick Answer : qu’est-ce que l’IA explicable et pourquoi c’est exigé

L’IA explicable (XAI, eXplainable AI) désigne les systèmes d’IA dont chaque résultat peut être compris, justifié et contesté par un humain : quelles données, quels critères, quelle logique. C’est la condition technique d’une IA de confiance — celle qu’exigent désormais les régulateurs et le secteur public.

Ce qui l’impose en 2026 :

AI Act (règlement UE 2024/1689) : pour les systèmes à haut risque, l’article 13 exige une transparence permettant d’interpréter les sorties du système, l’article 14 un contrôle humain effectif, et l’article 86 crée un droit à l’explication des décisions individuelles.
Droit administratif français : l’article L311-3-1 du Code des relations entre le public et l’administration impose de signaler tout traitement algorithmique fondant une décision individuelle et d’en communiquer les règles sur demande. Les décisions administratives défavorables doivent être motivées.
RGPD : articles 13-15 (information sur la logique sous-jacente) et article 22 (encadrement des décisions entièrement automatisées).

Comment on la construit concrètement — une propriété d’architecture, pas de modèle :

Critères de décision structurés et versionnés hors du modèle, pas enfouis dans un prompt.
Traçabilité des sources : chaque conclusion cite les données qui la fondent.
Statuts explicites (rempli / non rempli / information manquante) plutôt que scores opaques.
Supervision humaine outillée sur les cas ambigus, avec journalisation.

C’est la méthode que nous avons démontrée sur notre agent d’instruction des demandes d’aides, primé au challenge de l’ADEME — voir le cas ADEME.

IA explicable, XAI, IA de confiance : de quoi parle-t-on exactement

Trois notions voisines, souvent confondues, qui ne se situent pas au même niveau :

L’interprétabilité est une propriété du modèle : son fonctionnement interne est lisible. Un arbre de décision est interprétable ; un réseau de neurones de plusieurs milliards de paramètres ne l’est pas.
L’explicabilité est une propriété du système : chaque résultat peut être justifié auprès d’un humain — même si un composant du système est un modèle complexe. C’est elle qui compte juridiquement et opérationnellement.
L’IA de confiance est le résultat d’ensemble : un système explicable, robuste, supervisé, documenté, respectueux des données — la cible que dessinent l’AI Act et les lignes directrices européennes.

La confusion la plus coûteuse est ailleurs : confondre transparence et explicabilité. Afficher « cette réponse a été générée par une IA » est de la transparence. Pouvoir répondre à « pourquoi ma demande a-t-elle été refusée ? » critère par critère, c’est de l’explicabilité. La première se règle avec une mention légale. La seconde se règle à la conception du système — et ne se rattrape pas après coup.

Ce que la loi exige : AI Act, droit administratif, RGPD

AI Act, articles 13 et 14 : interpréter les sorties, superviser effectivement

Pour les systèmes classés à haut risque (annexe III : éducation, emploi, services publics et privés essentiels, accès aux prestations, etc.), l’AI Act impose :

Article 13 — transparence et information des déployeurs : le système doit être conçu de sorte que son fonctionnement soit « suffisamment transparent » pour permettre aux déployeurs d’interpréter les sorties et de les utiliser de manière appropriée, avec notice, capacités, limites et performances documentées.
Article 14 — contrôle humain : les personnes chargées de la supervision doivent pouvoir comprendre les capacités et les limites du système, détecter les anomalies (dont les biais d’automatisation), interpréter correctement les sorties et intervenir — jusqu’à interrompre le système.
Article 86 — droit à l’explication : toute personne affectée par une décision fondée sur un système à haut risque peut obtenir des explications claires et pertinentes sur le rôle du système dans la décision.

Lisez ces trois articles ensemble et la conclusion s’impose : un système dont personne ne peut expliquer les sorties est, par construction, non conforme pour les usages à haut risque. Le calendrier et les obligations détaillées sont dans notre guide AI Act pour les entreprises.

Le droit administratif français : motiver, toujours

Le secteur public français est en avance sur cette exigence — par nécessité juridique :

Article L311-3-1 du CRPA (issu de la loi pour une République numérique de 2016) : toute décision individuelle prise sur le fondement d’un traitement algorithmique doit le mentionner explicitement, et l’administration doit communiquer sur demande les règles définissant ce traitement et les principales caractéristiques de sa mise en œuvre — degré de contribution de l’algorithme à la décision, données traitées, paramètres et opérations effectuées.
Obligation générale de motivation des décisions administratives individuelles défavorables (refus d’une aide, d’une autorisation, d’une prestation) : la décision doit énoncer les considérations de droit et de fait qui la fondent.

Conséquence directe : une administration — ou un opérateur qui instruit des dispositifs publics — ne peut pas s’appuyer sur une IA incapable de restituer ses critères. « Le modèle a dit non » n’est pas une motivation.

RGPD : la logique sous-jacente

Le RGPD complète le tableau : information sur l’existence d’une décision automatisée et sur sa logique sous-jacente (articles 13 à 15), et encadrement strict des décisions entièrement automatisées produisant des effets juridiques (article 22) — avec droit d’obtenir une intervention humaine. L’articulation complète IA/RGPD est traitée dans notre guide IA conforme RGPD.

Comment construire un système IA explicable : la méthode

L’erreur classique est de chercher l’explicabilité dans le modèle — puis de conclure que « les LLM sont des boîtes noires, donc c’est impossible ». C’est prendre le problème à l’envers. L’explicabilité est une propriété d’architecture. Voici les quatre piliers que nous appliquons en production — c’est la méthode démontrée sur notre agent d’instruction des demandes d’aides, primé au challenge de l’ADEME (cas détaillé) : chaque critère d’éligibilité vérifié par l’agent est tracé et justifié, et l’agent instructeur voit exactement pourquoi un dossier est signalé.

1. Des critères structurés et versionnés, hors du modèle

Les règles de décision (critères d’éligibilité, seuils, conditions métier) vivent dans un référentiel structuré, versionné et relisible — pas enfouies dans un prompt de 3 000 mots. Le modèle ne décide pas des règles : il évalue une situation au regard de règles explicites. Bénéfices immédiats : les experts métier peuvent relire et corriger les critères sans toucher au code, chaque évolution est datée et traçable, et l’on peut rejouer une décision passée avec les règles en vigueur à l’époque — exactement ce qu’exige un contentieux ou un audit.

2. La traçabilité des sources

Chaque conclusion cite les données qui la fondent : quelle information, issue de quelle source, à quelle date. Dans le cas ADEME, chaque critère administratif vérifié par l’agent d’instruction (le code APE, par exemple) est confronté aux données de l’API SIRENE de l’INSEE — une source publique, fiable, citable — plutôt qu’à une saisie manuelle ou, pire, à une génération par le modèle. Règle d’or : l’IA ne doit jamais être la source d’un fait. Elle interprète des faits tracés ; elle n’en invente pas.

3. Des statuts explicites plutôt que des scores opaques

Un score de confiance à 0,87 n’explique rien et ne se conteste pas. Un statut par critère — rempli, non rempli, information manquante — se lit, se vérifie et se motive. Ce choix de restitution force une discipline de conception saine : si le système ne peut pas établir un critère, il le dit, au lieu de masquer l’incertitude dans une moyenne. C’est aussi ce qui rend possible la motivation d’une décision au sens du droit administratif : la justification est déjà structurée critère par critère. Dans le cas ADEME, c’est ce que voit l’agent instructeur : un dossier signalé l’est pour un critère précis, avec sa justification — pas pour un score.

4. La supervision humaine, outillée et journalisée

L’article 14 de l’AI Act ne demande pas un humain « dans la boucle » pour la forme : il demande un humain capable de comprendre, détecter et intervenir. Concrètement : les cas ambigus ou à fort enjeu sont routés vers une revue humaine, l’interface de supervision montre les critères et les sources (pas seulement la conclusion), et chaque traitement est journalisé — qui a vu quoi, qu’est-ce qui a été validé, corrigé, rejeté. La journalisation transforme la supervision en preuve de conformité.

Explicabilité et performance : le faux dilemme

L’objection habituelle : « un système contraint d’expliquer sera moins performant ». En production, nous observons l’inverse. Un système explicable rend ses erreurs visibles — un critère mal évalué se repère et se corrige ; une boîte noire qui se trompe se contente de se tromper, silencieusement, à grande échelle. La performance qui compte en production n’est pas un point de benchmark : c’est la fiabilité dans le temps, la capacité à détecter les dérives et la confiance des utilisateurs. Sur ces trois plans, l’explicabilité est un accélérateur, pas une taxe.

C’est aussi, très prosaïquement, un avantage commercial : dans l’administration, la banque, la santé ou l’énergie, le système explicable est celui qui passe l’audit et remporte le marché. L’autre reste en POC.

Concevoir des systèmes IA traçables et explicables — critères versionnés, sources citées, supervision humaine — c’est le cœur de notre métier d’agence Data/IA, et la méthode que nous avons éprouvée sur le cas ADEME.

FAQ

Qu’est-ce que l’IA explicable (XAI) ?

L’IA explicable (XAI, eXplainable AI) désigne les systèmes d’intelligence artificielle dont les résultats peuvent être compris et justifiés par un humain : quelles données ont été utilisées, quels critères ont été appliqués, pourquoi cette conclusion plutôt qu’une autre. Elle s’oppose à la « boîte noire » qui produit un score ou une décision sans justification vérifiable.

Quelle différence entre explicabilité, interprétabilité et transparence ?

L’interprétabilité est une propriété du modèle : on peut lire son fonctionnement interne (arbre de décision, règles explicites). L’explicabilité est une propriété du système : on peut justifier chaque résultat auprès d’un humain, même si le modèle sous-jacent est complexe. La transparence est une obligation d’information : dire qu’une IA est utilisée, avec quelles données et quelles limites. Un système peut être transparent sans être explicable — et c’est le piège classique.

Que dit l’AI Act sur l’explicabilité ?

Pour les systèmes à haut risque, l’article 13 de l’AI Act impose une conception suffisamment transparente pour que les déployeurs puissent interpréter les sorties du système et les utiliser de manière appropriée, avec une documentation et des instructions claires. L’article 14 impose un contrôle humain effectif : la personne qui supervise doit pouvoir comprendre les capacités et limites du système, détecter les anomalies et intervenir. L’article 86 crée en outre un droit à l’explication des décisions individuelles fondées sur un système à haut risque. Voir notre guide AI Act.

Pourquoi l’administration française est-elle particulièrement exigeante ?

Parce que le droit administratif impose de motiver les décisions individuelles. Depuis la loi pour une République numérique, l’article L311-3-1 du Code des relations entre le public et l’administration impose de mentionner explicitement qu’une décision individuelle est prise sur le fondement d’un traitement algorithmique, et de communiquer sur demande les règles et principales caractéristiques de sa mise en œuvre. Une IA « boîte noire » rend ces obligations impossibles à tenir.

Un LLM peut-il être explicable ?

Un LLM seul, non : ses poids ne sont pas interprétables. Mais un système construit autour d’un LLM peut être explicable — c’est une propriété d’architecture, pas de modèle. Les leviers : critères de décision structurés et versionnés en dehors du modèle, traçabilité des sources utilisées pour chaque réponse, statuts explicites plutôt que scores opaques, journalisation des traitements et supervision humaine sur les cas ambigus.

L’explicabilité dégrade-t-elle la performance ?

C’est largement un faux dilemme dans les cas d’usage d’entreprise. La perte de performance ne se joue pas entre « boîte noire » et « système explicable », mais entre un système mal conçu et un système bien conçu. Sortir les règles métier du modèle, tracer les sources et expliciter l’incertitude améliore en pratique la fiabilité — les erreurs deviennent détectables et corrigibles, ce qui est la vraie performance en production.

Quels secteurs sont concernés en priorité ?

Tous ceux où une décision assistée par IA doit pouvoir être justifiée : administration et secteur public (motivation des décisions), banque-assurance (octroi de crédit, tarification), santé (aide à la décision médicale), RH (tri de candidatures, classée à haut risque par l’AI Act), énergie et dispositifs d’aides publiques. Dans tous ces cas, un résultat non justifiable est un résultat inutilisable — juridiquement et opérationnellement.

Sources : Règlement (UE) 2024/1689 (AI Act), articles 13, 14 et 86, annexe III ; Code des relations entre le public et l’administration, articles L311-3-1 et R311-3-1-2 ; Règlement (UE) 2016/679 (RGPD), articles 13 à 15 et 22 ; CNIL, ressources sur les traitements algorithmiques du secteur public.