Construire un chatbot RAG fiable

Un assistant qui répond juste neuf fois sur dix n'est pas fiable à 90 %. Il est inutilisable — parce que personne ne sait laquelle des dix réponses est fausse, et qu'une seule suffit à annoncer un prix qui n'existe plus ou un délai que vous ne tiendrez pas.

Le problème n'est presque jamais le modèle

Quand un chatbot RAG se trompe, on incrimine le modèle. Dans les faits, il a répondu correctement à partir de ce qu'on lui a donné : un tarif de l'an dernier, deux versions du même document, un PDF scanné dont il n'a lu qu'un mot sur trois. Un modèle ne sait pas qu'un fichier est périmé. Il n'existe pas de mauvaise réponse à partir d'une bonne source.

Avant d'écrire la moindre ligne de code, il faut donc trancher une question qui n'est pas technique : pour chaque sujet, quel document fait foi ? Cette question prend souvent plus de temps que le développement, et c'est normal — c'est elle qui décide du résultat.

Trois règles qui changent tout

• Une source unique par sujet. Deux documents qui se contredisent, et l'assistant tranchera à votre place — mal, une fois sur deux.
• Le droit de ne pas savoir. « Je n'ai pas cette information, voici qui contacter » vaut infiniment mieux qu'une réponse inventée. Cela s'écrit dans les consignes, et cela se teste.
• Citer sa source. L'utilisateur vérifie en un clic, et vous voyez immédiatement quel document pose problème.

Ce qui se passe après la mise en ligne

Un assistant utile change vos documents plus qu'il ne change votre support. Enregistrez toutes les questions restées sans réponse : au bout de deux semaines, vous tenez la liste exacte de ce que vos clients cherchent et que vous n'avez écrit nulle part. C'est souvent le vrai livrable du projet, et personne ne l'avait mis au cahier des charges.