Dans un monde où les chatbots jouent un rôle de plus en plus crucial dans la communication et le service client, la précision des réponses est essentielle. DearBot, notre chatbot innovant, se distingue par sa capacité à offrir une expérience entièrement personnalisable qui répond aux besoins spécifiques de chaque utilisateur. Grâce à un tableau de bord interactif intuitif, DearBot permet une gestion aisée des préférences et des paramètres, garantissant ainsi des interactions fluides et précises. Doté d’une intelligence artificielle générative avancée, ce chatbot assure des réponses exactes et minimise le risque d’hallucinations, un problème fréquent avec les modèles de langage. En plus des textes informatifs, DearBot prend en charge l’affichage d’images, offrant une expérience plus riche et engageante. La confidentialité des données est une priorité, et notre chatbot veille à ce que toutes les informations échangées restent sécurisées et confidentielles. Cet article explore les mécanismes et les techniques que DearBot utilise pour éviter les hallucinations dans ses réponses, assurant ainsi une interaction de haute qualité avec ses utilisateurs.
Comprendre les hallucinations dans les chatbots
Définition des hallucinations : Causes et exemples courants
Une hallucination pour un modèle de langage LLM (Large Language Model) fait référence à une situation où le modèle génère du texte qui semble plausible et cohérent, mais qui est en réalité faux, incorrect ou déconnecté de la réalité. Cela peut inclure des faits inventés, des références à des événements qui n’ont jamais eu lieu, des citations attribuées incorrectement, ou même des détails fictifs dans une réponse à une question.
Pourquoi les hallucinations se produisent-elles ?
Les hallucinations surviennent en raison de la manière dont les modèles LLM sont formés et fonctionnent :
- Formation sur de vastes ensembles de données : Les LLM sont formés sur d’énormes volumes de texte issus d’Internet, qui peuvent contenir des erreurs, des contradictions, ou des informations dépassées. Le modèle apprend des patterns de langage, mais pas toujours la véracité de l’information.
- Absence de compréhension réelle : Les LLM ne « comprennent » pas le monde de la même manière qu’un être humain. Ils génèrent du texte en fonction des probabilités de séquences de mots apprises, sans conscience ni vérification factuelle.
- Manque de contexte spécifique : Un LLM peut manquer de contexte ou de connaissances précises sur certains sujets, ce qui peut l’amener à combler les lacunes par des informations inventées pour générer une réponse qui paraît cohérente.
La technologie derrière DearBot
Intelligence artificielle générative avancée
Chez Synapse Développement, nous exploitons les IA génératives pour proposer un chatbot à la pointe de la technologie. Aujourd’hui, les LLMs présents sur le marché sont nombreux, chacun arrivant avec ses avantages et inconvénients. Au delà de la qualité des réponses, il y a plusieurs paramètres à considérer:
- Le coût de chaque requête
- Le temps de réponse
- L’hébergement
On pourrait être tenté de penser que « plus grand signifie meilleur », mais cela n’est pas toujours le cas. La qualité des réponses n’est pas nécessairement supérieure, ces systèmes peuvent être plus lents et présenter davantage de variabilité en fournissant des réponses différentes à une même question. De plus, leur grande taille a un impact écologique plus important.
Algorithmes de traitement du langage
Afin que Dearbot assure des réponses de qualité, on utilise les techniques suivantes à deux moments :
- En amont de l’interaction → pour générer la base de connaissance. On traite les documents pour créer une base de questions-réponses qui nous serviront à répondre aux questions utilisateurs. Cela nécessite de nettoyer et découper les documents.
- Pendant l’interaction :
- Avant la génération par LLM, on effectue plusieurs traitements :
- Aller chercher les synonymes Termino+ (= le vocabulaire métier) pour les injecter dans la question utilisateur. Cela implique d’analyser la question et de lemmatiser les mots, entre autres.
- Puis, on regarde si on n’a pas déjà répondu à des questions similaires pour faciliter la tâche du LLM. Pour ce faire, on utilise des calculs de similarité.
- En aval de la génération, on utilise les “rétro contrôles”.
- Avant la génération par LLM, on effectue plusieurs traitements :
Tableau de bord
Il s’agit de l’interface de gestion du chatbot. Celle-ci ne constitue pas le tableau de bord pour éviter les hallucinations ou pour implémenter des techniques NLP. Son rôle est de permettre le paramétrage du bot ainsi que l’exploration des résultats, tels que l’examen des conversations passées, l’identification des réponses insatisfaisantes, etc. Elle permet également aux superviseurs de repérer les points d’insatisfaction afin d’améliorer le bot, par exemple en révisant la documentation, en créant des questions adaptées, ou en ajoutant des termes dans Termino+.
Comment éviter les hallucinations du chatbot ?
Nous avons ajusté le prompt pour que le bot réponde uniquement en utilisant les informations contenues dans la base de connaissance du client, plutôt que celles provenant des données pré-entraînées. Le prompt spécifie également comment le bot doit se comporter lorsque l’information recherchée n’est pas disponible dans la base de connaissance. Nous avons fourni des exemples illustrant les bonnes et mauvaises pratiques de réponse, ce qui constitue une approche de few-shot learning.
Utilisation de bases de données fiables et actualisées
Le chatbot utilise la documentation fournie par le client pour formuler ses réponses. Tant que cette documentation est à jour, les réponses du bot le seront également. Nous avons mis en place des mécanismes, tels que des connecteurs, qui permettent de récupérer la documentation directement depuis les serveurs du client via une API mise à disposition. Cela nous permet de mettre à jour les informations automatiquement chaque jour.
Trois raisons pour lesquelles DearBot évite les hallucinations
Chez Synapse Développement, nos équipes ont mis en place 3 actions qui permettent à notre chatbot Dearbot de ne pas halluciner.
Choix du LLM
Nous avons testé plusieurs LLM (comme GPT-3.5, got-4o, Mixtral, Vigogne, LLama, etc.). Chaque modèle a ses forces et ses faiblesses spécifiques, notamment sur les hallucinations. Ne sont intégrés à la solution DearBot que les modèles avec lesquels les risques d’hallucinations sont maîtrisés.
Écriture du prompt
La manière d’écrire le prompt, de rédiger les consignes et les exemples influence la manière dont le chatbot va répondre à ses utilisateurs. Pour chaque LLM intégré à la solution, notre équipe technique a passé du temps à affiner le prompt. Il faut donc adapter le prompt au modèle.
Le rétro contrôle
Il existe de très nombreuses manières de faire du rétro contrôle et la manière de le faire va déterminer le résultat obtenu.
- A base de règle : par exemple, si le LLM donne un chiffre dans sa réponse, on vérifie que ce chiffre apparaît dans les sources documentaires utilisées pour générer la réponse. Les avantages ? rapidité et 100% déterministe. C’est pourquoi nous l’intégrons dans dearBot.
- En utilisant des outils NLP “classiques” : en évaluant notamment la similarité (via des embeddings ou des méthodes plus simples comme TF-IDF ou la distance de Levenshtein) entre la réponse générée et les sources documentaires. A trouver également dans Dearbot.
- En utilisant un LLM : il est possible d’exploiter le LLM pour lui faire vérifier lui-même que sa réponse est correcte.
Notre mécanisme “star” sur Dearbot : citer les sources en soulignant dans la réponse générée les éléments qui sont extraits du corpus documentaire transmis par nos clients. Ce mécanisme permet de contribuer à bien justifier les affirmations du chatbot.
