Bonjour à tous,

Je me permets de créer ce post afin de demander vos avis et vos recommandations sur un projet d’agent IA sur lequel je travaille actuellement.

J’ai proposé une première architecture, mais je ne suis pas encore sûr des meilleurs choix techniques à faire ni de ce qui serait le plus adapté au projet.

Contexte du projet

L’objectif est de développer un agent IA avec deux usages principaux :

1. Assistant externe pour les clients L’objectif est de conseiller les clients dans la sélection des produits et de les aider à choisir le produit le plus adapté à leur besoin.
2. Assistant interne L’objectif est d’aider les équipes internes à sélectionner les produits en fonction des demandes clients, avec un accès à des informations plus détaillées et potentiellement sensibles.

Problématiques principales

Les principales difficultés sont les suivantes :

• Confidentialité des données : c’est un point très important, donc je ne peux pas utiliser un LLM Cloud , de plus certaines données doivent être accessibles uniquement à l’assistant interne.
• Diversité des sources de données : les données proviennent de plusieurs sources :
  • logiciel interne ;
  • fichiers Excel ;
  • documents PDF ;
  • documents scannés.

Architecture proposée

Pour le moment, j’ai proposé de mettre en place :

1. Un backend commun aux deux assistants Ce backend permettrait de gérer :
   • l’accès aux données ;
   • les droits d’accès ;
   • la séparation entre les données publiques et les données sensibles.
2. Une gestion des permissions L’idée est que l’assistant externe n’ait accès qu’aux données publiques ou non sensibles, tandis que l’assistant interne pourrait accéder à des données plus complètes.

Choix techniques envisagés

Pour l’instant, j’ai pensé à la stack suivante :

• LlamaIndex pour l’indexation des documents et la gestion des sources de données
• LangChain pour l’orchestration des chaînes/agents IA
• Qdrant comme base de données vectorielle
• Mistral 7B comme LLM pour le prototype
• pour le LLM final, je ne suis pas encore sûr du choix le plus adapté
• pour la base de données classique, je n’ai pas encore fait de choix.

Merci d’avance pour vos retours et recommandations.