RAG local au cabinet : du pilote au quotidien
Un prototype RAG qui fonctionne, c'est 30 % du travail. Les 70 % décisifs se jouent entre pilote et production - et décident si les collaborateurs ouvrent vraiment l'outil le lundi matin.
Un prototype RAG se démontre en deux semaines. Faire tourner RAG dans un cabinet qui l'utilise vraiment le lundi matin prend beaucoup plus de temps - et ne trébuche pratiquement jamais sur le modèle.
Ce que le prototype montre - et ce qu'il tait
Un pilote sur 200 documents-types prouve de manière plausible que la génération augmentée par récupération fonctionne. Il reste muet sur tout ce qui vient après :
- Ingestion de données réelles : dossiers avec nommage exotique, formats mêlés, PDF scannés avec artéfacts OCR.
- Contexte de rôles et de droits : tous les collaborateurs ne voient pas tous les dossiers.
- Versions et actualité : un contrat de 2019 ne doit pas être cité comme celui de 2025.
- Traçabilité : quel passage a produit quelle réponse ?
Les 70 % entre pilote et production
Trois blocs absorbent l'essentiel de l'effort :
- Pipeline d'ingestion. Extraction fiable depuis DMS, lecteurs réseau et archives mail. Mesurer la qualité OCR, détecter les doublons, segmenter proprement. Sans cette base, le choix du modèle ne change rien.
- Contrôle d'accès. Chaque chunk porte un niveau d'accès vérifié au moment de la récupération. Mieux vaut un document en moins qu'un de trop.
- Évaluation. Une collection de vraies questions métier avec sources attendues. Sans ce benchmark, on débat d'opinions.
Pourquoi l'IA locale au cabinet se discute autrement en 2026
Avec des données clients, l'inférence cloud dépasse la seule question de la protection des données : les professions soumises au secret y ajoutent le secret professionnel, et chaque sous-traitant externe doit être encadré explicitement. En parallèle, les petits modèles (7B-30B) sont devenus exploitables en production sur du matériel abordable - serveurs Apple Silicon, GPU milieu de gamme, voire CPU puissants suffisent pour un cabinet jusqu'à ~50 collaborateurs.
La question change : plus « cloud ou rien », mais « quel setup local convient au volume de données et à la charge ».
Un point de départ pragmatique
Avant de commander du matériel, faites l'état des lieux :
- Quelles dix questions les collaborateurs posent-ils chaque jour à leurs seniors ?
- D'où viennent les réponses - dossier, précédent, notes internes ?
- Combien de temps prend la recherche aujourd'hui en moyenne ?
Ces trois réponses forment à la fois la base d'évaluation et l'ossature du business case. Tout le reste en découle - pas l'inverse.