Lokaler RAG in der Kanzlei: Vom Pilot zum Tagesgeschäft
Ein funktionierender RAG-Prototyp ist 30 % der Arbeit. Die entscheidenden 70 % liegen dazwischen - und bestimmen, ob Sachbearbeiter das System morgens wirklich öffnen.
RAG-Prototypen lassen sich in zwei Wochen zeigen. RAG in einer Kanzlei zu betreiben, die am Montagmorgen damit arbeitet, dauert deutlich länger - und scheitert nicht am Modell.
Was der Prototyp zeigt - und was er verschweigt
Ein Pilot mit 200 Musterdokumenten zeigt plausibel, dass Retrieval-Augmented Generation funktioniert. Er schweigt über alles, was danach kommt:
- Einspielung realer Daten: Mandantenakten mit Sondernamen, gemischten Dateiformaten, gescannten PDFs mit OCR-Artefakten.
- Rollen- und Rechtekontext: nicht jeder Sachbearbeiter darf jede Akte sehen.
- Versionen und Aktualität: ein Vertrag aus 2019 wird nicht wie der aus 2025 zitiert.
- Nachvollziehbarkeit: welche Textstelle hat welche Antwort erzeugt?
Die 70 % zwischen Pilot und Regelbetrieb
Drei Blöcke bestimmen erfahrungsgemäß den Großteil des Aufwands:
- Ingest-Pipeline. Stabile Extraktion aus DMS, Netzlaufwerken und Mailarchiven. OCR-Qualität messen, Duplikate erkennen, Textabschnitte sauber segmentieren. Ohne diese Basis ist jede Modellwahl egal.
- Zugriffskontrolle. Jede Chunk-Zeile trägt eine Zugriffsebene, die beim Retrieval geprüft wird. Lieber ein Dokument zu wenig anzeigen als eines zu viel.
- Evaluation. Eine Sammlung echter Fragen aus dem Tagesgeschäft mit erwarteten Belegstellen. Ohne diesen Benchmark diskutieren Sie nur Meinungen.
Warum lokale KI in der Kanzlei 2026 anders diskutiert wird
Bei Mandantendaten ist Cloud-Inferenz mehr als eine Datenschutzfrage: bei Berufsgeheimnisträgern kommt die Schweigepflicht hinzu, und jeder externe Verarbeiter muss dafür ausdrücklich eingebunden sein. Parallel sind kleine Modelle (7B-30B) auf bezahlbarer Hardware produktionstauglich geworden - Apple-Silicon-Server, GPUs der mittleren Klasse oder sogar starke CPUs reichen für Kanzleigrößen bis ca. 50 Mitarbeitende.
Das verschiebt die Frage: nicht mehr "Cloud oder nichts", sondern "welches lokale Setup passt zum Datenvolumen und zur Abfragelast".
Ein pragmatischer Startpunkt
Bevor Hardware bestellt wird, lohnt eine Bestandsaufnahme:
- Welche zehn Fragen stellen Sachbearbeiter heute täglich ihren Senior-Kolleg:innen?
- Woher kommen die Antworten - Akte, Präzedenzfall, interne Notizsammlung?
- Wie lang dauert die heutige Recherche im Schnitt?
Diese drei Antworten formen sowohl die Evaluationsbasis als auch das Business-Case-Gerüst. Alles andere folgt daraus - nicht umgekehrt.