Welche Wissensquellen es gibt und wer sie nutzen darf.
Eine RAG-Architektur passend zu Ihrer Infrastruktur.
Mit Blick auf Datenflüsse, Zugriffsrechte und Betrieb.
Wir bleiben auch nach dem Livegang an Ihrer Seite.
Was ist RAG?
RAG steht für Retrieval Augmented Generation. Ein RAG-System verbindet ein KI-Sprachmodell mit Ihren eigenen Unternehmensinformationen: Bevor die KI antwortet, werden in den angebundenen Wissensquellen passende Informationen gesucht und dem Modell als Kontext mitgegeben. Die KI kennt Ihre Daten also nicht von selbst – sie erhält zu jeder Frage die relevanten Ausschnitte. Ein Beispiel: Eine Mitarbeiterin fragt „Wie läuft unser Freigabeprozess für Rechnungen ab?“ Das RAG-System
- sucht passende interne Dokumente,
- findet darin die relevanten Abschnitte,
- übergibt diese Informationen an das Sprachmodell,
- erzeugt daraus eine Antwort
- und zeigt idealerweise die verwendeten Quellen an.
Warum eine normale KI Ihr Unternehmenswissen nicht kennt
Ein allgemeines Sprachmodell wurde mit öffentlich verfügbaren Texten trainiert. Ihre Handbücher, Prozessbeschreibungen, Verträge oder internen Richtlinien kennt es normalerweise nicht. Fragt ein Mitarbeiter danach, bekommt er bestenfalls eine allgemeine Antwort – oder eine, die plausibel klingt, aber nicht zu Ihrem Unternehmen passt.
RAG zieht Ihre eigenen Wissensbestände zur Beantwortung heran. Das bringt unter anderem:
- aktuelle interne Informationen statt eines festen Trainingsstands
- unternehmensspezifisches Wissen aus Ihren Dokumenten und Systemen
- Quellenbezug, damit Antworten überprüfbar bleiben
- keine vollständige Neutrainierung eines Modells
- Wissensquellen, die sich jederzeit ergänzen und aktualisieren lassen
RAG kann die Qualität und Nachvollziehbarkeit von Antworten deutlich verbessern. Falsche oder unvollständige Antworten verhindert es aber nicht grundsätzlich – deshalb gehören Quellenangaben, gute Datengrundlagen und Tests zu jedem Projekt. Einen Überblick über weitere Einsatzfelder finden Sie bei unseren KI-Lösungen für Unternehmen.
bereitgestellter
Unternehmensquellen.
Nicht geraten, sondern aus Ihren Dokumenten abgeleitet – und dort nachprüfbar.
Welche Unternehmensdaten können angebunden werden?
Grundsätzlich eignen sich alle Quellen, aus denen sich Text verlässlich lesen lässt. Wie viel Aufwand eine Anbindung macht, hängt von Format, Struktur und System ab – das klären wir vorab in der Analyse. Mögliche Quellen sind zum Beispiel:
PDFs & Word-Dokumente
Richtlinien, Verträge, Angebote, Protokolle und andere Dokumente aus dem Arbeitsalltag.
Handbücher & technische Dokumentation
Bedienungsanleitungen, Produktdokumentationen, Runbooks und Systembeschreibungen.
Wikis & interne Webseiten
Inhalte aus Intranet, Wiki oder internen Portalen, die heute schwer auffindbar sind.
Knowledge Bases & FAQs
Vorhandene Wissensdatenbanken und Frage-Antwort-Sammlungen, etwa aus dem Support.
Datenbanken
Strukturierte Informationen aus internen Datenbanken und Fachanwendungen.
Dateien & Fileserver
Gewachsene Ordnerstrukturen auf Netzlaufwerken oder in Dateiablagen.
Wie Dokumente und PDFs zur Wissensbasis werden
Damit ein RAG-System die richtigen Stellen findet, werden Dokumente vorab aufbereitet. Für die semantische Suche werden Inhalte dabei häufig in sogenannte Embeddings umgewandelt – Zahlenreihen, die die Bedeutung eines Textabschnitts abbilden. Dadurch lassen sich thematisch passende Informationen finden, auch wenn die Suchbegriffe nicht exakt übereinstimmen. Gespeichert werden sie meist in einer Vektordatenbank, die passende Abschnitte schnell auffindet. Metadaten wie Abteilung, Datum, Dokumenttyp, Version oder Quelle helfen zusätzlich, Ergebnisse einzugrenzen. Ein typischer Ablauf:
- Dokumente werden eingelesen
- Text wird extrahiert
- Inhalte werden in sinnvolle Abschnitte aufgeteilt
- Für jeden Abschnitt entsteht eine semantische Repräsentation
- Relevante Abschnitte können später gezielt gesucht werden
Antworten mit nachvollziehbaren Quellen
Eine Antwort ist nur so viel wert wie das Vertrauen in sie. Deshalb kann ein RAG-System offenlegen, auf welche Informationen es sich stützt. So können Mitarbeiter die zugrunde liegenden Inhalte selbst prüfen, bevor sie auf eine Antwort hin handeln. Welche Angaben möglich sind, hängt von den Quelldaten und der Anwendung ab – je nach Projekt zum Beispiel:
- Name des Dokuments
- Abschnitt oder Kapitel
- Seitenzahl
- Link zum Originaldokument
- Angabe der Quelle oder des Quellsystems
Unternehmenswissen mit Rollen und Zugriffsrechten
Nicht jeder Mitarbeiter darf jedes Dokument sehen – und das darf sich durch eine KI nicht ändern. Die KI soll nur Informationen abrufen, für die der jeweilige Benutzer berechtigt ist. Das passiert nicht automatisch, sondern wird im Projekt konzipiert: Vorhandene Berechtigungen werden übernommen oder abgebildet, etwa nach
Abteilungen
Personalunterlagen bleiben in der Personalabteilung, Konstruktionsdaten in der Technik.
Rollen
Führungskräfte, Sachbearbeiter oder externe Mitarbeiter sehen unterschiedliche Inhalte.
Benutzergruppen
Berechtigungen aus bestehenden Gruppen, zum Beispiel aus einem Verzeichnisdienst.
Mandanten
Getrennte Wissensbestände für Gesellschaften, Standorte oder Kunden.
Dokumentbereiche
Einzelne Ordner, Bereiche oder Dokumentklassen gezielt freigeben oder ausnehmen.
Datenschutz & Datenflüsse
Datenflüsse, Speicherorte, externe KI-Dienste und Logging werden beim Aufbau bewusst geplant – bei Bedarf mit lokaler oder dedizierter Infrastruktur.
Interner KI-Assistent für Mitarbeiter
Statt Ordner zu durchsuchen oder Kollegen zu fragen, stellen Mitarbeiter ihre Frage in natürlicher Sprache. Der Assistent antwortet auf Basis der angebundenen Unternehmensinformationen. Dasselbe Prinzip unterstützt Support-Mitarbeiter, die passende Informationen aus Dokumentation und Wissensdatenbank benötigen, sowie Entwickler und Administratoren, die technische Dokumentationen, Runbooks oder Systeminformationen durchsuchen. Typische Fragen:
- „Wo finde ich das Formular für Dienstreisen?“
- „Wie läuft der Prozess für eine Reklamation ab?“
- „Welche Regel gilt, wenn ein Kunde nach Fristablauf storniert?“
- „Was steht in der aktuellen Wartungsvereinbarung?“
- „Welche Schritte sind laut Handbuch beim Neustart erforderlich?“
RAG auf eigener Infrastruktur
Sollen sensible Informationen das Unternehmen nicht verlassen, lassen sich die Bausteine eines RAG-Systems auf eigener oder dedizierter Infrastruktur betreiben. Das ist eine Option, keine Pflicht – welche Variante passt, hängt von Ihren Anforderungen ab. Mehr dazu, wie Sie RAG lokal betreiben können; die passende Umgebung stellen wir mit Managed Servern oder im Rahmen der Server Administration bereit. Je nach Bedarf laufen lokal:
- das Sprachmodell
- das Embedding-Modell
- die Vektordatenbank
- die Dokumentenverarbeitung
- die Benutzeroberfläche
Cloud, lokal oder hybrid?
Es gibt nicht die eine richtige Betriebsform. Wir wägen gemeinsam ab, was zu Ihren Daten, Ihrem Budget und Ihrer vorhandenen IT passt.
Cloud
Sinnvoll für einen schnellen Einstieg, mit wenig Infrastrukturaufwand und dem Zugriff auf leistungsfähige externe Modelle.
Lokal
Sinnvoll bei sensiblen Informationen, dem Wunsch nach mehr Kontrolle, vorhandener eigener Infrastruktur oder besonderen Anforderungen an die Datenhaltung.
Hybrid
Dokumente und Suchindex bleiben im Haus, das Sprachmodell wird je nach Anforderung lokal oder extern genutzt.
RAG in bestehende Systeme integrieren
Unternehmenswissen liegt selten nur in Dateien, sondern verteilt über viele Systeme. Wir Datenquellen über APIs anbinden und bauen die Suche dort ein, wo Ihre Mitarbeiter ohnehin arbeiten – als eigene Weboberfläche oder, wenn Sie RAG in bestehende Software integrieren möchten, direkt in Ihrer Anwendung. Mögliche Integrationen:
Dokumentenmanagement & Fileserver
Dokumente dort abholen, wo sie verwaltet werden – samt vorhandener Ordner- und Rechtestruktur.
Intranet
Wissenssuche als Bestandteil des Intranets statt als weiteres Werkzeug.
CRM & ERP
Informationen zu Kunden, Artikeln oder Aufträgen als zusätzlicher Kontext für Antworten.
Datenbanken
Strukturierte Daten aus internen Datenbanken ergänzend zu Dokumenten nutzen.
Individuelle Webanwendungen
Der Assistent als Funktion innerhalb Ihrer eigenen Software.
APIs
Das RAG-System selbst als Schnittstelle, die andere Anwendungen abfragen können.
RAG und KI-Agenten
Ein Agent erhält eine Anfrage, sucht im internen Wissen, verarbeitet das Ergebnis und führt den nächsten definierten Schritt aus.
KI-Agenten mit Unternehmenswissen verbinden →RAG und Automatisierung
Ein Dokument kommt an, wird analysiert, RAG liefert zusätzliche Informationen und der Workflow verarbeitet das Ergebnis weiter.
Abläufe mit KI automatisieren →Suche in Ihrer Oberfläche
Weboberfläche, Chat-Fenster oder Suchfeld – je nachdem, wie Ihr Team am liebsten arbeitet.
Unternehmenswissen aktuell halten
Ein RAG-System ist nur so aktuell wie seine Datenbasis. Neue oder geänderte Dokumente sollten deshalb regelmäßig eingelesen werden – in welchem Rhythmus, legen wir passend zu Ihren Quellen fest. Wie gut die Antworten ausfallen, hängt außerdem von mehreren Faktoren ab: der Qualität und Struktur der Quelldaten, der Aufteilung in Abschnitte (Chunking), dem Embedding-Modell, der Suchstrategie, dem Sprachmodell, dem Prompting und den Berechtigungen. Zur Pflege gehören:
- neue Dokumente erkennen
- Änderungen an bestehenden Dokumenten übernehmen
- veraltete oder gelöschte Inhalte entfernen
- Suchindizes aktualisieren
RAG-System langfristig betreiben
Nach dem Livegang beginnt die eigentliche Arbeit: Neue Datenquellen und Benutzergruppen kommen hinzu, Berechtigungen ändern sich, Modelle werden gewechselt oder aktualisiert, Dokumentenimporte und Suche werden verbessert. Damit Probleme auffallen, bevor Mitarbeiter das Vertrauen verlieren, überwachen wir im laufenden Betrieb unter anderem:
- Importfehler bei Dokumenten
- fehlgeschlagene oder nicht erreichbare Datenquellen
- auffällige Suchergebnisse und Suchprobleme
- Verfügbarkeit des Systems
- Speicherverbrauch
- Verfügbarkeit der Modelle
Von der Wissensanalyse bis zum laufenden RAG-System
Welche Dokumente und Systeme gibt es?
Wer darf was sehen?
Cloud, lokal oder hybrid?
Dokumente einlesen und strukturieren.
Retrieval und Sprachmodell verbinden.
Weboberfläche, API oder bestehendes System.
Antwortqualität und Berechtigungen prüfen.
Monitoring und Weiterentwicklung.
Häufige Fragen zu RAG für Unternehmen
RAG oder Fine-Tuning – was ist der richtige Ansatz?
RAG eignet sich besonders, um aktuelle oder sich verändernde Unternehmensinformationen bereitzustellen: Die Wissensquellen lassen sich austauschen, ohne das Modell anzufassen. Fine-Tuning verändert dagegen das Verhalten oder bestimmte Fähigkeiten eines Modells, etwa Tonalität oder Ausgabeformat. Für eine reine Wissensdatenbank ist RAG häufig der naheliegendere Ansatz; in manchen Projekten ergänzen sich beide Verfahren.
Verhindert RAG falsche Antworten der KI?
Nicht vollständig. RAG kann die Qualität und Nachvollziehbarkeit von Antworten deutlich verbessern, weil sich die KI auf bereitgestellte Quellen stützt. Unvollständige Quellen, unpassende Suchergebnisse oder Fehlinterpretationen bleiben möglich. Quellenangaben helfen, Antworten zu überprüfen.
Werden Zugriffsrechte berücksichtigt?
Das ist ein zentraler Teil der Konzeption. Vorhandene Berechtigungen – etwa nach Abteilung, Rolle oder Benutzergruppe – werden so abgebildet, dass die KI nur Informationen abruft, für die der jeweilige Benutzer berechtigt ist. Wie das umgesetzt wird, hängt von den angebundenen Systemen ab.
Muss ein RAG-System lokal betrieben werden?
Nein. Cloud, lokaler Betrieb und hybride Varianten sind möglich. Welche passt, hängt von der Sensibilität Ihrer Daten, Ihrer Infrastruktur und Ihren Anforderungen ab. Mehr zu lokaler KI.
Welche Dokumente eignen sich für ein RAG-System?
Gut geeignet sind Dokumente mit auslesbarem Text und nachvollziehbarer Struktur, etwa PDFs, Word-Dokumente, Handbücher, Wikis oder FAQs. Eingescannte Dokumente, Tabellen oder sehr uneinheitliche Ablagen brauchen mehr Aufbereitung. Das prüfen wir zu Beginn anhand Ihrer tatsächlichen Daten.
Für welche Unternehmen entwickeln Sie RAG-Systeme?
Netcouch entwickelt RAG-Systeme vom Standort Rommerskirchen für Unternehmen aus Köln, Düsseldorf und deutschlandweit.
RAG-Projekt besprechen
Welche Dokumente und Systeme sollen durchsuchbar werden? Schildern Sie uns kurz Ihre Ausgangslage – unverbindlich und persönlich.
Menschen.
Möglichkeiten.