RAG-Agent in Microsoft Teams: Wie Sie Ihre Dokumente in den Copilot bringen

Unternehmen sitzen auf Tausenden von Verträgen, Richtlinien, Prozessdokumenten und Vorlagen, aber im Alltag fehlt oft die eine, entscheidende Information zur richtigen Zeit. Klassische Suche hilft hier nur begrenzt, weil sie meist auf Stichwörtern basiert und keinen echten Kontext versteht.

Mit Retrieval-Augmented Generation (RAG) verbinden wir bei applied technologies die Stärken von Azure AI Search und generativen Sprachmodellen zu einem digitalen Assistenten in Microsoft Teams: Ihre Mitarbeitenden stellen Fragen in natürlicher Sprache, der Agent findet die relevanten Dokumente, fasst Inhalte zusammen und liefert passgenaue Antworten - direkt im gewohnten Arbeitsumfeld.

1. Was RAG im Unternehmen leistet

RAG-Systeme erweitern ein Sprachmodell um den Zugriff auf Ihre Unternehmensdokumente, statt nur auf Trainingsdaten aus dem Internet zu vertrauen. Relevante Inhalte werden in einem Schritt „Retrieval“ aus einem Suchindex geholt und anschließend in der „Generation“ für Antworten, Zusammenfassungen oder nächste Aktionen genutzt.

Für Fachbereiche bedeutet das konkret:

• Antworten auf komplexe Fragen aus Verträgen, Richtlinien oder Prozessdokumenten.
• Verlässliche, nachvollziehbare Ergebnisse, weil jede Antwort auf echte Quellen im Unternehmen zurückgeht.
• Schnelleres Onboarding, weniger Rückfragen an Expert:innen, weniger Suchzeit.

Vertiefung: Grundlagen-Artikel zu RAG

Wenn Sie einen breiteren Einstieg in das Thema suchen, empfehlen wir unseren vorherigen Deep Dive „RAG-Systeme mit Azure AI Search: Unternehmenswissen intelligent erschließen“. Dort erläutern wir, wie RAG grundsätzlich funktioniert, welche Rolle Azure AI Search spielt und wie Unternehmen Schritt für Schritt starten können. Dieser Beitrag hier fokussiert im nächsten Schritt konkret auf die Architektur eines RAG-Agents in Microsoft Teams und die dafür notwendigen Azure-Komponenten.

2. Architektur unseres Teams-Agents auf Azure

Unser RAG-Agent für Microsoft Teams basiert auf einer modularen Architektur in Azure. Dadurch können wir Retrieval, Anreicherung, Business-Logik und Frontend getrennt optimieren und sicher in Ihre Infrastruktur integrieren.

Die zentralen Komponenten:

• Azure AI Search als KI-Suchdienst und Herzstück der Wissenssuche.
• Azure Blob Storage als skalierbare Ablage für Dokumente und Metadaten.
• Azure Functions für Custom Skills, Metadaten-Anreicherung und Search-Proxy-Logik.
• Benutzerdefinierter Connector als Brücke zu Copilot Studio.
• Copilot Studio als Oberfläche, um den Agent in Microsoft Teams bereitzustellen.

So entsteht ein Teams-Agent, der Ihre Dokumente versteht, Berechtigungen respektiert und sich an neue Anforderungen anpassen lässt.

3. Vom Dokument zum durchsuchbaren Wissensindex

Damit ein RAG-Agent zuverlässige Antworten geben kann, müssen Inhalte aus verschiedenen Quellen und Formaten zunächst technisch „lesbar“ und semantisch erschließbar gemacht werden.

3.1 Import und Indizierung mit Azure AI Search

Azure AI Search bietet im Portal Assistenten, um Datenquellen wie Azure Blob Storage, Azure SQL oder Cosmos DB mit wenigen Klicks zu einem ersten Index zu verbinden. Diese Wizards sind ideal für Prototypen und Proof-of-Concepts, bei denen es vor allem um Geschwindigkeit geht.

Für produktive Lösungen setzen wir auf eine manuell definierte Index-Struktur:

• Ein sauber modelliertes Schema mit Feldern für Titel, Text, Dateiname, Gültigkeit, Dokumenttyp, Sprache und weitere Metadaten.
• Klare Attribute pro Feld (searchable, filterable, sortable, facetable, retrievable), um gezielte Filter, Facetten und performante Abfragen zu ermöglichen.
• Scoring Profiles, mit denen wir Felder unterschiedlich gewichten, z.B. exakten Dateinamen stärker bewerten als allgemeine Titel.

So stellen wir sicher, dass Suchergebnisse nicht nur gefunden, sondern auch sinnvoll gerankt und filterbar sind.

3.2 Skillsets: Intelligente Verarbeitungs-Pipeline

Ein Skillset definiert die komplette Verarbeitungslogik, bevor Inhalte in den Index geschrieben werden. Es kombiniert Standard-Skills (OCR, Sprach- und Entitätserkennung) mit Custom Skills, die wir speziell für Ihren Use Case entwickeln.

Typische Schritte in unserem Setup:

• Splitting großer Dokumente in handhabbare Chunks (SplitSkill), damit KI-Modelle stabil auf Teilmengen arbeiten können.
• Zusammenführen der verarbeiteten Chunks zu einem Volltext, wenn Anwendungen später den Gesamtinhalt benötigen (MergeSkill).
• Automatische Spracherkennung und Schreiben der erkannten Sprache in ein Feld wie detected_language.
• Custom Skills in Azure Functions, z.B. zum Auslesen zusätzlicher Metadaten aus XML-Dateien oder zum Erzeugen kurzer Zusammenfassungen pro Dokument.
• ShaperSkill, um alle relevanten Metadaten auf jede Seite bzw. jeden Chunk zu übertragen, damit jeder Treffer den vollen Kontext behält.

Ergebnis ist ein Suchindex, der nicht nur Texte, sondern auch Kontext, Berechtigungen und Sprache berücksichtigt.

4. Search-Proxy: Intelligente Suche statt einfacher Query

Ein zentrales Element unseres Ansatzes ist eine Proxy Function in Azure Functions, die als intelligente Zwischenschicht zwischen Copilot und Azure AI Search fungiert. Statt den Index direkt anzusprechen, laufen alle Suchanfragen über diese Schicht.

4.1 Mehrdimensionale Suche in einem Schritt

Die Proxy Function kombiniert mehrere Suchstrategien parallel und fusioniert die Ergebnisse:

• Semantische Vektorsuche auf Inhaltsfeldern.
• Vektorsuche auf Metadaten, z.B. Dokumenttyp oder Bereich.
• Klassische, lexikalische Suche für exakte Dateinamen oder Begriffe.

Die Ergebnisse werden gewichtet (z.B. Content, Metadaten, exakte Matches) und zu einer finalen Trefferliste zusammengeführt. Eine direkte Abfrage des AI-Search-Index würde diese Logik nicht in einem einzelnen Call abbilden können.

4.2 Domänenspezifische Business-Logik

In der Proxy Function hinterlegen wir domänenspezifische Regeln, die im Standard-Query-Modell von AI Search nicht vorgesehen sind. Beispiele sind Sprachpräferenzen, Name-Matching, Type-Hints oder Keyword-Boosts für Begriffe wie „Vorlage“ oder „Arbeitsanweisung“.

Zusätzlich gruppiert die Funktion mehrere Chunks eines Dokuments zu einem Ergebnis, sodass Nutzende nicht mit dublettierten Treffern arbeiten müssen. Für Clients wie Copilot Studio bleibt die API bewusst einfach (etwa eine Query und die gewünschte Anzahl an Treffern), während die Komplexität komplett in Azure Functions gekapselt ist.

5. Bereitstellung in Microsoft Teams mit Copilot Studio

Für die Oberfläche setzen wir auf Copilot Studio als Client innerhalb von Microsoft Teams. Ein benutzerdefinierter Connector verbindet Copilot Studio mit der Proxy Function und damit indirekt mit Azure AI Search.

Der Ablauf:

• In Copilot Studio wird der Connector unter „Tools“ angebunden und konfiguriert.
• Der Agent nutzt diesen Connector, um Suchanfragen an die Proxy Function zu senden und kontextreiche Antworten zu erhalten.
• Nach wenigen Schritten lässt sich der KI-Agent in Teams veröffentlichen und steht als Chat- oder Copilot-Erweiterung für Ihre Mitarbeitenden zur Verfügung.

So wird aus Ihrer Dokumentenlandschaft ein praktischer Assistent im täglichen Arbeiten ohne Medienbruch und direkt dort, wo Kommunikation und Zusammenarbeit stattfinden.

6. So unterstützt applied technologies Sie

Als Microsoft-Partner mit starkem Azure-Fokus begleiten wir Unternehmen von den ersten RAG-Prototypen bis zur skalierbaren Produktivlösung in Microsoft Teams. Unser Vorgehen umfasst Architektur-Design, Datenaufbereitung, Security- und Berechtigungskonzepte, Implementierung von Skillsets und Proxy Functions sowie Integration in Copilot Studio.

Wenn Sie Ihre Dokumente mit einem RAG-Agenten in Teams nutzbar machen möchten, entwickeln wir gemeinsam einen fokussierten Anwendungsfall und liefern in wenigen Wochen einen ersten funktionsfähigen Agenten mit klar messbarem Mehrwert für Ihre Mitarbeitenden.