RAG (Retrieval-Augmented Generation)

Retrieval-Augmented Generation (RAG) ist eine Technik, die die Genauigkeit und Aktualität von LLMs verbessert, indem sie das Modell mit Zugriff auf externe, private Datenquellen ausstattet. Anstatt nur auf sein (statisch antrainiertes) Wissen zuzugreifen, sucht das System bei einer Anfrage zuerst relevante Dokumente in einer Vektordatenbank und fügt diese als Kontext in den Prompt ein. Dies reduziert Halluzinationen drastisch und ermöglicht der KI, Firmenwissen zu nutzen, ohne darauf trainiert worden zu sein.