Halluzinationen trotz Kontext
RAG ist kein Garant gegen Halluzinationen. Vier klassische Muster, wie ein Modell trotz Kontext daneben liegt — und was dagegen wirkt.
Wenn die Wissensbasis schlecht ist (veraltet, widersprüchlich, unvollständig) oder das Retrieval die falschen Stücke holt, halluziniert das Modell trotzdem — nur jetzt mit scheinbarer Quellenangabe. Garbage in, confident garbage out.
Symptom
Antwort übernimmt Falsches aus einem veralteten oder fehlerhaften Dokument 1:1.
Beispiel
Wieso
Das LLM kann nicht beurteilen, ob der Kontext aktuell oder korrekt ist — es vertraut ihm blind.
Was hilft: Datums-Metadaten + Filter; Quellen-Qualität im Pre-Processing prüfen; bei wichtigen Themen mehrere Quellen abgleichen.
Warum eigentlich? — Warum halluziniert ein LLM mit Kontext überhaupt?
Selbst bei einem System-Prompt mit Kontext steht das LLM unter zwei Zielen: hilfreich antworten und plausibel klingen. Wenn Kontext und Frage nicht perfekt zusammenpassen, gewichtet das Modell den eigenen Pretraining-Bias höher als die Anweisung „nur aus Kontext“. Niedrige Temperatur + explizite Anweisung dämpfen das, eliminieren es aber nicht.
Häufiger Denkfehler — "Ich weiß es nicht" ist ein gutes Ergebnis
Viele RAG-Eval-Setups bestrafen leere Antworten. Falsch. Eine ehrliche „Das geht aus den verfügbaren Dokumenten nicht hervor“-Antwort ist besser als eine selbstbewusste Falschaussage. Misst man unbedingt — dann mit Faithfulness statt nur Answer Relevancy.
Tiefer rein — Faithfulness messen
RAGAS (Open-Source) bietet eine
faithfulness-Metrik: jede Aussage in der Antwort wird in einzelne Behauptungen zerlegt, und ein Judge-LLM prüft pro Behauptung, ob sie im Kontext steht. Score = Anteil belegter Behauptungen. Ein Score von 0.8 heißt: 20 % der Antwort sind streng genommen halluziniert.