Verlässliche Automatisierung mit souveräner KI: Konfidenzquantifizierung durch Informationsfusion lokal betriebener LLMs
Automatisierung mit großen Sprachmodellen (LLMs) erfordert neben korrekten Ausgaben auch belastbare Konfidenzschätzungen. In regulierten und datensensiblen Umgebungen kommt hinzu, dass die Verarbeitung die Organisation nicht verlassen darf. Wir verfolgen deshalb einen Ansatz souveräner KI: Open-Weight-Modelle werden vollständig on-premise auf Kundendaten feinabgestimmt und betrieben, ohne Abhängigkeit von externen API-Anbietern. Unsere Arbeit adressiert die Frage, wie sich die Zuverlässigkeit der Ergebnisse quantifizieren lässt, wenn strukturierte Informationen aus verrauschten, realen Eingaben wie Belegfotos extrahiert werden. Wir haben für unsere Kunden eine Informationsfusions-Pipeline gebaut, die mehrere LLM-Ausgaben kombiniert und deren Übereinstimmung als Zuordnungsproblem modelliert.
Über ähnlichkeitsbasierte Kostenfunktionen werden Positionen zwischen unabhängig erzeugten Ergebnissen korreliert; daraus entstehen ein fusioniertes Resultat sowie Konfidenzwerte, die auf der Konsistenz zwischen den Modellen beruhen. Das Verfahren filtert Halluzinationen, löst Mehrdeutigkeiten auf und liefert ein einzelnes hochwertiges Ergebnis. Mehrere feinabgestimmte Modellvarianten liefern dabei die für die Fusion nötige Diversität, und der lokale Betrieb macht den Ensemble-Ansatz wirtschaftlich tragfähig.
Redner
-
Dr.-Ing. Toni Fetzercronn GmbHDr.-Ing. Toni Fetzer ist Leiter der Abteilung KI bei der cronn GmbH in Bonn. Er ist Autor und Co-Autor von mehr als 20 wissenschaftlichen Publikationen und wurde für seine Arbeiten mehrfach ausgezeichnet.