Souveräne KI in der Praxis – MLOps und LLMOps in hochregulierter Banken-IT
KI wird erst dann strategisch relevant, wenn sie kontrollierbar, sicher und dauerhaft betrieben werden kann. Gerade in regulierten Umgebungen stellt das besondere Anforderungen an Infrastruktur und Automatisierung. Der Vortrag gibt einen Einblick in den Aufbau und Betrieb einer souveränen MLOps- und LLMOps-Plattform im Bankenumfeld. Gezeigt wird, wie Open-Source-LLMs On-Premises betrieben, versioniert, überwacht und automatisiert ausgerollt werden – inklusive realer Herausforderungen im produktiven Betrieb. Ein Praxisbericht aus einer der anspruchsvollsten IT-Umgebungen Deutschlands.
Redner
-
Matthias KordtFinanz InformatikMatthias Kordt ist seit 2019 bei der Finanz Informatik tätig und arbeitet seit 2021 im Bereich KI-Plattform. Als Mischung aus MLOps Engineer und Arbeitspaketleiter verbindet er technisches Know-how mit strategischer Planung. Nach dem Motto „Hate it – Automate it“ setzt er auf Automatisierung, um effiziente und skalierbare Lösungen im KI-Bereich zu entwickeln.
-
Daniel EvenschorFinanz InformatikDaniel Evenschor ist ML- und LLMOps-Ingenieur bei Finanz Informatik und spezialisiert auf die Bereitstellung, Skalierung und Überwachung von LLMs und Machine-Learning-Modellen im Bankensektor.
Mit seinem Hintergrund als Data Scientist bei Evicon schlägt er die Brücke zwischen Data Science und produktiven Systemen, um echten Mehrwert in der Praxis zu schaffen.
Seine Expertise umfasst MLOps, CI/CD, Kubernetes, OpenShift sowie fortgeschrittene Modellüberwachung mit Tools wie Prometheus, Dynatrace und OpenTelemetry.