Laufende Betreuung beginnt nach dem Go-live
Managed AI bezeichnet den geplanten Betrieb und die laufende Verbesserung produktiver KI-Systeme. Dazu gehören nicht nur Verfügbarkeit und Updates, sondern auch Wissenspflege, Qualitätskontrolle, Modellwahl, Kosten, Berechtigungen, Integrationen und neue Anforderungen. Das Ziel ist ein System, das nach dem Go-live nicht unbemerkt an Nutzen verliert.
Warum KI mehr Pflege braucht als klassische Software
Klassische Software liefert bei gleichen Eingaben meist vorhersehbare Ergebnisse. Generative KI kann variieren. Gleichzeitig werden Quellen aktualisiert, Mitarbeitende stellen neue Fragen, Anbieter ändern Modelle und Prozesse entwickeln sich weiter. Eine gute Pilotlösung kann deshalb Monate später schlechter passen, obwohl technisch kein Fehler sichtbar ist.
Die sechs Aufgabenbereiche von Managed AI
1. Nutzung und Qualität beobachten
Ausgewählte Testfragen, Fehlermeldungen und Nutzerfeedback zeigen, ob Antworten hilfreich bleiben. Nicht jede Unterhaltung muss dauerhaft gespeichert werden. Messung und Datenschutz müssen zusammen geplant werden.
2. Wissen und Quellen pflegen
Neue Versionen werden aufgenommen, veraltete Dokumente deaktiviert und Verantwortliche für Quellengruppen benannt. Bei Wissenssystemen ist diese redaktionelle Arbeit zentral.
3. Prompts, Agents und Workflows verbessern
Wiederkehrende Fehler können durch bessere Anweisungen, zusätzliche Prüfungen oder geänderte Übergaben reduziert werden. Änderungen werden getestet und dokumentiert, statt direkt im Produktivsystem zu experimentieren.
4. Modelle und Anbieter prüfen
Neue Modelle können Qualität, Geschwindigkeit oder Kosten verändern. Ein Wechsel braucht Vergleichstests mit eigenen Aufgaben. Versionsänderungen eines Anbieters dürfen nicht unbemerkt die Abnahmegrundlage verschieben.
5. Kosten kontrollieren
Nutzung pro Team, Modellkosten, Telefonminuten, Speicher und Infrastruktur werden beobachtet. Ziel ist nicht immer die billigste Anfrage, sondern ein wirtschaftlich sinnvoller Gesamtprozess.
6. Sicherheit und Berechtigungen aktuell halten
Konten, Rollen, Schnittstellen und Schlüssel werden überprüft. Bei Ein- und Austritten sowie organisatorischen Änderungen müssen Zugriffe angepasst werden.
Wie laufende Betreuung in der Praxis aussehen kann
Kritische technische Ereignisse benötigen laufende Überwachung. Fachliche Qualität kann je nach Nutzung wöchentlich, monatlich oder quartalsweise geprüft werden. Ein Review betrachtet Kennzahlen, Fehler, Quellenänderungen, Kosten und Verbesserungswünsche. Maßnahmen erhalten Verantwortliche und einen Termin.
Nicht jedes System braucht denselben Takt. Ein interner Assistent mit 20 Nutzern wird anders betrieben als ein Voice Agent mit externen Gesprächen.
Was monatlich oder regelmäßig geprüft werden kann
- fehlgeschlagene oder abgebrochene Anfragen,
- ein repräsentativer Testsatz mit erwarteten Ergebnissen,
- geänderte, neue oder zurückgezogene Quelldokumente,
- Modell- und Anbieteränderungen,
- Fehler in Schnittstellen und Datenübergaben,
- Kostenentwicklung nach Team und Funktion,
- Änderungen an Rollen und Zugriffen,
- priorisierte Verbesserungswünsche der Nutzer.
Welche Punkte monatlich, häufiger oder nur bei Änderungen geprüft werden, hängt vom Einsatz ab. Ein österreichischer Produktionsbetrieb kann bei einem internen Wissensassistenten monatlich Quellen und Testfragen prüfen, während technische Ausfälle der Schnittstellen laufend überwacht werden.
Managed AI ist nicht für jedes Projekt gleich
Der Umfang richtet sich nach Kritikalität, Nutzung, Zahl der angebundenen Systeme und Änderungsgeschwindigkeit. Ein kleiner interner Assistent braucht ein anderes Betriebskonzept als ein Voice Agent mit externen Gesprächen oder ein Workflow mit Schreibzugriff. Managed AI sollte daher konkrete Leistungen, Verantwortlichkeiten, Prüfintervalle und Reaktionswege benennen – keine pauschale Betreuung versprechen.
Beispiel: Wissensassistent nach dem Start
Nach dem Go-live zeigen Suchanfragen, dass viele Nutzer nach einer neuen Produktserie fragen, die noch nicht in den Quellen liegt. Gleichzeitig liefert ein aktualisiertes Modell bei Tabellen bessere Ergebnisse. Im Review werden Dokumente ergänzt, Testfragen erweitert und das neue Modell zunächst in einer Testumgebung verglichen. Erst nach fachlicher Prüfung erfolgt der Wechsel.
Was Managed AI nicht ist
Managed AI ist keine pauschale SLA-Zusage, keine Rechtsberatung und kein Freibrief für unkontrollierte Änderungen. Es ersetzt auch nicht die Verantwortung des Fachbereichs für Inhalte und Entscheidungen. Es ist eine gemeinsame Arbeitsweise mit nachvollziehbaren Rollen.
Bei einem einmaligen, nicht kritischen Versuch ohne produktive Nutzer kann ein laufender Vertrag unnötig sein. Sobald das Ergebnis jedoch Teil eines Arbeitsablaufs wird, muss zumindest geklärt sein, wer Quellen, Fehler und Änderungen übernimmt.
Fragen für ein Betriebskonzept
- Wer ist fachlicher und technischer Eigentümer?
- Welche Qualitätskriterien werden regelmäßig geprüft?
- Welche Daten dürfen für Monitoring gespeichert werden?
- Wie werden Modell- und Promptänderungen getestet?
- Welche Kosten- und Nutzungsschwellen gelten?
- Wie funktionieren Störung, Rückfall und Anbieterwechsel?
Die laufende Leistung ist unter Managed AI beschrieben.
Quellen und weiterführende Informationen
Sie möchten festlegen, welche laufenden Prüfungen Ihre produktive KI tatsächlich braucht?
Betriebskonzept klären