Daniel Ciolek, Leiter Forschung und Entwicklung bei InvGate – Interviewreihe

Daniel ist ein leidenschaftlicher IT-Experte mit mehr als 15 Jahren Erfahrung in der Branche. Er hat einen Doktortitel. in Informatik und einer langen Karriere in der Technologieforschung. Seine Interessen liegen in mehreren Bereichen, beispielsweise künstlicher Intelligenz, Softwareentwicklung und Hochleistungsrechnen.

Daniel ist Leiter für Forschung und Entwicklung bei InvGate und leitet dort die F&E-Initiativen. Er arbeitet mit den Produkt- und Geschäftsentwicklungsteams zusammen, um die F&E-Strategie des Unternehmens zu entwickeln, umzusetzen und zu überwachen. Wenn er nicht forscht, unterrichtet er.

InvGate befähigt Unternehmen durch die Bereitstellung der Tools, um abteilungsübergreifend nahtlosen Service bereitzustellen, von der IT bis zu den Einrichtungen.

Wann und wie ist Ihr Interesse für Informatik geweckt?

Mein Interesse an Informatik reicht bis in meine frühe Kindheit zurück. Ich war schon immer von elektronischen Geräten fasziniert und habe mich oft damit beschäftigt, sie zu erforschen und zu verstehen, wie sie funktionieren. Als ich älter wurde, führte mich diese Neugier zum Programmieren. Ich erinnere mich noch an den Spaß, den ich beim Schreiben meiner ersten Programme hatte. Von diesem Moment an gab es für mich keinen Zweifel mehr, dass ich eine Karriere in der Informatik anstreben wollte.

Sie leiten derzeit F&E-Initiativen und implementieren neuartige generative KI-Anwendungen. Können Sie einige Ihrer Arbeiten besprechen?

Absolut. In unserer Forschungs- und Entwicklungsabteilung befassen wir uns mit komplexen Problemen, deren Darstellung und effiziente Lösung eine Herausforderung sein kann. Unsere Arbeit beschränkt sich nicht nur auf generative KI-Anwendungen, aber die jüngsten Fortschritte in diesem Bereich haben eine Fülle von Möglichkeiten geschaffen, die wir gerne nutzen möchten.

Eines unserer Hauptziele bei InvGate war schon immer die Optimierung der Benutzerfreundlichkeit unserer Software. Wir überwachen die Nutzung, identifizieren Engpässe und arbeiten konsequent an deren Beseitigung. Ein solcher Engpass betrifft häufig das Verständnis und die Nutzung natürlicher Sprache. Ohne den Einsatz von Large Language Models (LLMs) war dies besonders schwierig zu lösen.

Mit dem Aufkommen kostengünstiger LLMs konnten wir diese Anwendungsfälle jedoch optimieren. Zu unseren Funktionen gehören nun unter anderem die Bereitstellung von Schreibempfehlungen, die automatische Erstellung von Wissensdatenbankartikeln und die Zusammenfassung umfangreicher Textabschnitte.

Bei InvGate wendet Ihr Team eine Strategie an, die „agnostische KI“ genannt wird. Könnten Sie erklären, was das bedeutet und warum es wichtig ist?

Bei agnostischer KI geht es grundsätzlich um Flexibilität und Anpassungsfähigkeit. Im Wesentlichen geht es darum, sich nicht auf ein einzelnes KI-Modell oder einen einzelnen Anbieter festzulegen. Stattdessen wollen wir uns alle Optionen offen halten und das Beste aus jedem KI-Anbieter herausholen, ohne dabei das Risiko einzugehen, an ein System gebunden zu sein.

Man kann es sich so vorstellen: Sollten wir für unsere generativen KI-Funktionen OpenAIs GPT, Googles Gemini oder Metas Llama-2 verwenden? Sollten wir uns für eine nutzungsbasierte Cloud-Bereitstellung, eine verwaltete Instanz oder eine selbst gehostete Bereitstellung entscheiden? Dies sind keine trivialen Entscheidungen, und sie können sich im Laufe der Zeit sogar ändern, wenn neue Modelle veröffentlicht werden und neue Anbieter auf den Markt kommen.

Der Agnostic AI-Ansatz stellt sicher, dass unser System jederzeit anpassungsfähig ist. Unsere Implementierung besteht aus drei Schlüsselkomponenten: einer Schnittstelle, einem Router und den KI-Modellen selbst. Die Schnittstelle abstrahiert die Implementierungsdetails des KI-Systems und erleichtert so die Interaktion anderer Teile unserer Software damit. Der Router entscheidet basierend auf verschiedenen Faktoren wie der Art der Anfrage und den Fähigkeiten der verfügbaren KI-Modelle, wohin jede Anfrage gesendet werden soll. Schließlich führen die Modelle die eigentlichen KI-Aufgaben aus, die möglicherweise benutzerdefinierte Datenvorverarbeitungs- und Ergebnisformatierungsprozesse erfordern.

Können Sie die methodischen Aspekte beschreiben, die Ihren Entscheidungsprozess bei der Auswahl der am besten geeigneten KI-Modelle und Anbieter für bestimmte Aufgaben leiten?

Für jede neue Funktion, die wir entwickeln, erstellen wir zunächst einen Bewertungsmaßstab. Dieser dient dazu, die Effizienz verschiedener KI-Modelle bei der Lösung der jeweiligen Aufgabe zu bewerten. Dabei konzentrieren wir uns nicht nur auf die Leistung, sondern berücksichtigen auch Geschwindigkeit und Kosten jedes Modells. So erhalten wir einen ganzheitlichen Überblick über den Nutzen jedes Modells und können die kostengünstigste Option für die Weiterleitung von Anfragen wählen.

Unser Prozess endet hier jedoch nicht. Im sich schnell entwickelnden Bereich der KI werden ständig neue Modelle veröffentlicht und bestehende regelmäßig aktualisiert. Sobald ein neues oder aktualisiertes Modell verfügbar ist, führen wir unseren Evaluierungs-Benchmark erneut durch. So können wir die Leistung des neuen oder aktualisierten Modells mit der unserer aktuellen Auswahl vergleichen. Übertrifft ein neues Modell das aktuelle, aktualisieren wir unser Router-Modul entsprechend.

Was sind einige der Herausforderungen beim nahtlosen Wechsel zwischen verschiedenen KI-Modellen und Anbietern?

Der nahtlose Wechsel zwischen verschiedenen KI-Modellen und Anbietern stellt in der Tat eine Reihe einzigartiger Herausforderungen dar.

Erstens benötigt jeder KI-Anbieter Eingaben, die auf bestimmte Weise formatiert sind, und die KI-Modelle können unterschiedlich auf dieselben Anfragen reagieren. Das bedeutet, dass wir für jedes Modell individuell optimieren müssen, was angesichts der Vielfalt der Optionen recht komplex sein kann.

Zweitens verfügen KI-Modelle über unterschiedliche Fähigkeiten. Einige Modelle können beispielsweise Ausgaben im JSON-Format generieren, eine Funktion, die sich in vielen unserer Implementierungen als nützlich erweist. Andere können große Textmengen verarbeiten, sodass wir für einige Aufgaben einen umfassenderen Kontext nutzen können. Die Verwaltung dieser Funktionen zur Maximierung des Potenzials jedes Modells ist ein wesentlicher Bestandteil unserer Arbeit.

Schließlich müssen wir sicherstellen, dass KI-generierte Antworten sicher verwendet werden können. Generative KI-Modelle können manchmal „Halluzinationen“ hervorrufen oder Antworten erzeugen, die falsch, aus dem Zusammenhang gerissen oder sogar potenziell schädlich sind. Um dies zu mildern, implementieren wir strenge Nachbearbeitungs-Bereinigungsfilter, um unangemessene Antworten zu erkennen und herauszufiltern.

Wie ist die Schnittstelle in Ihrem agnostischen KI-System gestaltet, um sicherzustellen, dass sie die Komplexität der zugrunde liegenden KI-Technologien für benutzerfreundliche Interaktionen effektiv abstrahiert?

Das Design unserer Schnittstelle ist eine Gemeinschaftsarbeit zwischen Forschung und Entwicklung und den Ingenieurteams. Wir arbeiten Feature für Feature und definieren die Anforderungen und verfügbaren Daten für jedes Feature. Anschließend entwerfen wir eine API, die sich nahtlos in das Produkt integriert, und implementieren sie in unserem internen AI-Service. Dadurch können sich die Engineering-Teams auf die Geschäftslogik konzentrieren, während unser AI-Service die Komplexität des Umgangs mit verschiedenen AI-Anbietern bewältigt.

Dieser Prozess basiert nicht auf Spitzenforschung, sondern auf der Anwendung bewährter Software-Engineering-Praktiken.

Wie geht InvGate im Hinblick auf den globalen Betrieb mit der Herausforderung der regionalen Verfügbarkeit und der Einhaltung lokaler Datenvorschriften um?

Die Gewährleistung der regionalen Verfügbarkeit und die Einhaltung lokaler Datenvorschriften ist ein wesentlicher Bestandteil unserer Geschäftstätigkeit bei InvGate. Wir wählen sorgfältig KI-Anbieter aus, die nicht nur in großem Maßstab arbeiten können, sondern auch höchste Sicherheitsstandards einhalten und regionale Vorschriften einhalten.

Beispielsweise berücksichtigen wir nur Anbieter, die sich an Vorschriften wie die Datenschutz-Grundverordnung (DSGVO) in der EU halten. Dies stellt sicher, dass wir unsere Dienste in verschiedenen Regionen sicher bereitstellen können, mit der Gewissheit, dass wir innerhalb der lokalen rechtlichen Rahmenbedingungen agieren.

Große Cloud-Anbieter wie AWS, Azure und Google Cloud erfüllen diese Anforderungen und bieten ein breites Spektrum an KI-Funktionalitäten, was sie zu geeigneten Partnern für unsere globalen Aktivitäten macht. Darüber hinaus überwachen wir kontinuierlich Änderungen der lokalen Datenvorschriften, um die fortlaufende Einhaltung sicherzustellen, und passen unsere Praktiken bei Bedarf an.

Wie hat sich der Ansatz von InvGate zur Entwicklung von IT-Lösungen im letzten Jahrzehnt entwickelt, insbesondere durch die Integration von Generativer KI?

In den letzten zehn Jahren hat sich der Ansatz von InvGate zur Entwicklung von IT-Lösungen deutlich weiterentwickelt. Wir haben unsere Funktionsbasis um erweiterte Funktionen wie automatisierte Workflows, Geräteerkennung und eine Configuration Management Database (CMDB) erweitert. Diese Funktionen haben den IT-Betrieb für unsere Benutzer erheblich vereinfacht.

Wir haben kürzlich damit begonnen, GenAI in unsere Produkte zu integrieren. Möglich wurde dies durch die jüngsten Fortschritte bei LLM-Anbietern, die nun kostengünstige Lösungen anbieten. Die Integration von GenAI ermöglicht es uns, unsere Produkte mit KI-gestütztem Support zu erweitern und so unsere Lösungen effizienter und benutzerfreundlicher zu gestalten.

Obwohl wir uns noch in der Anfangsphase befinden, gehen wir davon aus, dass KI zu einem allgegenwärtigen Werkzeug im IT-Betrieb werden wird. Daher planen wir, unsere Produkte durch die weitere Integration von KI-Technologien weiterzuentwickeln.

Können Sie erklären, wie die generative KI im AI Hub die Geschwindigkeit und Qualität der Reaktionen auf häufige IT-Vorfälle verbessert?

Die generative KI in unserem AI Hub verbessert sowohl die Geschwindigkeit als auch die Qualität der Reaktionen auf häufige IT-Vorfälle erheblich. Dies geschieht durch einen mehrstufigen Prozess:

Erstkontakt: Wenn ein Benutzer auf ein Problem stößt, kann er einen Chat mit unserem KI-gestützten virtuellen Agenten (VA) öffnen und das Problem beschreiben. Der VA durchsucht selbstständig die Knowledge Base (KB) des Unternehmens und eine öffentliche Datenbank mit IT-Anleitungen zur Fehlerbehebung und bietet im Dialog Unterstützung. Dadurch lässt sich das Problem oft schnell und effizient lösen.

Ticketerstellung: Wenn das Problem komplexer ist, kann die VA ein Ticket erstellen und automatisch relevante Informationen aus dem Gespräch extrahieren.

Ticketzuweisung: Das System weist das Ticket einem Support-Agenten zu, basierend auf der Ticketkategorie, der Priorität und der Erfahrung des Agenten mit ähnlichen Problemen.

Agenteninteraktion: Der Agent kann den Benutzer kontaktieren, um weitere Informationen zu erhalten oder ihm mitzuteilen, dass das Problem behoben wurde. Die Interaktion wird durch KI verbessert und bietet Schreibempfehlungen zur Verbesserung der Kommunikation.

Eskalation: Wenn das Problem eine Eskalation erfordert, helfen automatische Zusammenfassungsfunktionen den Managern, das Problem schnell zu verstehen.

Postmortale Analyse: Nachdem das Ticket geschlossen wurde, führt die KI eine Ursachenanalyse durch und unterstützt so Post-Mortem-Analysen und Berichte. Der Agent kann die KI auch nutzen, um einen Wissensdatenbankartikel zu verfassen, der die Lösung ähnlicher Probleme in der Zukunft erleichtert.

Obwohl wir die meisten dieser Funktionen bereits implementiert haben, arbeiten wir kontinuierlich an weiteren Erweiterungen und Verbesserungen.

Welche Verbesserungen sind angesichts der bevorstehenden Funktionen wie dem intelligenteren MS Teams Virtual Agent zu erwarten?

Ein vielversprechender Weg nach vorn besteht darin, das Gesprächserlebnis zu einem „Copiloten“ zu erweitern, der nicht nur in der Lage ist, auf Fragen zu antworten und einfache Aktionen durchzuführen, sondern auch komplexere Aktionen im Namen der Benutzer durchzuführen. Dies könnte nützlich sein, um die Self-Service-Funktionen der Benutzer zu verbessern und den Agenten zusätzliche leistungsstarke Tools bereitzustellen. Letztendlich werden diese leistungsstarken Konversationsschnittstellen die KI zu einem allgegenwärtigen Begleiter machen.

Vielen Dank für das tolle Interview, Leser, die mehr erfahren möchten, sollten vorbeischauen InvGate.