Daniel Ciolek, Leiter Forschung und Entwicklung bei InvGate – Interviewreihe

Daniel ist ein leidenschaftlicher IT-Experte mit mehr als 15 Jahren Erfahrung in der Branche. Er hat einen Doktortitel. in Informatik und einer langen Karriere in der Technologieforschung. Seine Interessen liegen in mehreren Bereichen, beispielsweise künstlicher Intelligenz, Softwareentwicklung und Hochleistungsrechnen.

Daniel ist Leiter Forschung und Entwicklung bei InvGate, wo er die F&E-Initiativen leitet. Er arbeitet mit den Produkt- und Geschäftsentwicklungsteams zusammen, um die F&E-Strategie des Unternehmens zu entwerfen, umzusetzen und zu überwachen. Wenn er nicht forscht, unterrichtet er.

InvGate befähigt Unternehmen durch die Bereitstellung der Tools, um abteilungsübergreifend nahtlosen Service bereitzustellen, von der IT bis zu den Einrichtungen.

Wann und wie ist Ihr Interesse für Informatik geweckt?

Mein Interesse an Informatik reicht bis in meine frühe Kindheit zurück. Ich war schon immer von elektronischen Geräten fasziniert und habe mich oft damit beschäftigt, sie zu erforschen und zu verstehen, wie sie funktionieren. Als ich älter wurde, führte mich diese Neugier zum Programmieren. Ich erinnere mich noch an den Spaß, den ich beim Schreiben meiner ersten Programme hatte. Von diesem Moment an gab es für mich keinen Zweifel mehr, dass ich eine Karriere in der Informatik anstreben wollte.

Sie leiten derzeit F&E-Initiativen und implementieren neuartige generative KI-Anwendungen. Können Sie einige Ihrer Arbeiten besprechen?

Absolut. In unserer Forschungs- und Entwicklungsabteilung befassen wir uns mit komplexen Problemen, deren effiziente Darstellung und Lösung schwierig sein kann. Unsere Arbeit beschränkt sich nicht nur auf generative KI-Anwendungen, sondern die jüngsten Fortschritte in diesem Bereich haben eine Fülle von Möglichkeiten geschaffen, die wir gerne nutzen möchten.

Eines unserer Hauptziele bei InvGate war schon immer die Optimierung der Benutzerfreundlichkeit unserer Software. Dies erreichen wir, indem wir die Nutzung überwachen, Engpässe identifizieren und gewissenhaft an deren Beseitigung arbeiten. Ein solcher Engpass, auf den wir häufig gestoßen sind, hängt mit dem Verständnis und der Verwendung natürlicher Sprache zusammen. Ohne den Einsatz von Large Language Models (LLMs) war es besonders schwierig, dieses Problem zu lösen.

Mit dem jüngsten Aufkommen kostengünstiger LLMs konnten wir diese Anwendungsfälle jedoch rationalisieren. Zu unseren Fähigkeiten gehören jetzt neben vielen anderen sprachbasierten Funktionen auch die Bereitstellung von Schreibempfehlungen, das automatische Verfassen von Wissensdatenbankartikeln und das Zusammenfassen umfangreicher Textteile.

Bei InvGate wendet Ihr Team eine Strategie an, die „agnostische KI“ genannt wird. Könnten Sie erklären, was das bedeutet und warum es wichtig ist?

Bei agnostischer KI geht es im Wesentlichen um Flexibilität und Anpassungsfähigkeit. Im Wesentlichen geht es darum, sich nicht auf ein einziges KI-Modell oder Anbieter festzulegen. Stattdessen wollen wir unsere Optionen offen halten, das Beste nutzen, was jeder KI-Anbieter bietet, und gleichzeitig das Risiko vermeiden, an ein System gebunden zu sein.

Sie können es sich so vorstellen: Sollten wir GPT von OpenAI, Gemini von Google oder Llama-2 von Meta für unsere generativen KI-Funktionen verwenden? Sollten wir uns für eine nutzungsbasierte Cloud-Bereitstellung, eine verwaltete Instanz oder eine selbst gehostete Bereitstellung entscheiden? Dies sind keine trivialen Entscheidungen und sie können sich im Laufe der Zeit sogar ändern, wenn neue Modelle auf den Markt kommen und neue Anbieter auf den Markt kommen.

Der Agnostic AI-Ansatz stellt sicher, dass unser System jederzeit anpassungsfähig ist. Unsere Implementierung besteht aus drei Schlüsselkomponenten: einer Schnittstelle, einem Router und den KI-Modellen selbst. Die Schnittstelle abstrahiert die Implementierungsdetails des KI-Systems und erleichtert so die Interaktion anderer Teile unserer Software damit. Der Router entscheidet basierend auf verschiedenen Faktoren wie der Art der Anfrage und den Fähigkeiten der verfügbaren KI-Modelle, wohin jede Anfrage gesendet werden soll. Schließlich führen die Modelle die eigentlichen KI-Aufgaben aus, die möglicherweise benutzerdefinierte Datenvorverarbeitungs- und Ergebnisformatierungsprozesse erfordern.

Können Sie die methodischen Aspekte beschreiben, die Ihren Entscheidungsprozess bei der Auswahl der am besten geeigneten KI-Modelle und Anbieter für bestimmte Aufgaben leiten?

Für jede neue Funktion, die wir entwickeln, erstellen wir zunächst einen Bewertungsbenchmark. Dieser Benchmark soll die Effizienz verschiedener KI-Modelle bei der Lösung der jeweiligen Aufgabe bewerten. Aber wir konzentrieren uns nicht nur auf die Leistung, sondern berücksichtigen auch die Geschwindigkeit und die Kosten jedes Modells. Dies gibt uns einen ganzheitlichen Überblick über den Wert jedes Modells und ermöglicht es uns, die kostengünstigste Option für die Weiterleitung von Anfragen auszuwählen.

Damit endet unser Prozess jedoch nicht. Im sich schnell entwickelnden Bereich der KI werden ständig neue Modelle veröffentlicht und bestehende regelmäßig aktualisiert. Wenn also ein neues oder aktualisiertes Modell verfügbar wird, führen wir unseren Bewertungsbenchmark erneut durch. Dadurch können wir die Leistung des neuen oder aktualisierten Modells mit der unserer aktuellen Auswahl vergleichen. Wenn ein neues Modell das aktuelle Modell übertrifft, aktualisieren wir unser Router-Modul, um diese Änderung widerzuspiegeln.

Was sind einige der Herausforderungen beim nahtlosen Wechsel zwischen verschiedenen KI-Modellen und Anbietern?

Der nahtlose Wechsel zwischen verschiedenen KI-Modellen und Anbietern stellt in der Tat eine Reihe einzigartiger Herausforderungen dar.

Erstens benötigt jeder KI-Anbieter Eingaben, die auf bestimmte Weise formatiert sind, und die KI-Modelle können unterschiedlich auf dieselben Anfragen reagieren. Das bedeutet, dass wir für jedes Modell individuell optimieren müssen, was angesichts der Vielfalt der Optionen recht komplex sein kann.

Zweitens verfügen KI-Modelle über unterschiedliche Fähigkeiten. Einige Modelle können beispielsweise Ausgaben im JSON-Format generieren, eine Funktion, die sich in vielen unserer Implementierungen als nützlich erweist. Andere können große Textmengen verarbeiten, sodass wir für einige Aufgaben einen umfassenderen Kontext nutzen können. Die Verwaltung dieser Funktionen zur Maximierung des Potenzials jedes Modells ist ein wesentlicher Bestandteil unserer Arbeit.

Schließlich müssen wir sicherstellen, dass KI-generierte Antworten sicher verwendet werden können. Generative KI-Modelle können manchmal „Halluzinationen“ hervorrufen oder Antworten erzeugen, die falsch, aus dem Zusammenhang gerissen oder sogar potenziell schädlich sind. Um dies zu mildern, implementieren wir strenge Nachbearbeitungs-Bereinigungsfilter, um unangemessene Antworten zu erkennen und herauszufiltern.

Wie ist die Schnittstelle in Ihrem agnostischen KI-System gestaltet, um sicherzustellen, dass sie die Komplexität der zugrunde liegenden KI-Technologien für benutzerfreundliche Interaktionen effektiv abstrahiert?

Das Design unserer Schnittstelle ist eine Gemeinschaftsarbeit zwischen Forschung und Entwicklung und den Ingenieurteams. Wir arbeiten Feature für Feature und definieren die Anforderungen und verfügbaren Daten für jedes Feature. Anschließend entwerfen wir eine API, die sich nahtlos in das Produkt integriert, und implementieren sie in unserem internen AI-Service. Dadurch können sich die Engineering-Teams auf die Geschäftslogik konzentrieren, während unser AI-Service die Komplexität des Umgangs mit verschiedenen AI-Anbietern bewältigt.

Dieser Prozess basiert nicht auf Spitzenforschung, sondern auf der Anwendung bewährter Software-Engineering-Praktiken.

Wie geht InvGate im Hinblick auf den globalen Betrieb mit der Herausforderung der regionalen Verfügbarkeit und der Einhaltung lokaler Datenvorschriften um?

Die Gewährleistung der regionalen Verfügbarkeit und die Einhaltung lokaler Datenvorschriften ist ein wesentlicher Bestandteil unserer Geschäftstätigkeit bei InvGate. Wir wählen sorgfältig KI-Anbieter aus, die nicht nur in großem Maßstab arbeiten können, sondern auch höchste Sicherheitsstandards einhalten und regionale Vorschriften einhalten.

Beispielsweise berücksichtigen wir nur Anbieter, die sich an Vorschriften wie die Datenschutz-Grundverordnung (DSGVO) in der EU halten. Dies stellt sicher, dass wir unsere Dienste in verschiedenen Regionen sicher bereitstellen können, mit der Gewissheit, dass wir innerhalb der lokalen rechtlichen Rahmenbedingungen agieren.

Große Cloud-Anbieter wie AWS, Azure und Google Cloud erfüllen diese Anforderungen und bieten ein breites Spektrum an KI-Funktionalitäten, was sie zu geeigneten Partnern für unsere globalen Aktivitäten macht. Darüber hinaus überwachen wir kontinuierlich Änderungen der lokalen Datenvorschriften, um die fortlaufende Einhaltung sicherzustellen, und passen unsere Praktiken bei Bedarf an.

Wie hat sich der Ansatz von InvGate zur Entwicklung von IT-Lösungen im letzten Jahrzehnt entwickelt, insbesondere durch die Integration generativer KI?

Im letzten Jahrzehnt hat sich der Ansatz von InvGate bei der Entwicklung von IT-Lösungen erheblich weiterentwickelt. Wir haben unsere Funktionsbasis um erweiterte Funktionen wie automatisierte Arbeitsabläufe, Geräteerkennung und Configuration Management Database (CMDB) erweitert. Diese Funktionen haben den IT-Betrieb für unsere Benutzer erheblich vereinfacht.

Vor kurzem haben wir damit begonnen, GenAI in unsere Produkte zu integrieren. Möglich wurde dies durch die jüngsten Fortschritte bei LLM-Anbietern, die damit begonnen haben, kostengünstige Lösungen anzubieten. Die Integration von GenAI hat es uns ermöglicht, unsere Produkte durch KI-gestützte Unterstützung zu verbessern und unsere Lösungen effizienter und benutzerfreundlicher zu machen.

Obwohl es noch am Anfang steht, gehen wir davon aus, dass KI ein allgegenwärtiges Werkzeug im IT-Betrieb werden wird. Daher planen wir, unsere Produkte durch die weitere Integration von KI-Technologien weiterzuentwickeln.

Können Sie erklären, wie die generative KI im AI Hub die Geschwindigkeit und Qualität der Reaktionen auf häufige IT-Vorfälle verbessert?

Die generative KI in unserem AI Hub verbessert sowohl die Geschwindigkeit als auch die Qualität der Reaktionen auf häufige IT-Vorfälle erheblich. Dies geschieht durch einen mehrstufigen Prozess:

Erstkontakt: Wenn ein Benutzer auf ein Problem stößt, kann er oder sie einen Chat mit unserem KI-gestützten Virtual Agent (VA) eröffnen und das Problem beschreiben. Der VA durchsucht selbstständig die Wissensdatenbank (KB) des Unternehmens und eine öffentliche Datenbank mit Leitfäden zur IT-Fehlerbehebung und bietet im Gespräch Orientierungshilfen. Dadurch wird das Problem oft schnell und effizient gelöst.

Ticketerstellung: Wenn das Problem komplexer ist, kann die VA ein Ticket erstellen und automatisch relevante Informationen aus dem Gespräch extrahieren.

Ticketzuweisung: Das System weist das Ticket basierend auf der Ticketkategorie, der Priorität und der Erfahrung des Agenten mit ähnlichen Problemen einem Supportmitarbeiter zu.

Agenteninteraktion: Der Agent kann den Benutzer kontaktieren, um weitere Informationen zu erhalten oder ihm mitzuteilen, dass das Problem behoben wurde. Die Interaktion wird durch KI verbessert und bietet Schreibempfehlungen zur Verbesserung der Kommunikation.

Eskalation: Wenn das Problem eine Eskalation erfordert, helfen automatische Zusammenfassungsfunktionen den Managern, das Problem schnell zu verstehen.

Postmortale Analyse: Nachdem das Ticket geschlossen wurde, führt die KI eine Ursachenanalyse durch und unterstützt so Post-Mortem-Analysen und Berichte. Der Agent kann die KI auch nutzen, um einen Wissensdatenbankartikel zu verfassen, der die Lösung ähnlicher Probleme in der Zukunft erleichtert.

Obwohl wir die meisten dieser Funktionen bereits implementiert haben, arbeiten wir kontinuierlich an weiteren Erweiterungen und Verbesserungen.

Welche Verbesserungen sind angesichts der bevorstehenden Funktionen wie dem intelligenteren MS Teams Virtual Agent zu erwarten?

Ein vielversprechender Weg nach vorn besteht darin, das Gesprächserlebnis zu einem „Copiloten“ zu erweitern, der nicht nur in der Lage ist, auf Fragen zu antworten und einfache Aktionen durchzuführen, sondern auch komplexere Aktionen im Namen der Benutzer durchzuführen. Dies könnte nützlich sein, um die Self-Service-Funktionen der Benutzer zu verbessern und den Agenten zusätzliche leistungsstarke Tools bereitzustellen. Letztendlich werden diese leistungsstarken Konversationsschnittstellen die KI zu einem allgegenwärtigen Begleiter machen.

Vielen Dank für das tolle Interview, Leser, die mehr erfahren möchten, sollten vorbeischauen InvGate.