Daniel Ciolek, Leiter der Forschung und Entwicklung bei InvGate – Interview-Serie

Daniel ist ein leidenschaftlicher IT-Experte mit mehr als 15 Jahren Erfahrung in der Branche. Er hat einen PhD in Informatik und eine lange Karriere in der Technologieforschung. Seine Interessen liegen in mehreren Bereichen, wie künstlicher Intelligenz, Software-Engineering und Hochleistungsrechnen.

Daniel ist der Leiter der Forschung und Entwicklung bei InvGate, wo er die R&D-Initiativen leitet. Er arbeitet eng mit den Produkt- und Business-Development-Teams zusammen, um die R&D-Strategie des Unternehmens zu entwerfen, umzusetzen und zu überwachen. Wenn er nicht forscht, unterrichtet er.

InvGate ermöglicht es Organisationen, nahtlose Dienste über Abteilungen hinweg bereitzustellen, von IT bis hin zu Einrichtungen.

Wann und wie sind Sie ursprünglich an die Informatik interessiert geworden?

Mein Interesse an der Informatik reicht zurück bis in meine frühe Kindheit. Ich war immer fasziniert von elektronischen Geräten und habe oft versucht, zu verstehen, wie sie funktionieren. Als ich älter wurde, führte diese Neugier mich zum Programmieren. Ich erinnere mich noch an die Freude, die ich hatte, als ich mein erstes Programm schrieb. Von diesem Moment an gab es keinen Zweifel in meinem Kopf, dass ich eine Karriere in der Informatik verfolgen wollte.

Sie leiten derzeit R&D-Initiativen und setzen neue generative KI-Anwendungen um. Können Sie über einige Ihrer Arbeiten sprechen?

Absolut. In unserem R&D-Department bearbeiten wir komplexe Probleme, die schwierig zu repräsentieren und effizient zu lösen sind. Unsere Arbeit ist nicht auf generative KI-Anwendungen beschränkt, aber die jüngsten Fortschritte in diesem Bereich haben eine Vielzahl von Möglichkeiten eröffnet, die wir ausnutzen möchten.

Eines unserer Hauptziele bei InvGate war es immer, die Benutzerfreundlichkeit unserer Software zu optimieren. Wir tun dies, indem wir überwachen, wie sie verwendet wird, Engpässe identifizieren und daran arbeiten, sie zu beseitigen. Ein solcher Engpass, auf den wir oft stoßen, ist mit dem Verständnis und der Nutzung von natürlicher Sprache verbunden. Dies war ein besonders schwieriges Problem, das ohne die Verwendung von Large Language Models (LLMs) nicht zu lösen war.

Jedoch haben wir mit dem jüngsten Auftauchen von kosteneffizienten LLMs die Möglichkeit, diese Anwendungsfälle zu straffen. Unsere Fähigkeiten umfassen nun die Bereitstellung von Schreibempfehlungen, die automatische Erstellung von Wissensdatenbankartikeln und die Zusammenfassung umfangreicher Texte, unter anderem.

Bei InvGate wenden Sie eine Strategie an, die als “agnostische KI” bezeichnet wird. Können Sie erklären, was dies bedeutet und warum es wichtig ist?

Agnostische KI ist grundlegend flexibel und anpassungsfähig. Es geht darum, sich nicht auf ein einzelnes KI-Modell oder einen Anbieter zu verpflichten. Stattdessen halten wir unsere Optionen offen, indem wir das Beste aus jedem KI-Anbieter nutzen und gleichzeitig das Risiko vermeiden, an ein System gebunden zu sein.

Man kann es sich so vorstellen: Sollen wir OpenAI’s GPT, Google’s Gemini oder Meta’s Llama-2 für unsere generativen KI-Features verwenden? Sollen wir uns für eine pay-as-you-go-Cloud-Bereitstellung, eine verwaltete Instanz oder eine selbst gehostete Bereitstellung entscheiden? Diese Entscheidungen sind nicht trivial und können sich im Laufe der Zeit ändern, wenn neue Modelle veröffentlicht und neue Anbieter auf den Markt kommen.

Der Ansatz der agnostischen KI stellt sicher, dass unser System immer bereit ist, sich anzupassen. Unsere Implementierung hat drei Schlüsselkomponenten: eine Schnittstelle, einen Router und die KI-Modelle selbst. Die Schnittstelle abstrahiert die Implementierungsdetails des KI-Systems, sodass es für andere Teile unserer Software einfacher ist, damit zu interagieren. Der Router entscheidet, wohin jeder Anfrage basierend auf verschiedenen Faktoren wie dem Anfragetyp und den Fähigkeiten der verfügbaren KI-Modelle gesendet wird. Schließlich führen die Modelle die tatsächlichen KI-Aufgaben aus, die möglicherweise benutzerdefinierte Datenvorverarbeitung und Ergebnisformatierungsprozesse erfordern.

Können Sie die methodischen Aspekte beschreiben, die Ihre Entscheidungsfindung bei der Auswahl der geeignetsten KI-Modelle und -Anbieter für bestimmte Aufgaben leiten?

Für jede neue Funktion, die wir entwickeln, erstellen wir eine Bewertungsbenchmark. Diese Benchmark soll die Effizienz verschiedener KI-Modelle bei der Lösung der vorliegenden Aufgabe bewerten. Aber wir konzentrieren uns nicht nur auf die Leistung, sondern auch auf die Geschwindigkeit und die Kosten jedes Modells. Dies gibt uns eine umfassende Sicht auf den Wert jedes Modells, sodass wir die kosteneffektivste Option für die Anfrageverteilung wählen können.

Unser Prozess endet jedoch nicht dort. Im sich schnell entwickelnden Bereich der KI werden ständig neue Modelle veröffentlicht und bestehende Modelle aktualisiert. Wenn also ein neues oder aktualisiertes Modell verfügbar wird, führen wir unsere Bewertungsbenchmark erneut durch. Dies ermöglicht es uns, die Leistung des neuen oder aktualisierten Modells mit der des aktuellen Modells zu vergleichen. Wenn ein neues Modell das aktuelle Modell übertrifft, aktualisieren wir unser Router-Modul, um diese Änderung widerzuspiegeln.

Welche Herausforderungen gibt es, wenn man nahtlos zwischen verschiedenen KI-Modellen und -Anbietern wechselt?

Das nahtlose Wechseln zwischen verschiedenen KI-Modellen und -Anbietern stellt tatsächlich eine Reihe einzigartiger Herausforderungen dar.

Zunächst erfordert jeder KI-Anbieter Eingaben, die in bestimmten Formaten vorliegen müssen, und die KI-Modelle können auf dieselben Anfragen unterschiedlich reagieren. Dies bedeutet, dass wir individuell für jedes Modell optimieren müssen, was angesichts der Vielfalt der Optionen ziemlich komplex sein kann.

Zweitens haben KI-Modelle unterschiedliche Fähigkeiten. Zum Beispiel können einige Modelle Ausgaben im JSON-Format generieren, eine Funktion, die in vielen unserer Implementierungen nützlich ist. Andere können große Mengen an Text verarbeiten, was es uns ermöglicht, für bestimmte Aufgaben einen umfassenderen Kontext zu verwenden. Die Verwaltung dieser Fähigkeiten, um das volle Potenzial jedes Modells auszuschöpfen, ist ein wesentlicher Teil unserer Arbeit.

Schließlich müssen wir sicherstellen, dass KI-generierte Antworten sicher zu verwenden sind. Generative KI-Modelle können manchmal “Halluzinationen” produzieren oder Antworten generieren, die falsch, aus dem Kontext gerissen oder sogar potenziell schädlich sein können. Um dies zu vermeiden, implementieren wir strenge Post-Processing-Sanititätsfilter, um unangemessene Antworten zu erkennen und zu filtern.

Wie ist die Schnittstelle in Ihrem agnostischen KI-System entworfen, um sicherzustellen, dass sie die Komplexität der zugrunde liegenden KI-Technologien für benutzerfreundliche Interaktionen abstrahiert?

Der Entwurf unserer Schnittstelle ist eine gemeinsame Anstrengung zwischen den R&D- und Ingenieursteams. Wir arbeiten featureweise, definieren die Anforderungen und verfügbaren Daten für jedes Feature und entwerfen dann eine API, die nahtlos in unser Produkt integriert ist. Dies ermöglicht es den Ingenieursteams, sich auf die Geschäftslogik zu konzentrieren, während unser KI-Service die Komplexität des Umgangs mit verschiedenen KI-Anbietern bewältigt.

Dieser Prozess basiert nicht auf Spitzenforschung, sondern auf der Anwendung bewährter Software-Engineering-Praktiken.

Bei globalen Operationen, wie bewältigt InvGate die Herausforderung der regionalen Verfügbarkeit und der Einhaltung lokaler Datenschutzbestimmungen?

Die Sicherstellung der regionalen Verfügbarkeit und der Einhaltung lokaler Datenschutzbestimmungen ist ein wichtiger Teil unserer Operationen bei InvGate. Wir wählen sorgfältig KI-Anbieter aus, die nicht nur im großen Maßstab operieren können, sondern auch höchste Sicherheitsstandards einhalten und regionalen Vorschriften entsprechen.

Zum Beispiel berücksichtigen wir nur Anbieter, die den Anforderungen der Datenschutz-Grundverordnung (DSGVO) in der EU entsprechen. Dies stellt sicher, dass wir unsere Dienste in verschiedenen Regionen bereitstellen können, mit der Gewissheit, dass wir innerhalb des lokalen Rechtsrahmens operieren.

Große Cloud-Anbieter wie AWS, Azure und Google Cloud erfüllen diese Anforderungen und bieten eine breite Palette von KI-Funktionen, was sie zu geeigneten Partnern für unsere globalen Operationen macht. Darüber hinaus überwachen wir kontinuierlich Änderungen in den lokalen Datenschutzbestimmungen, um die Einhaltung sicherzustellen und unsere Praktiken entsprechend anzupassen.

Wie hat sich InvGates Ansatz bei der Entwicklung von IT-Lösungen im Laufe des letzten Jahrzehnts entwickelt, insbesondere mit der Integration von generativer KI?

Im Laufe des letzten Jahrzehnts hat sich InvGates Ansatz bei der Entwicklung von IT-Lösungen erheblich weiterentwickelt. Wir haben unsere Funktionsbasis mit erweiterten Fähigkeiten wie automatisierten Workflows, Geräteerkennung und Configuration Management Database (CMDB) erweitert. Diese Funktionen haben den IT-Betrieb für unsere Benutzer erheblich vereinfacht.

Kürzlich haben wir begonnen, GenAI in unsere Produkte zu integrieren. Dies wurde durch die jüngsten Fortschritte bei den Anbietern von Large Language Models ermöglicht, die kosteneffiziente Lösungen anbieten. Die Integration von GenAI hat es uns ermöglicht, unsere Produkte mit KI-gestütztem Support zu erweitern, unsere Lösungen effizienter und benutzerfreundlicher zu machen.

Obwohl es noch früh ist, prognostizieren wir, dass KI zu einem allgegenwärtigen Werkzeug im IT-Betrieb wird. Als solches planen wir, unsere Produkte weiter zu entwickeln, indem wir KI-Technologien weiter integrieren.

Können Sie erklären, wie die generative KI im AI-Hub die Geschwindigkeit und Qualität der Antworten auf häufige IT-Vorfälle verbessert?

Die generative KI in unserem AI-Hub verbessert sowohl die Geschwindigkeit als auch die Qualität der Antworten auf häufige IT-Vorfälle erheblich. Sie tut dies durch einen mehrstufigen Prozess:

Erster Kontakt: Wenn ein Benutzer auf ein Problem stößt, kann er einen Chat mit unserem KI-gestützten virtuellen Agenten (VA) starten und das Problem beschreiben. Der VA sucht automatisch in der Wissensdatenbank (KB) und einer öffentlichen Datenbank von IT-Troubleshooting-Anleitungen und bietet Anleitung in einer konversationellen Art und Weise. Dies löst das Problem oft schnell und effizient.

Ticket-Erstellung: Wenn das Problem komplexer ist, kann der VA ein Ticket erstellen und relevante Informationen aus dem Gespräch automatisch extrahieren.

Ticket-Zuweisung: Das System weist das Ticket einem Support-Agenten basierend auf der Ticket-Kategorie, -Priorität und der Erfahrung des Agenten mit ähnlichen Problemen zu.

Agenten-Interaktion: Der Agent kann den Benutzer für weitere Informationen kontaktieren oder ihn über die Lösung des Problems informieren. Die Interaktion wird durch KI verbessert, indem Schreibempfehlungen zur Verbesserung der Kommunikation bereitgestellt werden.

Escalation: Wenn das Problem eine Eskalation erfordert, helfen automatische Zusammenfassungsfunktionen Managern, das Problem schnell zu verstehen.

Postmortem-Analyse: Nachdem das Ticket geschlossen ist, führt die KI eine Root-Cause-Analyse durch, die bei der Postmortem-Analyse und bei Berichten hilft. Der Agent kann auch die KI verwenden, um einen Wissensdatenbankartikel zu erstellen, was die Lösung ähnlicher Probleme in der Zukunft erleichtert.

Obwohl wir bereits die meisten dieser Funktionen implementiert haben, arbeiten wir kontinuierlich an weiteren Verbesserungen und Erweiterungen.

Mit kommenden Funktionen wie dem intelligenteren MS Teams Virtual Agent, welche Verbesserungen in den konversationellen Support-Erfahrungen sind zu erwarten?

Ein vielversprechender Weg nach vorne ist, die konversationelle Erfahrung in einen “Co-Piloten” zu erweitern, der nicht nur in der Lage ist, auf Fragen zu antworten und einfache Aktionen auszuführen, sondern auch komplexere Aktionen im Namen der Benutzer ausführen kann. Dies könnte nützlich sein, um die Selbstbedienungsfähigkeiten der Benutzer zu verbessern sowie zusätzliche leistungsstarke Tools für Agenten bereitzustellen. Schließlich werden diese leistungsstarken konversationellen Schnittstellen KI zu einem allgegenwärtigen Begleiter machen.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten InvGate besuchen: InvGate.