Steve Nemzer, Sr. Director, AI Growth & Innovation, TELUS Digital – Interview-Serie

Steve Nemzer, Sr. Director, AI Growth & Innovation, TELUS Digital, leitet Initiativen, die darauf abzielen, die AI-Trainingsdaten und -Infrastruktur für Next-Generation-KI-Systeme zu verbessern. Seine Arbeit umfasst die Entwicklung von Datensätzen für Deep-Research-Modelle, Reinforcement-Learning-Umgebungen, Weltmodell-Daten, souveräne KI-Initiativen und KI-Risikominderungsrahmen, wobei der Schwerpunkt auf verantwortungsvolle KI-Praktiken wie der Bekämpfung von Datensatzverzerrungen und der Unterstützung von fairen Arbeitsbedingungen für KI-Trainer liegt. Zu Beginn seiner Karriere gründete Nemzer VeriTest Labs, das frühen Technologieführern wie Microsoft (MSFT ), Intel (INTC ), Oracle (ORCL ) und Sun Microsystems half, blühende Drittanbieter-Software-Ökosysteme aufzubauen, bevor das Unternehmen von Lionbridge übernommen wurde.

TELUS Digital ist ein globaler Technologiedienstleister, der Organisationen hilft, digitale Plattformen und KI-gestützte Lösungen zu entwerfen, zu entwickeln und zu betreiben. Mit Operationen in Dutzenden von Ländern bietet das Unternehmen Dienstleistungen wie KI-Trainingsdaten und -Annotation, digitale Produktentwicklung und Kundenbeziehungsmanagement an. Seine Plattformen und Dienstleistungen unterstützen Unternehmen aus verschiedenen Branchen, darunter Technologie, Finanzen, Gesundheitswesen, Telekommunikation und Gaming, bei der Modernisierung ihrer Betriebe und der Implementierung von fortschrittlichen KI-Fähigkeiten.

Angesichts Ihrer Erfahrung im Bereich KI-Testen, Datenvalidierung und verantwortungsvoller Einsatz, wie sehen Sie den Übergang von sprachbasierten generativen KI-Modellen zu Weltmodellen, die darauf abzielen, reale Situationen und Ergebnisse zu verstehen, insbesondere in Ihrer aktuellen Rolle bei TELUS Digital?

Große Sprachmodelle (LLMs) sind grundlegend Mustererkennungssysteme. Sie generieren Antworten, indem sie das nächste Token basierend auf Mustern vorhersagen, die aus großen, statischen Corpora gelernt wurden. Obwohl dies wie ein Verständnis aussehen kann, modelliert das Modell tatsächlich nicht, wie Aktionen den Zustand der Welt verändern.

Weltmodelle gehen einen anderen Ansatz. Anstatt das nächste Wort oder Token vorherzusagen, zielen sie darauf ab, den nächsten Zustand eines Systems vorherzusagen, indem sie Zustandsübergänge modellieren. Dies ermöglicht es Systemen, zu simulieren, wie Umgebungen auf Aktionen reagieren. In der Praxis öffnet dies die Tür zu hypothetischem Denken, bei dem ein Modell verschiedene mögliche Ergebnisse bewerten kann, bevor es eine Entscheidung trifft. Für interaktive Systeme kann dies zuverlässigeres Entscheiden und Planen unterstützen.

Dieser Übergang verändert auch, wie wir über verantwortungsvolle Implementierung nachdenken. Bei herkömmlichen generativen KI-Systemen lag der Schwerpunkt hauptsächlich auf Problemen wie Verzerrung und Halluzinationen. Wenn Modelle jedoch auf die Verständigung von Umgebungen und Aktionen umstellen, werden andere Risiken deutlicher.

Beispielsweise müssen Organisationen den “Sim-to-Real”-Abstand berücksichtigen, bei dem Verhaltensweisen, die in simulierten Umgebungen gelernt wurden, möglicherweise nicht sauber in reale Bedingungen übersetzt werden können. Der Versatz der Verteilung wird auch zu einer wichtigen Sorge, da die Umgebungen, mit denen Modelle in der Implementierung konfrontiert werden, von den Daten abweichen können, mit denen sie trainiert wurden.

Dabei werden Testen und Validierung kritisch, was ein großer Schwerpunkt in meiner Rolle bei TELUS Digital ist. Wenn KI-Systeme über die Sprachgenerierung hinausgehen und mit Umgebungen interagieren und Entscheidungen treffen, benötigen Organisationen strenge Bewertungsrahmen, um sicherzustellen, dass Modelle unter realen Bedingungen zuverlässig funktionieren.

Viele Menschen sind mit großen Sprachmodellen vertraut, aber weit weniger verstehen Weltmodelle. In einfachen Worten, welches Problem versuchen Weltmodelle zu lösen, mit dem LLMs grundlegend zu kämpfen haben?

Ein Weltmodell ist ein System, das “was als Nächstes passiert” vorhersagen kann, gegeben einen aktuellen Zustand und eine Aktion. Die Formel lautet: Zustand + Aktion → Nächster Zustand

Wenn ich einen Apfel halte und loslasse, sagt ein Weltmodell voraus, dass der Apfel fällt. Es weiß nicht nur, wie Äpfel “aussehen” oder was Menschen “über fallen gelassene Äpfel” sagen – es sagt die Konsequenz basierend auf einem Verständnis der Physik voraus. Ein komplexes Weltmodell wird vorhersagen, was passieren würde, wenn ich dasselbe tun würde, während ich auf der Internationalen Raumstation bin, im Vergleich zur Oberfläche der Erde.

Dies ist anders als ein LLM. Ein LLM sagt voraus: “Gegeben diese Sequenz von Token, welches Token kommt als Nächstes?” Es ist auf Text trainiert – was Menschen über die Welt geschrieben haben, nicht die Welt selbst. Es kann Ihnen sagen, dass fallen gelassene Äpfel fallen, weil es darüber gelesen hat. Aber es hat keinen internen Physik-Motor, der den Fall simuliert.

Anders ausgedrückt sind LLMs gut darin, statistisch das nächste Wort in einer Antwort auf eine Frage vorherzusagen, aber das Verständnis der realen Welt geht über die Sprachbeschreibung und -Kohärenz hinaus. Weltmodelle zielen darauf ab, zu verstehen, wie Situationen Schritt für Schritt evolvieren, was der nächste Zustand ist, gegeben der aktuellen Zustand und die Aktion, die geschehen wird, was die Einschränkungen sind.

Weltmodelle werden oft als in der Lage beschrieben, Ergebnisse zu simulieren, bevor sie handeln. Wie sieht das in der Praxis aus und wie nah sind wir daran, dies zuverlässig außerhalb von Forschungsumgebungen zu sehen?

Eine Herausforderung bei der Beantwortung dieser Frage ist, dass der Begriff “Weltmodell” ziemlich locker verwendet wird und die Bedeutung je nach Kontext tendenziell ändert. Eine einfache Definition von Weltmodellen ist, dass sie es einem Agenten ermöglichen, seine aktuelle Zustandsumgebung zu simulieren und zukünftige Zustände vorherzusagen und über die Folgen nachzudenken. Forscher tendenziell Weltmodelle ein bisschen feiner zu kategorisieren, basierend auf ihren Repräsentations- und Verarbeitungsmethoden. Es gibt latente Weltmodelle, die die “Essenz” einer Umgebung in einen kompakten Fokus-Raum destillieren. Es gibt generative Weltmodelle, die “Physik” verstehen, um Frame-für-Frame-Visuelle-Repräsentationen zu erstellen, und es gibt Joint-Embedding Predictive Architecture (JEPA)-Modelle, die Ergebnisse aus vergangenen Aktionen vorhersagen.

Latente Weltmodelle sind bereits aus dem Forschungslabor und unterstützen Anwendungen wie autonomes Fahren, Lageroperationen, industrielle Operationen und Landwirtschaft. Generative Weltmodelle tauchen in der synthetischen Datenerstellung für Game-Engine-Entwicklung, für selbstfahrende Anwendungsfälle, eingebettete KI-Anwendungsfälle für Video-Simulationen von menschlichen Bewegungen und zur Erstellung von Architektur-Renderings auf.

Der JEPA-Ansatz, favorisiert von Branchen-Luminarien wie Yan LeCun, sagt Ergebnisse in einem abstrakten Repräsentationsraum vorher, anstatt Pixel zu generieren. Roboter sind größtenteils auf kontrollierte Umgebungen beschränkt, aber JEPA ändert das, indem es Robotern ermöglicht, sich auf offene, reale Umgebungen zu verlagern. Autonome Fahrzeuge sind ein gutes Beispiel – einige nutzen Genie 3, um hyper-realistische, interaktive Simulationen für die Schulung und zur besseren Handhabung seltener Ereignisse wie Baustellen zu erstellen.

Offensichtlich ist noch viel mehr Sicherheits- und Zuverlässigkeitstesten erforderlich, um diese Modelle aus sandgesteckten Umgebungen in die reale Welt zu skalieren.

Unternehmensseitig, wo erwarten Sie, dass Weltmodelle zuerst einen bedeutenden Wert liefern, sei es in Robotik, autonomen Entscheidungssystemen, digitalen Zwillingen oder abstrakteren Geschäftsumgebungen?

Mein Bauchgefühl sagt, dass digitale Zwillinge wahrscheinlich zuerst einen praktischen Wert liefern werden. Die Reproduktion des Zustands eines realen Systems, um Szenarien zu testen, bevor man handelt. Beispielsweise kann ein Hersteller in einem Lieferketten-System einen Zwilling seines Komponenten-Partner-Netzwerks erstellen. Die Simulation kann durch Sensordaten, Log-Daten, Telemetrie-Daten gefüttert werden und Fragen wie “Was würde passieren, wenn die Straße von Hormus geschlossen würde?” beantworten. So können wir testen, ob wir Lieferungen umleiten, bevor wir die tatsächlichen Logistik ändern. Dies hilft uns, von der Überwachung eines Live-Systems zu dessen Simulation zu wechseln.

Ein bedeutender Wert von Weltmodellen für Robotik bewegt sich parallel. Wenn Roboter grundlegende Eigenschaften der Physik wie Reibung auf einer Oberfläche beim Aufheben eines Objekts verstehen, wird dies die Implementierung von eingebetteter KI in Schwung bringen.

Ein großer Teil Ihrer Karriere hat sich auf Datensammlung, -Annotation und -Validierung konzentriert. Wie ändern sich die Datenherausforderungen, wenn man von statischer Texttrainings zu Systemen übergeht, die die Welt im Laufe der Zeit verstehen?

Die Datensammlungssituation für die Aktivierung von Weltmodellen erfordert eine große Änderung der gestrigen LLM-Trainingsmethoden. Zunächst einmal haben wir keine riesigen Korpora von Vor-Trainingsdaten zur Verfügung, Petabyte von Common Crawl und Milliarden von Webseiten. Einige Roboter-Forscher haben spekuliert, dass wir nur 1/1000tel der Daten haben, die benötigt werden, um physikalische Intelligenz und Weltmodelle zu trainieren, um zu einem äquivalenten Leistungspunkt wie GPT2 zu gelangen.

Es wird also einige Zeit dauern, diese Datensätze aufzubauen. Im Fall von eingebetteter KI werden wir Millionen von Stunden von annotierten egozentrischen Multi-Sensor-Datensätzen benötigen. Einige davon werden teleoperiert, einige von synthetischen Umgebungen wie Isaac Sim. Bei TELUS Digital haben wir den Schwenk von Text zu multimodalen zu multisensorischen Datensätzen und Simulationsdatensätzen vollzogen. Natürlich werden wir durch unsere starke Datensammlungs- und Annotations-Hintergrund in der Computer-Vision unterstützt. Wir waren in diesem Bereich viele Jahre lang führend.

Abgesehen von der Knappheit von Vor-Trainingsdaten und annotierten Feinabstimmungsdaten wird es viele andere Trainingsherausforderungen bei der Skalierung von Verstärkungslernen geben. Es kann neue transformative (kein Wortspiel beabsichtigt) Paradigmen wie GPT und RL-Konzepte geben, die erforderlich sind, um Durchbrüche in der Effizienz von Weltmodell-Trainingsmethoden zu beschleunigen.

Weltmodelle beeinflussen Entscheidungen, anstatt nur Ausgaben zu generieren. Welche neuen Sicherheits- oder Regulierungsrisiken werden dadurch eingeführt im Vergleich zu generativen KI-Systemen?

Es gibt viele Sicherheits- und Regulierungsrisiken, da Weltmodelle inhärent darauf ausgelegt sind, agente Operationen zu unterstützen. Alle Bedenken, die wir über die heutige Generation von KI-Agenten haben, gelten also auch im Szenario von Weltmodellen. Wir benötigen menschliche Aufsicht für alle wichtigen Entscheidungen, sei es im Zusammenhang mit Transportsicherheit, Arbeitssicherheit, Gesundheitswesen, Finanzen und alltäglichen Aktivitäten.

Ein Beispiel, das speziell auf Weltmodelle zutrifft, ist der Abstand zwischen Sim-Trainingsdaten und realen Umgebungen. Eine mikroskopische Oberflächenvariation kann die reale Welt für Roboter, die in Simulationen gut trainiert sind, unordentlich machen.

Ein weiteres Risiko betrifft menschliches Verhalten. Wenn Systeme immer autonomer werden, werden Menschen beginnen, sich stark darauf zu verlassen, und die Aufsicht kann nachlässig werden, und schließlich wird das System nicht die notwendigen Neukalibrierungen erhalten.

Verzerrung und Vertrauen bleiben große Hindernisse für die Akzeptanz von KI. Wie entwickeln sich diese Bedenken, wenn KI-Systeme beginnen, in komplexen realen oder sozialen Umgebungen zu modellieren und zu handeln?

Von der Allgemeinheit bis zum Vorstand ist das Vertrauen in KI-Modelle bereits sehr gering und ich sehe nicht, dass sich das in absehbarer Zeit ändert.

Bedenken über die Konzentration der KI-Macht in zu wenigen Händen, über die Entlassung von Arbeitsplätzen durch KI, über Verzerrung in KI, die unterrepräsentierte Gruppen benachteiligt, über Modelle, die Entscheidungen treffen, die Gesundheit, Karriere und Finanzen beeinflussen, über Modelle, die geistiges Eigentum ohne Zustimmung nutzen, sowie Bedenken über KI-Deepfakes sind bereits sehr hoch. Führungskräfte sorgen sich um die Bewältigung von Arbeitsplatzübergängen, Datenschutz und regulatorische Compliance und um den Verlust des Wettbewerbsvorteils in einem KI-“Wettrüsten”.

Neue Entwicklungen in den Nachrichten über den Druck der Regierung auf KI-Grundmodell-Entwickler, die Nutzungsbedingungen für Dinge wie autonome Waffen oder Massenüberwachung zu lockern, verstärken diese Bedenken nur. Eine weiter verbreitete Implementierung von intelligenteren und autonomeren Weltmodell-basierten Robotern wird dasselbe tun.

Andererseits sehen wir Taschen von weit verbreiteter KI-Akzeptanz und -Vertrauen. Ein Beispiel ist die Art und Weise, wie Codierungsagenten in den letzten Monaten an Popularität gewonnen haben. Software-Entwicklungs-Manager haben ein hohes Vertrauen in Codierungsagenten, und es gibt eine grundlegende Änderung in der Art und Weise, wie Software-Entwicklung durchgeführt wird, von der PRD-Entwicklung bis hin zur Post-Release-Regressionstestung. Die Software-Entwicklungs-Welt entwickelt sich mit Lichtgeschwindigkeit, und viel davon ist auf das Vertrauen in hochleistungsfähige Codierungsagenten zurückzuführen. Wenn das Vertrauen der Nutzer in anderen Anwendungsfällen wächst, erwarte ich, dass die Akzeptanz auf ähnliche Weise anzieht.

Lösungen zum Aufbau von Vertrauen umfassen vielfältige Datensätze und Umgebungen in den Trainingsphasen sowie umfassendes Red-Teaming und Stress-Testen als Sicherheitsgeländer vor der Implementierung. Proaktive regulatorische Aufsicht ist auch ein Muss. Einige haben vorgeschlagen, dass Grundmodell-Entwickler “Gesellschaftliche Auswirkungsberichte” vorlegen sollten, ähnlich wie Umweltverträglichkeitsprüfungen (EIR), bevor neue Modelle veröffentlicht werden.

Bei TELUS Digital besteht ein großer Teil der Arbeit darin, KI im großen Maßstab für reale Unternehmen und reale Nutzer bereitzustellen. Wie überschneiden sich Ideen wie Weltmodelle mit praktischen Bedenken wie Transparenz, Arbeitsplatzwirkung und dem Erhalt von Kundenvertrauen?

Um zu klären, arbeitet TELUS Digital sowohl direkt mit Grundmodell-Entwicklern als auch mit Unternehmen, die KI-Modelle implementieren. Unser Spielplatz ist von der Quelle bis zur Implementierung:

Die Frage zu praktischen Bedenken ist mit der vorherigen Frage zu Vertrauen verbunden. Lassen Sie uns einen Blick auf das Vertrauen der Belegschaft werfen. Wenn Weltmodell-aktivierte KI-Systeme immer häufiger werden, müssen Führungskräfte transparent gegenüber ihren Mitarbeitern, Auftragnehmern und Kunden sein. Klare Kommunikation ist erforderlich, um zu erklären, wofür die Modelle gut sind, wie sie trainiert wurden, welche Daten zur Trainierung verwendet wurden, welche Sicherheitsvorkehrungen getroffen wurden und wo die menschliche Aufsicht einsetzt. Unternehmensführer müssen der aktuellen Belegschaft den Wert der neuen Modelle zeigen, beispielsweise, indem sie alle lästigen Arbeiten in einem Job erledigen. Und sie müssen Übergangswege für betroffene Arbeitnehmer aufzeigen, die möglicherweise zu neuen, entstehenden Jobs wechseln, wenn frühere durch Weltmodell-KI-Systeme immer mehr erledigt werden. Büroangestellte haben damit bereits zu kämpfen, und viele manuelle Jobs werden in den kommenden Jahren von der Expansion der Weltmodell-aktivierte Automation betroffen sein.

Gibt es eine wachsende Kluft zwischen dem, was KI-Forscher verstehen, und dem, was die Öffentlichkeit wahrnimmt. Wie können Organisationen Fortschritte wie Weltmodelle auf eine Weise kommunizieren, die Vertrauen aufbaut, ohne ihre Fähigkeiten zu übertreiben?

Wiederum kommt es auf Transparenz über die Grenzen der Modelle und darüber, wofür die Modelle gut sind, an. Kommunikation darüber, wie die Modelle trainiert wurden, um potenzielle Verzerrung zu mindern. Welche menschliche Aufsicht ist vorhanden. Einige reale Demonstrationen der Fähigkeiten und Anwendungsfälle des Modells, kombiniert mit Längsschnittstudien, können viel tun, um das allgemeine Vertrauen der Öffentlichkeit und der Belegschaft zu erhöhen.

Schließlich, was ist ein häufiges Missverständnis über KI-Weltmodelle, sei es übermäßig optimistisch oder übermäßig vorsichtig, das Sie korrigieren müssen?

Bis zu dem begrenzten Ausmaß, in dem die Allgemeinheit über Weltmodelle informiert ist, ist ein Missverständnis, dass Weltmodelle alle Physik und Wissenschaft verstehen müssen, um effektiv zu sein. Weltmodelle werden eher als erwartet zum Einsatz kommen, weil die einzelnen Anwendungsfälle eingeengt werden können. Ein autonomes Fahrzeug muss beispielsweise nur Verkehrs-Dynamik und straßenbezogene Physik verstehen und wie aktuelle Zustandsbedingungen (z.B. in der Nähe einer Grundschule oder einer Präsenz von SUVs mit hohen Silhouetten) ihre Sicht und Entscheidungsfindung beeinflussen werden. Ein autonomes Fahrzeug benötigt nicht die Physik, die der Herstellung einer Soufflé zugrunde liegt, um zu funktionieren.

Vielen Dank für das großartige Interview, Leser, die mehr erfahren möchten, sollten TELUS Digital besuchen.