스티브 네姆저, TELUS 디지털 Sr. 디렉터, AI 성장 및 혁신 – 인터뷰 시리즈

스티브 네姆저, TELUS 디지털 Sr. 디렉터, AI 성장 및 혁신은 차세대 인공 지능 시스템을 위한 AI 훈련 데이터와 인프라를 발전시키는 데 중점을 둔 이니셔티브를 이끌고 있습니다. 그의 업무에는 심층 연구 모델, 강화 학습 환경, 세계 모델 데이터, 주권 AI 이니셔티브 및 AI 위험 완화 프레임워크를 위한 데이터 세트 개발이 포함되며, 데이터 세트 편향을 해결하고 AI 트레이너를 위한 공정한 작업 조건을 지원하는 것과 같은 책임 있는 AI 관행에 강한重点을 둡니다. 그의 경력 초기에, 네姆저는 VeriTest Labs를 설립하여 마이크로소프트, 인텔, 오라클 및 선 마이크로시스템스와 같은 초기 기술 리더들을 포함한 제3자 소프트웨어 생태계를 구축하는 것을 도왔습니다. 그 후 회사는 라이온브리지에 인수되었습니다.

(MSFT ) (INTC ) (ORCL )

TELUS 디지털은 디지털 플랫폼 및 AI 기반 솔루션을 설계, 구축 및 운영하는 것을 도와주는 글로벌 기술 서비스 회사입니다. 수십 개의 국가에서 운영되는 이 회사는 AI 훈련 데이터 및 주석, 디지털 제품 엔지니어링, 고객 경험 관리와 같은 서비스를 제공합니다. 그들의 플랫폼 및 서비스는 기술, 금융, 헬스케어, 통신 및 게임을 포함한 산업 전반의 기업들이 운영을 현대화하고 고급 AI 기능을 배포하는 것을 지원합니다.

AI 테스팅, 데이터 검증 및 책임 있는 배포에 대한 귀하의 배경을 고려하여, 언어 주도형 생성형 AI에서 세계 모델로의 전환, 즉 현실 세계 상황 및 결과에 대해 추론하는 것을 목표로 하는 세계 모델로의 전환을 어떻게 보십니까? 특히 TELUS 디지털에서의 귀하의 현재 역할에서?

대규모 언어 모델(Large Language Models, LLMs)은 기본적으로 패턴 예측 시스템입니다. 그들은 패턴을 학습한 정적 코퍼스에서 다음 토큰을 예측하여 응답을 생성합니다. 이는 추론과 같은 것처럼 보일 수 있지만, 모델은 실제로 세계의 상태를 변경하는 방식에 대한 모델링을 수행하지 않습니다.

세계 모델은 다른 접근 방식을 취합니다. 다음 단어 또는 토큰을 예측하는 대신, 상태 전이를 모델링하여 시스템의 다음 상태를 예측합니다. 이는 시스템이 환경이 어떻게 진화하는지 시뮬레이션할 수 있도록 허용합니다. 실제로 이는 가상 추론을 지원하여 모델이 결정 전에 다양한 결과를 평가할 수 있습니다. 상호 작용 시스템의 경우 이는 더 신뢰할 수 있는 의사 결정 및 계획을 지원할 수 있습니다.

이 전환은 또한 책임 있는 배포에 대한 우리의 생각을 변경합니다. 전통적인 생성형 AI 시스템에서는 편향 및 환각과 같은 문제에 대한 초점이 많았습니다. 모델이 환경 및 행동에 대해 추론하는 방향으로 이동함에 따라 다른 위험이 더 두드러지게 됩니다.

예를 들어, 조직은 시뮬레이션 환경에서 학습된 행동이 실제 환경에 깨끗하게 번역되지 않을 수 있는 “시뮬레이션-실제 간격”을 고려해야 합니다. 분포 이동도 주요 관심사로 됩니다. 모델이 배포에서遭遇하는 환경은 모델을 훈련하는 데 사용된 데이터와 다를 수 있습니다.

이것이 테스팅 및 검증이 중요한 이유입니다. 이는 TELUS 디지털에서의私の 역할에서 큰 초점입니다. AI 시스템이 언어 생성을 넘어서 환경과 상호 작용하고 결정하는 시스템으로 이동함에 따라, 조직은 모델이 실제 환경에서 신뢰할 수 있게 작동하는지 확인하기 위한 엄격한 평가 프레임워크가 필요합니다.

많은 사람들이 대규모 언어 모델을 알고 있지만, 세계 모델은 상대적으로 덜 알려져 있습니다. 간단한 용어로, 세계 모델은 LLM이 근본적으로 어려움을 겪는 문제를 해결하려고 하는데, 그 문제는 무엇입니까?

세계 모델은 현재 상태와 행동이 주어졌을 때 “다음에는 무엇이 발생할까?”를 예측하는 시스템입니다. 공식은 다음과 같습니다: 상태 + 행동 → 다음 상태

만약 내가 사과를 잡고 놓으면, 세계 모델은 사과가 떨어진다고 예측합니다. 그것은 단순히 사과가 “어떻게 보이는지” 또는 사람들이 사과를 떨어뜨리는 것에 대해 “무엇을 말하는지”를 알고 있는 것이 아닙니다. 물리학을 이해하는 것을 기반으로 결과를 예측합니다. 정교한 세계 모델은 내가 국제 우주 정거장에서 동일한 행동을 했을 때와 지구 표면에서 했을 때의 차이를 예측할 수 있습니다.

이는 LLM과 다릅니다. LLM은 “이 토큰 시퀀스가 주어졌을 때, 다음 토큰은 무엇인가?”를 예측합니다. 텍스트에 훈련되며, 세계에 대해 사람들이 작성한 것을 학습합니다. 떨어진 사과가 떨어진다고 말할 수 있지만, 실제로 사과가 떨어지는 것을 시뮬레이션하는 내부 물리 엔진은 없습니다.

다르게 말하면, LLM은 통계적으로 질문에 대한 다음 단어를 예측하는 데 좋지만, 실제 세계를 이해하는 것은 언어 설명과 일관성을 넘어섭니다. 세계 모델은 상황이 어떻게 진화하는지 단계별로 이해하려고 합니다. 현재 상태와 행동이 주어졌을 때, 다음 상태는 무엇이며, 어떤 제약이 있는지 이해하려고 합니다.

세계 모델은 종종 시스템이 행동을 취하기 전에 결과를 시뮬레이션하는 것을 가능하게 하는 것으로 설명됩니다. 실제로 이것은 어떻게 작동하며, 연구 환경 외부에서 신뢰할 수 있게 작동하는 것을 볼 수 있을까요?

이 질문에 대한 답변의 어려움은 “세계 모델”이라는 용어가 khá 느슨하게 사용되며, 의미는 컨텍스트에 따라 달라진다는 것입니다. 간단한 세계 모델 정의는 에이전트가 현재 상태 환경을 시뮬레이션하고 미래 상태를 예측하며 결과에 대해 추론할 수 있도록 허용한다는 것입니다. 연구자들은 더 세부적으로 세계 모델을 분류하며, 표현 및 처리 방법에 따라 분류합니다. 잠재적인 세계 모델이 있으며, 환경의 “본질”을.compact한 공간으로 압축합니다. 생성형 세계 모델이 있으며, 물리학을 “이해”하여 프레임별 시각적 표현을 생성합니다. 그리고 Joint-Embedding Predictive Architecture (JEPA) 모델이 있으며, 과거 행동에서 결과를 예측합니다.

잠재적인 세계 모델은 이미 연구실을 벗어나고 있으며, 자율 주행, 창고 운영, 산업 운영, 농업과 같은 응용 프로그램에서 지원하고 있습니다. 생성형 세계 모델은 게임 엔진 개발을 위한 합성 데이터 생성, 자율 주행 사용 사례, 인코퍼레이티드 AI 사용 사례, 비디오 시뮬레이션, 인간과 같은 움직임 및 건축적 렌더링을 생성하는 데 나타나고 있습니다.

JEPA 접근 방식은 산업의 유명한 사람들에 의해 선호되며, 픽셀을 생성하는 대신 추상적인 표현 공간에서 결과를 예측합니다. 로봇은 주로 제어된 환경에 국한되었습니다. 그러나 JEPA는 이를 변경하고 있으며, 로봇이 개방형, 실제 환경으로 이동하도록 허용합니다. 자율 주행 차량은 좋은 예입니다. 일부는 Genie 3를 사용하여 훈련 및 드문 이벤트(예: 건설 구역)를 더 잘 처리하기 위한超현실적인 상호 작용 시뮬레이션을 생성합니다.

명백히, 이러한 모델을 샌드박스 환경에서 실제 세계로 확장하기 위해 더 많은 안전性 및 신뢰성 테스트가 필요합니다.

기업의 관점에서, 세계 모델이 의미 있는 가치를 제공할 것으로 기대되는 곳은 어디입니까? 로봇공학, 자율적 의사 결정 시스템, 디지털 트윈, 또는 더 추상적인 비즈니스 환경에서?

私の 직감은 디지털 트윈이 실제 가치를 먼저 제공할 것이라고 생각합니다. 실제 시스템의 상태를 복제하여 시나리오를 테스트하기 전에. 예를 들어, 공급망 시스템에서 제조업체는 구성 요소 파트너 네트워크의 트윈을 구축할 수 있습니다. 시뮬레이션은 센서 데이터, 로그, 텔레메트리 데이터로 공급될 수 있으며, “호르무즈 해협이 폐쇄되면 어떻게 될까?”와 같은 질문에 대한 답변을 제공할 수 있습니다. 따라서 실제 물류를 변경하기 전에 재배열을 테스트할 수 있습니다. 이것은 라이브 시스템을 모니터링에서 시뮬레이션으로 이동하도록 도와줍니다.

로봇공학에서 세계 모델의 유용한 가치는 병렬로 진행되고 있습니다. 로봇이 물리학의 기본 속성, 즉 표면에서 물체를 잡을 때 마찰을 이해하는 것이 로봇의 배포를 가속화할 것입니다.

귀하의 경력 대부분은 데이터 수집, 주석, 및 검증에 중점을 두었습니다. 세계 모델을 가르치는 데 필요한 데이터 도전은 정적 텍스트 훈련에서 어떻게 달라집니까?

세계 모델 활성화에 필요한 데이터 수집 상황은昨日の LLM 훈련 방법에서 큰 전환을 필요로 합니다. 먼저, 우리는 세계 모델을 훈련하는 데 사용할 수 있는巨대한 사전 훈련 데이터 세트를 가지고 있지 않습니다. 일부 로봇공학 연구자들은 물리적 지능 및 세계 모델을 훈련하는 데 필요한 데이터가 GPT2와 같은 성능 점에 도달하기 위해 필요한 데이터의 1/1000만큼만 가지고 있다고 추정합니다.

따라서 이러한 데이터 세트를 구축하는 데 시간이 걸릴 것입니다. 인코퍼레이티드 AI의 경우, 우리는 수백만 시간의 주석이 있는 에고 센트릭 멀티 센서 데이터 세트가 필요합니다. 일부는 원격 조작되고, 일부는 Isaac Sim과 같은 합성 환경에서 나옵니다. TELUS 디지털에서, 우리는 텍스트에서 멀티모달 및 멀티 센서 데이터 세트 및 시뮬레이션 데이터 세트로의 전환을 수행했습니다. 물론, 우리는 컴퓨터 비전에서 강한 데이터 수집 및 주석 배경을 가지고 있기 때문에 도움이 됩니다.

사전 훈련 데이터 및 주석된 미세 조정 데이터의 부족 외에도, 강화 학습을 확대하는 데 많은 다른 훈련 도전이 있을 것입니다. 새로운 변형(비유가 아님) 패러다임과 같은 GPT 및 RL 개념이 세계 모델 훈련 방법의 효율성 개선에 필요할 수 있습니다.

세계 모델은 출력을 생성하는 것보다 결정에 영향을 미칩니다. 이것은 생성형 AI 시스템과 비교하여 새로운 안전성 또는 거버넌스 위험을 도입합니까?

세계 모델은 본질적으로 에이전트 작동을 지원하도록 설계되었으므로, 오늘날의 AI 에이전트에 대한 모든 우려가 여전히 적용됩니다. 인간의 감독이 모든 중요한 의사 결정에 필요합니다. 운송 안전, 職業安全, 헬스케어, 재무, 일상 활동과 관련된 결정입니다.

세계 모델에 특정한 예는 시뮬레이션 훈련 데이터에서 실제 환경으로의 간격입니다. 미세한 표면 변이는 로봇이 시뮬레이션에서 잘 훈련되었지만 실제 세계에서 더럽혀진 환경에서 작동할 때 문제를 일으킬 수 있습니다.

또 다른 위험은 인간 행동과 관련이 있습니다. 시스템이 더 자율적으로 되면서, 인간은 그것을 크게 의존하게 되고, 감독이 느슨해질 수 있으며, 결국 시스템은 필요한 재조정을 받지 못할 수 있습니다.

편향 및 신뢰는 AI 채택의 주요 장벽입니다. AI 시스템이 복잡한 실제 또는 사회적 환경에서 모델링 및 작동을 시작할 때, 이러한 우려는 어떻게 진화합니까?

일반 대중에서 C-suite까지 AI 모델에 대한 신뢰 및 信頼性은 이미 khá 낮으며,私は短期 내에 크게 변할 것으로 생각하지 않습니다.

AI의 권력이 너무 적은 손에 집중되어 있다는 우려, AI가 일자리를 뺏는다는 우려, 편향된 AI가 소수자에게 불리한 상황을 만들 수 있다는 우려, 모델이 건강, 경력 및 재무에 영향을 미치는 결정에 대한 우려, 모델이 동의 없이 지적 재산을 사용하는 우려, AI 딥페이크에 대한 우려 등이 이미 khá 높습니다. 경영진은 작업력 전환, 데이터 개인 정보 보호 및 규제 준수를 처리하는 것에 대해 걱정합니다. 또한 AI “무기 경쟁”에서 경쟁자에게 지지 않도록 걱정합니다.

기초 모델 빌더가 자율 무기 또는 대량 감시와 같은 것에 대한 사용 약관을 완화하도록 정부가 압력을 넣는 최근 뉴스 개발은 이러한 우려를 더욱 증폭시킵니다. 더 지능적이고 자율적인 세계 모델 기반 로봇의 보다 넓은 배포는 동일한 효과를 낼 것입니다.

다른 한편으로, 우리는 AI를 채택하고 신뢰하는 포켓을 보고 있습니다. 예를 들어, 코딩 에이전트가 지난 몇 개월 동안 어떻게 폭발적으로 성장했는지 보는 것입니다. 소프트웨어 개발 관리자는 코딩 에이전트에 대한 높은 신뢰를 가지고 있으며, 소프트웨어 개발은 근본적으로 변하고 있습니다. PRD 개발에서 릴리스 후 회귀 테스트까지 모든 단계에서 코딩 에이전트가 사용되고 있습니다. 소프트웨어 개발 세계는 빠르게 진화하고 있으며, 이는 대부분 고성능 코딩 에이전트에 대한 신뢰 때문입니다. 다른 사용 사례에서 사용자 신뢰가 증가함에 따라,私は 유사한 방식으로 채택이 폭발적으로 증가할 것으로 예상합니다.

신뢰를 구축하기 위한 솔루션에는 훈련 단계에서 다양한 데이터 세트 및 환경이 포함되며, 배포 전에 적극적인 규제 감독 및 스트레스 테스트가 안전 가이드레일로 필요합니다. 일부에서는 기초 모델 빌더가 새로운 모델을 출시하기 전에 “사회적 영향 보고서”를 제공하도록 의무화해야 한다고 제안합니다. 이는 환경 영향 보고서(Environmental Impact Reports, EIRs)와 유사합니다.

TELUS 디지털에서는 실제 기업과 실제 사용자를 위한 대규모 AI 배포에 중점을 두고 있습니다. 투명성, 작업력 영향, 고객 신뢰 유지와 같은 실제 우려와 세계 모델 아이디어는 어떻게 교차합니까?

명확히 하기 위해, TELUS 디지털은 기초 모델 빌더와 직접 업스트림에서 작업하며, 또한 기업과 함께 다운스트림에서 AI 모델을 배포하는 것을 도와줍니다. 우리의 게임 필드는 종단간입니다:

투명성과 관련된 질문은 이전에 대한 질문과 관련이 있습니다. 작업력 신뢰를 살펴보겠습니다. 세계 모델이 더普遍해짐에 따라, 경영진은 직원, 계약자 및 고객에게 명확한 의사 소통을해야 합니다. 모델이 무엇을 잘하는지, 어떻게 훈련되었는지, 어떤 데이터를 사용하여 훈련했는지, 어떤 가드레일이 설치되었는지, 인간의 감독이 어디에 있는지에 대해 명확한 의사 소통이 필요합니다. 기업 리더는 현재 작업력을 새로운 모델의 가치와 함께 보여주어야 합니다. 예를 들어, 모든 하위 작업을 수행하는 것입니다. 또한 영향을받는 작업자에게 새로운 일자리와 이전 일자리로의 전환 경로를 보여주어야 합니다. 백오피스 직원은 이것을 실시간으로 다루고 있으며, 많은 수동 작업은 향후 몇 년 동안 세계 모델로 활성화된 자동화로 인해 영향을받을 것입니다.

연구자와 대중의 이해 사이에 점점 커지는 간격이 있습니다. 조직은 세계 모델과 같은 발전을 어떻게 신뢰를 구축하지 않으면서 전달할 수 있습니까?

다시 말하지만, 이것은 모델의 한계와 모델이 무엇을 잘하는지에 대한 투명성에 관한 것입니다. 편향을 완화하기 위한 훈련에 대한 투명성입니다. 인간의 감독이 어디에 있는지에 대한 투명성입니다. 실제 세계의 시나리오와 사용 사례에 대한 몇 가지 실제 시연과 종단 연구는 일반 대중과 작업력의 신뢰를 크게 증가시킬 수 있습니다.

마지막으로, 세계 모델에 대한 일반적인 오해, 즉過度 낙관적이거나過度 비관적인 오해 중 하나를 바로잡아야 합니다. 지금 바로 그것을 바로잡아야 합니다.

일반 대중이 세계 모델에 대해 알고 있는 한도에서, 오해는 세계 모델이 모든 물리학 및 과학을 이해해야 하기 때문에 효과적으로 작동하기 위해 너무 오래 걸릴 것이라는 것입니다. 세계 모델은 개별 사용 사례를 좁히기 때문에 더 sớm에 론칭될 것입니다. 자율 주행 차량은 모든 물리학을 이해할 필요가 없습니다. 오직 교통 역학 및 도로 관련 물리학만을 이해하면 됩니다. 또한 현재 상태(예: 초등학교 근처 또는 높은 실루엣이 있는 근처의 SUV가 많은 경우)가 어떻게 그들의 시야와 의사 결정에 영향을 미칠지 이해해야 합니다. 자율 주행 차량은 작동하기 위해 수프를 굽는 데 필요한 물리학을 이해할 필요는 없습니다.

伟大的 인터뷰에 감사드립니다. 더 많은 것을 배우고 싶은 독자는 TELUS 디지털을 방문하십시오.