인터뷰
Steve Nemzer, Sr. Director, AI Growth & Innovation, TELUS Digital – 인터뷰 시리즈
Steve Nemzer, TELUS Digital의 AI 성장 및 혁신 선임 이사는 차세대 인공 지능 시스템을 위한 AI 훈련 데이터와 인프라 발전에 초점을 맞춘 이니셔티브를 이끌고 있습니다. 그의 업무에는 심층 연구 모델, 강화 학습 환경, 세계 모델 데이터, 주권 AI 이니셔티브 및 AI 위험 완화 프레임워크를 위한 데이터셋 개발이 포함되며, 데이터셋 편향 해결 및 AI 트레이너를 위한 공정한 근로 조건 지원과 같은 책임 있는 AI 관행을 강력히 강조합니다. 경력 초기에 Nemzer는 VeriTest Labs를 설립하여 Microsoft, Intel, Oracle, Sun Microsystems를 포함한 초기 기술 리더들이 회사가 Lionbridge에 인수되기 전에 번성하는 타사 소프트웨어 생태계를 구축하도록 도왔습니다. TELUS Digital은 조직이 디지털 플랫폼과 AI 기반 솔루션을 설계, 구축 및 운영하도록 지원하는 글로벌 기술 서비스 회사입니다. 수십 개 국가에서 운영되는 이 회사는 AI 훈련 데이터 및 어노테이션, 디지털 제품 엔지니어링, 고객 경험 관리와 같은 서비스를 제공합니다. 이 회사의 플랫폼과 서비스는 기술, 금융, 의료, 통신, 게임을 포함한 다양한 산업의 기업들이 운영을 현대화하고 고급 AI 역량을 배포하는 것을 지원합니다. AI 테스트, 데이터 검증 및 책임 있는 배포에 대한 배경을 고려할 때, 특히 TELUS Digital에서의 현재 역할에서 실제 상황과 결과에 대해 추론하려는 세계 모델로의 언어 중심 생성 AI에서의 전환을 어떻게 보십니까? 대형 언어 모델(LLM)은 근본적으로 패턴 예측 시스템입니다. 이들은 대규모 정적 코퍼스에서 학습한 패턴을 기반으로 다음 토큰을 예측하여 응답을 생성합니다. 이는 추론처럼 보일 수 있지만, 모델은 실제로 행동이 세계의 상태를 어떻게 변화시키는지 모델링하지 않습니다. 세계 모델은 다른 접근 방식을 취합니다. 다음 단어나 토큰을 예측하는 대신, 상태 전이를 모델링하여 시스템의 다음 상태를 예측하는 것을 목표로 합니다. 이를 통해 시스템은 행동에 대한 반응으로 환경이 어떻게 진화하는지 시뮬레이션할 수 있습니다. 실제로, 이는 모델이 결정을 내리기 전에 다양한 가능한 결과를 평가할 수 있는 가상 추론의 문을 엽니다. 상호작용 시스템의 경우, 이는 더 신뢰할 수 있는 의사 결정과 계획을 지원할 수 있습니다. 이러한 전환은 또한 책임 있는 배포에 대한 사고 방식을 변화시킵니다. 기존의 생성 AI 시스템에서는 편향과 환각과 같은 문제에 많은 초점이 맞춰져 왔습니다. 모델이 환경과 행동에 대한 추론으로 이동함에 따라 다른 위험들이 더 두드러지게 됩니다. 예를 들어, 조직은 시뮬레이션 환경에서 학습된 행동이 실제 조건으로 깔끔하게 전환되지 않을 수 있는 “시뮬레이션 대 실제” 간극을 고려해야 합니다. 분포 변화 또한 주요 관심사가 되는데, 배포 시 모델이 마주치는 환경이 훈련된 데이터와 다를 수 있기 때문입니다. 이것이 테스트와 검증이 중요한 지점이며, 이는 TELUS Digital에서의 제 역할에서 큰 초점을 두는 부분입니다. AI 시스템이 언어 생성 이상으로 환경과 상호작용하고 결정을 내리는 시스템으로 이동함에 따라, 조직은 모델이 실제 조건에서 신뢰성 있게 작동하도록 보장하기 위한 엄격한 평가 프레임워크가 필요합니다. 많은 사람들이 대형 언어 모델에 익숙하지만, 세계 모델을 이해하는 사람은 훨씬 적습니다. 간단히 말해, 세계 모델이 해결하려는, LLM이 근본적으로 어려워하는 문제는 무엇입니까? 세계 모델은 현재 상태와 행동이 주어졌을 때 “다음에 무슨 일이 일어날지” 예측할 수 있는 시스템입니다. 공식은 다음과 같습니다: 상태 + 행동 → 다음 상태 제가 사과를 들고 있다가 놓으면, 세계 모델은 사과가 떨어질 것이라고 예측합니다. 이는 단순히 사과가 어떻게 “생겼는지” 또는 사람들이 사과를 떨어뜨리는 것에 대해 “무엇이라고 말하는지” 아는 것이 아닙니다. 물리학에 대한 이해를 바탕으로 결과를 예측합니다. 정교한 세계 모델은 지구 표면에 있을 때와 국제 우주 정거장에 있을 때 같은 행동을 하면 무슨 일이 일어날지 예측할 것입니다. 이는 LLM과 다릅니다. LLM은 “이 토큰 시퀀스가 주어졌을 때, 다음에 올 토큰은 무엇인가?”를 예측합니다. 이는 텍스트, 즉 세계 자체가 아닌 인간이 세계에 대해 쓴 글에 대해 훈련됩니다. 떨어진 사과가 떨어진다는 것을 말해줄 수 있는 이유는 그에 대해 읽었기 때문입니다. 하지만 낙하를 시뮬레이션하는 내부 물리 엔진을 가지고 있지 않습니다. 다시 말해, LLM은 질문에 대한 답변에서 다음 단어를 통계적으로 예측하는 데는 능숙하지만, 실제 세계를 이해하는 것은 언어적 설명과 일관성을 넘어섭니다. 세계 모델은 상황이 단계별로 어떻게 진화하는지, 현재 상태와 일어날 행동이 주어졌을 때 다음 상태가 무엇인지, 어떤 제약이 있는지를 이해하는 것을 목표로 합니다. 세계 모델은 종종 AI 시스템이 행동을 취하기 전에 결과를 시뮬레이션할 수 있게 한다고 설명됩니다. 실제로 이것은 어떻게 보이며, 연구 환경 외부에서 이 작업이 안정적으로 이루어지는 것을 보는 데 얼마나 가까워졌습니까? 이 질문에 답하는 데 있어 한 가지 어려움은 “세계 모델”이라는 용어가 다소 느슨하게 사용되며, 의미가 문맥에 따라 변하는 경향이 있다는 점입니다. 간단한 세계 모델 정의는 에이전트가 현재 상태 환경을 시뮬레이션하고 미래 상태를 예측하며, 하류 결과에 대해 추론할 수 있게 해준다는 것입니다. 연구자들은 표현 및 처리 방법에 따라 세계 모델을 좀 더 세분화하여 분류하는 경향이 있습니다. 환경의 “본질”을 간결하고 집중된 공간으로 정제하는 잠재 세계 모델이 있습니다. 물리학을 “이해”하여 프레임별 시각적 표현을 생성하는 생성 세계 모델이 있으며, 과거 행동에서 결과를 예측하는 JEPA(Joint-Embedding Predictive Architecture) 모델이 있습니다. 잠재 세계 모델은 이미 연구실을 벗어나 자율 주행, 창고 운영, 산업 운영 및 농업과 같은 애플리케이션을 지원하고 있습니다. 생성 세계 모델은 게임 엔진 개발을 위한 합성 데이터 생성, 자율 주행 사용 사례, 인간과 같은 움직임의 비디오 시뮬레이션을 위한 구체화된 AI 사용 사례, 건축 렌더링 생성에 등장하고 있습니다. Yan LeCun과 같은 업계 거장들이 선호하는 JEPA 접근 방식은 픽셀을 생성하는 대신 추상 표현 공간에서 결과를 예측합니다. 로봇은 대부분 통제된 환경에 국한되어 있었지만, JEPA는 이를 변화시켜 로봇이 개방적이고 실제 세계 설정으로 전환할 수 있게 합니다. 자율 주행 차량이 좋은 예입니다. 일부는 Genie 3를 활용하여 훈련을 위한 초현실적이고 상호작용적인 시뮬레이션을 생성하고 건설 구역과 같은 드문 이벤트를 더 잘 처리하고 있습니다. 분명히, 이러한 모델을 샌드박스 환경에서 실제 세계로 확장하기 위해서는 훨씬 더 많은 안전성과 신뢰성 테스트가 필요합니다. 기업의 관점에서, 로봇공학, 자율 의사 결정 시스템, 디지털 트윈 또는 더 추상적인 비즈니스 설정 중 어디에서 세계 모델이 의미 있는 가치를 먼저 제공할 것으로 예상하십니까? 제 직감은 디지털 트윈이 실용적인 가치를 먼저 제공할 가능성이 높다고 생각합니다. 실제 세계 시스템의 상태를 복제하여 행동하기 전에 시나리오를 테스트할 수 있게 합니다. 예를 들어, 공급망 시스템에서 제조업체는 부품 파트너 네트워크의 트윈을 구축할 수 있습니다. 시뮬레이션은 센서 데이터, 로그, 원격 측정 데이터로 공급될 수 있으며 “호르무즈 해협이 폐쇄되면 어떻게 될까?”와 같은 질문에 답할 수 있습니다. 따라서 실제 물류를 변경하기 전에 선적 경로 재설정을 테스트할 수 있습니다. 이는 라이브 시스템을 모니터링하는 것에서 라이브 시스템을 시뮬레이션하는 것으로 이동하는 데 도움이 됩니다. 로봇공학을 위한 세계 모델의 의미 있는 가치는 병렬적으로 진행되고 있습니다. 물체를 집을 때 표면의 마찰과 같은 물리학의 기본 속성을 로봇이 이해하게 되면 구체화된 AI의 배포가 본격화될 것입니다. 당신의 경력 상당 부분이 데이터셋 수집, 어노테이션 및 검증에 초점을 맞추어 왔습니다. 정적 텍스트 훈련에서 시스템에게 시간에 따라 세계가 어떻게 행동하는지 가르치는 것으로 이동할 때 데이터 과제는 어떻게 변화합니까? 세계 모델 활성화를 위한 데이터 수집 상황은 어제의 LLM 훈련 방법에서 큰 전환이 필요합니다. 첫째, 사전 훈련 데이터의 거대한 코퍼스, 즉 Common Crawl의 페타바이트와 수십억 개의 웹 페이지가 없습니다. 일부 로봇공학 연구자들은 물리적 지능과 세계 모델을 훈련시키는 데 필요한 데이터 양이 예를 들어 GPT2와 동등한 성능 지점에 도달하기 위해 필요한 양의 1/1000에 불과할 것이라고 추측했습니다. 따라서 이러한 데이터셋을 구축하는 데는 시간이 걸릴 것입니다. 구체화된 AI의 경우, 수백만 시간의 어노테이션이 달린 자기 중심적 다중 센서 데이터셋이 필요할 것입니다. 일부는 원격 조작되고, 일부는 Isaac Sim과 같은 합성 환경에서 나올 것입니다. TELUS Digital에서는 텍스트에서 다중 모달, 다중 센서 데이터셋 및 시뮬레이션 데이터셋으로 전환했습니다. 물론 컴퓨터 비전 분야에서의 강력한 데이터 수집 및 어노테이션 배경이 도움이 됩니다. 우리는 그 분야에서 수년간 최전선에 있었습니다. 사전 훈련 데이터와 어노테이션된 미세 조정 데이터의 부족을 넘어서, 강화 학습을 확장하는 데는 많은 다른 훈련 과제가 있을 것입니다. 세계 모델 훈련 방법에서 효율성 돌파구를 가속화하기 위해 GPT 및 RL 개념과 같은 새로운 변혁적인 패러다임이 필요할 수 있습니다. 세계 모델은 단순히 출력을 생성하는 것이 아니라 결정에 영향을 미칩니다. 생성 AI 시스템과 비교했을 때, 이것이 어떤 새로운 안전 또는 거버넌스 위험을 초래합니까? 세계 모델은 본질적으로 에이전트 작동을 지원하기 위한 것이므로 많은 안전 및 거버넌스 위험이 있습니다. 따라서 오늘날의 AI 에이전트 세대에 대해 우리가 가지고 있는 모든 우려 사항은 세계 모델 시나리오에서도 여전히 적용됩니다. 우리는 운송 안전, 직업 안전, 의료, 재정 및 일상 활동과 관련된 모든 중요한 의사 결정에 대해 인간의 감독이 필요합니다. 세계 모델에 특정한 예는 시뮬레이션 훈련 데이터와 실제 세계 환경 간의 간극입니다. 미세한 표면 변화는 시뮬레이션에서 잘 훈련된 로봇에게 실제 세계를 지저분하게 만들 수 있습니다. 또 다른 위험은 인간 행동과 관련이 있습니다. 시스템이 점점 더 자율적으로 될수록, 인간은 그것에 크게 의존하기 시작하고, 감독이 느슨해질 수 있으며, 결국 시스템은 필요한 재조정을 받지 못할 것입니다. 편향과 신뢰는 AI 채용의 주요 장벽으로 남아 있습니다. AI 시스템이 복잡한 실제 세계 또는 사회적 환경 내에서 모델링하고 행동하기 시작할 때 이러한 우려는 어떻게 진화합니까? 일반 대중부터 최고 경영진까지 AI 모델에 대한 신뢰와 확신은 이미 상당히 낮으며 단기간에 크게 변하지 않을 것 같습니다. AI의 힘이 너무 소수의 손에 집중되는 것, AI가 일자리를 빼앗는 것, 소외 계층을 불리하게 만드는 AI의 편향, 개인의 건강, 경력 및 재정에 영향을 미치는 결정을 내리는 모델, 동의 없이 지적 재산을 사용하는 모델, AI 딥페이크에 대한 우려는 이미 매우 높습니다. 경영진은 인력 전환 처리, 데이터 개인 정보 보호 및 규정 준수, AI “군비 경쟁”에서 경쟁사에게 뒤처지는 것에 대해 걱정합니다. 자율 무기나 대량 감시와 같은 사용 약관을 완화하도록 AI 기초 모델 빌더에 대한 정부 압력에 관한 최근 뉴스 발전은 이러한 우려만 증폭시키고 있습니다. 더 똑똑하고 더 자율적인 세계 모델 기반 로봇의 광범위한 배포도 마찬가지일 것입니다. 반면에, 우리는 광범위한 AI 채용과 확신의 일부 사례를 보고 있습니다. 한 예는 지난 몇 달 동안 코딩 에이전트가 급부상한 방식입니다. 소프트웨어 개발 관리자들은 코딩 에이전트에 대한 신뢰도가 높으며, PRD 개발부터 출시 후 회귀 테스트에 이르기까지 소프트웨어 개발이 이루어지는 방식에 근본적인 변화가 있습니다. 소프트웨어 개발 세계는 빛의 속도로 진화하고 있으며, 그 많은 부분이 고성능 코딩 에이전트에 대한 신뢰 때문입니다. 다른 사용 사례에서 사용자 신뢰가 성장함에 따라, 채용이 비슷한 방식으로 급증할 것으로 예상합니다. 신뢰 구축을 위한 해결책에는 훈련 단계에서 다양한 데이터셋과 환경, 배포 전 안전 가드레일로서의 광범위한 레드 팀링 및 스트레스 테스트가 포함됩니다. 사전 규제 감독 또한 필수입니다. 일부는 새로운 모델이 출시되기 전에 환경 영향 보고서(EIR)와 유사하게 기초 모델 빌더가 “사회적 영향 보고서”를 제공하도록 의무화해야 한다고 제안했습니다. TELUS Digital에서는 많은 작업이 실제 기업과 실제 사용자를 위한 대규모 AI 배포와 관련이 있습니다. 세계 모델과 같은 아이디어가 투명성, 인력 영향 및 고객 신뢰 유지와 같은 실질적인 문제와 어떻게 교차합니까? 명확히 하자면, TELUS Digital은 업스트림에서 기초 모델 빌더와 직접 협력하고, 다운스트림에서 AI 모델을 배포하는 기업들과도 협력합니다. 우리의 활동 영역은 종단 간입니다: 
