트랜스센드의 Rowan Stewart, Sr. 디렉터 – 인터뷰 시리즈

Rowan Stewart, 트랜스센드의 Sr. 디렉터, AI 안전 및 플랫폼 담당, 조직이 인공 지능 시스템에서 데이터를 안전하게 발견, 관리 및 사용하도록 도와주는 제품 이니셔티브를领导합니다. 그녀는 AI 및 기계 학습 제품 개발, 엔터프라이즈 소프트웨어, 자연어 처리, 데이터 전략 및 제로투원 제품 리더십을 포함하여 10년 이상의 경험을 가지고 있습니다. 트랜스센드에 합류하기 전에, 스튜어트는 BCG X에서 거의 6년 동안 주요 기업들이 AI 전략을 개발하고 내부 프로세스를 재창조하며 측정 가능한 비즈니스 결과를 제공하는 제품을 구축하는 것을 도왔습니다. 그녀의 경력 초기에는 영향력 있는 지능 플랫폼을 위한 자연어 처리 API 개발을 관리했으며, 감정 분석, 지식 그래프, 성격 평가, 봇 감지 및 브랜드 안전 기능을 포함했습니다.

트랜스센드는 고객 성장에 규모를 제공하는 唯一의 자율 데이터 의사 결정 플랫폼입니다. 포춘 500 기업과 새로운 카테고리 리더들은 고객 데이터를 처리하는 엔터프라이즈 시스템에 완전한 데이터 사용 권한을 직접 인코딩하여 실시간 소스 오브 트루스 Consent, 선호도 및 비즈니스 규칙을 제공하는 트랜스센드를 활용합니다. 그 결과는 우수한 데이터 품질, 브랜드를 보호하는 윤리적인 사용 및 규모에 따라 감사 가능한 규정遵守입니다. 트랜스센드를 사용하면 기업은 AI, 개인화 및 기타 1차 데이터 이니셔티브에서 수익을 확신으로 잠금할 수 있습니다. 2017년에 벤 브룩 (CEO)와 마이크 패럴 (CTO)가 설립한 트랜스센드는 샌프란시스코 베이 에リア에 본사를두고 있습니다.

BCG X에서 세계最大의 조직이 AI 및 기계 학습 솔루션을 배포하는 것을 도와주는 거의 6년 동안 근무한 후, 트랜스센드에서 AI 안전 및 거버넌스를 담당하게 되었습니다. 재발하는 거버넌스 실패 또는 맹점이 무엇이었나요? 그것은 시스템에 거버넌스를 빌드하는 것이 아니라 나중에 추가하는 것이 더 좋다는 것을 확신시켰나요?

BCG에서私は毎ステージ의 AI 성숙도를 가진企業と 일했으며, 一つの 패턴이私の 마음에 남아있습니다. 거버넌스는 항상 늦게 나타납니다. 팀은 모델이나 제품을 출荷하기 위해 빠르게 움직이고, 데이터 권한, 동의 또는 감독에 대한 대화는 거의 생산 직전에焦点이되며 ‘갖다’라는 느낌을줍니다. 그때 xây dựng되는 것은 시스템이 거버넌스를 고려하지 않고 설계된 패치입니다.

그것이私は 트랜스센드에 합류하기 위해 так 흥奮한 이유입니다. 公司들에게 무엇을 해야하는지에 대한 조언은 그렇게遠い 않습니다.私は 거버넌스를 쉽게하는 인프라를 구축하는 것을 도와주고 싶었습니다.

많은 조직이 고객 지원, 운영, 지식 작업을위한 AI 에이전트를 배포하기 위해 경쟁하고 있습니다. 전통적인 소프트웨어 시스템 또는 이전 세대의 AI 모델을 거버넌스하는 것과는 어떻게 다릅니까?

대부분의 엔터프라이즈 보안 아키텍처는 모든 동작의 다른쪽 끝에 사람이 있다는 가정하에 설계되며, 그 사람은 식별 가능하며, 신뢰할 수 있으며, 무엇인가 잘못되면 책임을 질 수 있습니다. 그러나 에이전트는 사람과 다릅니다. 그들은 독립적으로 행동하며, 다른 에이전트에게 작업을 위임하며, 의사 결정을 연결하여 단일 책임있는 사람에게 매핑되지 않는 방식으로 행동합니다.

에이전트에게 인간과 동일한 정적, 상시 권한을 부여하면 공통된 감각이 부족하여 불일치가 발생합니다. 거버넌스는 에이전트가 취할 특정 동작을 평가해야하며, 그 순간에, 특정 데이터와 함께 거버넌스를 평가해야합니다. 대부분의 公司들은 아직도 인간을위한 아이덴티티 및 액세스 관리 플레이북을 실행하고 있으며, 에이전트를 처리하기위한 거버넌스에 대한 격차를 곧 발견할 것입니다.

당신은 NLP 제품 및 영향력 있는 지능 플랫폼에서 엔터프라이즈 AI 변革 이니셔티브까지 다양한 AI 혁신의 물결을 경험했습니다. 지난 10년 동안 AI 안전에 대한 대화는 어떻게 진화했으며, 무엇이 당신에게 가장 우려되는가요?

오늘날 (그리고 내일!)의 AI를 이전 세대와 비교하는 것은 매우 빠르게 움직이는 공간입니다. 지난 1-2년 동안 가장 중요한 진화는 에이전트의 부상과 장기 실행 메모리 관리 (OpenClaw)의 중요성입니다. 이러한 에이전트는 훨씬 더 많은 것을 더 높은 품질로 수행할 수 있으며, 이는 그들을 더 유용하고, 물론, 더 위험하게 만듭니다.

AI 시스템이 고객 및 엔터프라이즈 데이터를 사용하여 의사 결정을 내리는 경우, 公司들은 AI 주도 환경에서 동의, 권한 및 데이터 거버넌스에 대해 어떤 가장 큰 오해를 가지고 있나요?

가장 일반적인 오해는 동의를 한번 캡처하고 파일로 저장하는 것입니다. 고객은 가입 시 특정 조건에 동의하며, 公司들은 그 동의가 이후 데이터가 이동하거나 새로운 시스템에 의해 처리되는 방식에 관계없이 무기한으로 유지된다고 가정합니다. 동의는 데이터와 함께 이동해야합니다. 고객이 선호도를 업데이트하거나 새로운 규정이 허용되는 방식을 변경하는 경우, 이러한 변경 사항은 데이터가 존재하는 모든 곳에서 나타나야하며, 원래 동의가 수집된 시스템에서만 나타나서는 안됩니다.

두 번째 오해는 권한을 기술적인 세부 사항으로 간주하여 법률 또는 IT 팀이 조용히 처리하는 것입니다. AI 시스템이 데이터를 기반으로 의사 결정을 내리기 시작하면, 권한은 제품 및 비즈니스 질문이되며, 권한 부족은 AI 이니셔티브에 직접 상속됩니다.

많은 기업은 아직 정적 정책 및 정기적인 규정 준수 검토에 의존합니다. 이러한 접근 방식은 AI 시스템이 지속적으로 학습, 적응 및 상호 작용할 수 있는 시대에 어려움을 겪는 이유는 무엇인가요?

정적 정책은 시스템이 어떻게 보였는지, 무엇이 허용되는지에 대한 스냅샷을 캡처합니다. 그러나 AI는 그 스냅샷이 정확하게 유지되는 시간이 충분하지 않습니다. 정책이 작성된 모델은 6개월 후에 실행 중인 모델과 다를 수 있으며, 분기 또는 연간 규정 준수 검토는 시스템이 지속적으로 의사 결정을 내리고 적응하는 것을 따라갈 수 없습니다.

이동하는 것이 빠른 것을 거버넌스하는 것은 정책이 동일한 속도로 이동해야 함을 의미합니다. 즉, 데이터가 실제로 사용되는 시점에, 실시간으로 거버넌스를 시행하는 것입니다.事実上, 정책을 문서화하고 나중에 사실을 확인하는 것보다 더 빠릅니다.

조직이 서로 협력하고 여러 내부 시스템에 액세스하는 에이전트 네트워크를 배포하기 시작할 때, 효과적인 거버넌스는 어떻게 보이는가요?

이것은 전통적인 액세스 제어의 한계가 명백해지는 곳입니다. 에이전트는 레코드를 읽을 수 있으며, 도구를 호출하고, 결과를 다른 에이전트에게 전달할 수 있으며, 이러한 단계는 개별적으로 합리적으로 보일 수 있습니다. 그러나 이러한 단계를 연결하여 발생하는 복합 동작은 종종 명시적으로 승인된 것이 아닙니다. 전통적인 IAM은 에이전트가 시스템에 액세스할 수 있는지 여부를 확인할 수 있지만, 데이터가 수집된 동의가 이 특정 사용을 커버하는지, 또는 결과적인 동작이 실제로 승인된 것인지에 대해 거의 말할 수 없습니다.

트랜스센드는 엔터프라이즈 워크플로에 데이터 사용 권한을 직접 임베딩하는 것을 중점으로합니다. 조직이 AI 실험에서 생산 규모 배포로 이동함에 따라 실시간 거버넌스 인프라의 중요성은 무엇인가요?

테스트 중에, 팀은 수동 검토 및 정기적인 감사를 통해 버틸 수 있지만, 생산에서는 규모가 너무 커서 이는 깨집니다. 오늘날의 체크리스트 및 미팅 시스템은 모두 패배입니다. 규정 준수 및 보안 팀은 실제로 아무런 가치도 없는 약속을 받으며, 제품 팀은 실제로 사용자에게 아무런 가치도 제공하지 않는 번거로운 수동 검토에 커밋됩니다. 이것이 실제 거버넌스 인프라가 작동하는 唯一한 접근 방식입니다. 데이터가 이동하거나 결정이 내려질 때 권한을 시행하는 것은, 무엇이 발생했는지 재구성하는 대신, 규정 준수를 의미하며, 사용자에게 가치 있습니다.

당신의 관점에서, 향후 3-5년 동안 에이전트 AI와 관련된 가장 큰 위험은 무엇이며, 현재 비즈니스 리더들이 과소평가하는 위험은 무엇인가요?

나는 에이전트가 사용자의 권한을 상속받는 모델이 더 위험하다고 생각합니다. 인간은 판단력을 가지고 있지만, AI는 절벽으로 따라갈 것입니다.

제품 팀은 AI 기능을 빠르게 출荷하는 압력과 거버넌스, 투명성 및 책임 프레임워크를 수립하는 필요성 사이에서 어떻게 균형을 유지해야 하나요?

구체적인 일은 ‘Slop Tax’를 고치는 것입니다.

우리는 모두 매우 빠르게 우리의 반응을 재구성하여 AI 출력의 유효성 및 가치를 할인했습니다. 이것은 우리가 em 대시를 제거하도록 조언하는 이유이며, Claude 표준 색상 팔레트를 사용하는 사이트가廉价하게 느껴지는 이유이며, AI에 의해 제공되는 정보가 의심스러운 이유입니다. 이것은 제품의 인식된 가치에 영향을 미칩니다.

Slop Tax를 수정하는 것은 실제로 더好的 거버넌스와 투명성입니다. 예를 들어, 우리는 최근에 Vendor AI Usage라는 기능을 출荷했으며, 이는 최상위 기업의 AI 기능 및 거버넌스 포스트를 공개적으로 사용 가능한 정보를 끌어와서 AI 활성화, 보안 및 조달 팀이 더 빠르게 작업할 수 있도록 도와줍니다. 우리는 멀티 에이전트 오케스트레이션 프레임워크와 함께 증거를 수집하고 출처 링크 및 인용문을 포함하여 결과를 제시함으로써 결과의 품질이 크게 개선된 것을 발견했습니다. 이러한 증거 수집 및 에이전트 QA 관행은 승리입니다. 실제 결과는 사용자에게 더 좋으며, 규정 준수는 더 강력합니다.

향후를 내다보면, AI 거버넌스는 단순한 규정 준수 요구 사항이 아닌 경쟁 우위를 제공하는 것이 될까요? 그리고 그것을 올바르게 하는 조직과 뒤처지는 조직을 구분하는 것은 무엇일까요?

그렇습니다. 그것은 BCG에서 본 동일한 패턴으로 돌아갑니다. 제품에 이미 시장에 나와 있는 제품에 거버넌스를 추가하는 公司들은 항상 마지막 순간에 체크하기 전에 확장하는 것을 막고, ‘파일럿 지옥’에 갇히게 됩니다. 거버넌스를 시스템에 빌드하는 公司들은 다른 그룹이 없는 자신감으로 움직일 수 있습니다. 그들은 항상 자신의 AI가 실제로 데이터를 사용하는 방식에 대해 궁금해하지 않기 때문입니다.

이 격차는 에이전트 배포가 가속화함에 따라 더 커질 것입니다. 에이전트를 배포하는 것을 재고하지 않는 公司들은 가장 빠르게 문제를 gặp을 가능성이 있으며, 그들이 그렇게 할 때, 올바른 인프라를 가진 公司들은 이미 따라잡을 수 없는 속도로 운영될 것입니다. 거버넌스는 규정 준수 항목이 아닌 AI를 더 빠르고 확신으로 배포할 수 있게 해주는 것이 됩니다.

위대한 인터뷰에 감사드립니다. 더 많은 정보를 원하는 독자는 트랜스센드를 방문하십시오.