Dhivya Nagasubramanian, AI 변환 및 혁신 부문 부사장 – 인터뷰 시리즈

Dhivya Nagasubramanian은 주요 미국 금융 기관의 AI 변환 및 혁신 부문 부사장으로서, 생산용 에이전트 AI 시스템의 설계, 배포 및 거버넌스를 담당합니다. 그녀는 에이전트 AI를 위한 엔지니어(Apress/Springer Nature)라는 책의 저자입니다. 이 책은 생산 환경에서 신뢰할 수 있는 자율적인 AI 시스템을 구축하는 실용적인 가이드입니다. 출판 이후, 이 책은 스프링어링크에서 6,000건 이상의 기관 접근을 기록했으며, 전 세계 260개 이상의 도서관에서 보유되고 있으며, 대학에서 채택되었습니다. 그녀는 응용 머신 러닝 분야에서 미국 특허청으로부터 특허를 받았습니다. 그녀의 연구 관심 분야에는 적대적 공격에 저항하는 응용 프로그램을 구축하고, 더 나은 다문화 안전 및 보안 모델을 개발하기 위한 산업의 더广泛한 노력에 기여하는 것이 포함됩니다. 그녀는 여러 산업 및 학술 회의에서 전문가 연사 및 패널로 활동합니다.

귀하는 엔터프라이즈 컨설팅 및 데이터 과학에서 금융 서비스 내 AI 변환을 이끄는 경력을 가지고 있습니다. 이러한 경험은 어떻게 에이전트 AI를 위한 엔지니어를塑造했으며, AI 연구와 엔터프라이즈 배포 사이의 반복적인 간격은 귀하가 이 책을 쓰야 한다고 확신시켰습니까?

2008년에 나는 은행 플랫폼을 위한 포트폴리오 회계 및 성과 측정 시스템을 구축하기 시작했습니다. 그 중 하나는 80개 이상의 국가에서 사용된 GIPS 규정 준수 엔진을 구축하는 것이었습니다. 그 작업은 나의 경력 전체를塑造한 교훈을 가르쳐주었습니다. 규제된 금융에서 가장 위험한 실패는 올바르게 보이는 잘못된 숫자입니다. 잘못된 계산은 신뢰되고 보고되고 수년 동안 시행됩니다. 왜냐하면 아무것도 고장 나지 않았기 때문입니다.

나중에 나는 같은 패턴을 다시 보았습니다. 나는 널리 사용되는 마케팅 속성 모델의 마르코프 모델에서 구조적인 간격을 발견했습니다. 그 프레임워크는 수백만 명의 사용자에게 사용되었으며, 오류는 수년 동안 살아남았습니다. 왜냐하면 출력이 합리적으로 보였기 때문입니다. AI 변환으로 금융 서비스에 이동했을 때, 나는 에이전트 시스템이 이 패턴을 반복하는 것을 보았습니다. 에이전트는 단순히 잘못된 결과를 생성하지 않습니다. 그것은 그 결과를 기반으로 행동합니다.

나를 책을 쓰도록 확신시킨 간격은 연구와 엔터프라이즈 배포가 다른 것에 대해 관심을 가집니다. 연구는 벤치마크에서 능력을 측정합니다. 엔터프라이즈는 시스템이 불확실성, 변경된 데이터 및 적대적 압력 하에서 어떻게 행동하는지에 달려 있습니다. 대부분의 에이전트에 대한 글은 데모 단계에서 끝납니다. 나는 엔터프라이즈에서 시스템을 실행하는 엔지니어를 위해 에이전트 AI를 위한 엔지니어를 썼습니다.

귀하의 책은 자동화에서 자율성으로의 전환을 새로운 엔지니어링 마인드로 묘사합니다. 진정한 에이전트 AI 에이전트와 정교한 자동화 워크플로우를 구별하는 것은 무엇이며, 조직은 두 가지를 혼동하는 곳에서 가장 가능성이 높습니까?

나는 팀에게 간단한 테스트를 제공합니다. 시스템을 실행하기 전에 시스템이 취할 수 있는 모든 경로를 나열할 수 있습니까? 그렇다면 자동화입니다. 그것은 매우 정교한 자동화일 수 있습니다. 언어 모델이 내부에 있지만, 여전히 자동화입니다. 시스템이 런타임에 목표를 분해하고, 도구를 선택하고, 컨텍스트에 따라 작업 순서를 결정한다면, 자율성을 가지고 있습니다. 차이는 사용하는 모델과 관련이 없습니다. 결정이 어디에서 이루어지는지에 달려 있습니다.

조직은 두 가지 방향으로 모두 두 가지를 혼동하지만, 한 방향만 비용이 듭니다. 스크립트된 LLM 워크플로우를 에이전트로 부르는 것은 주로 마케팅 문제입니다. 비싼 실수는 그 반대입니다. 팀은 진정한 자율적인 의사결정을 자동화에 대한 거버넌스로 배포합니다. 테스트는 반복 가능성을 가정합니다. 모니터링은 알려진 실패 패턴을 가정합니다. 감사 트레일은 각 작업 뒤에 추적 가능한 규칙이 있다고 가정합니다. 에이전트의 경우 이러한 가정 중 어느 것도 유지되지 않습니다.

그것이 내가 책에서 주장하는 마인드 셋의 전환입니다. 자동화의 경우 주요 질문은 시스템이 올바르게 실행되었는지입니다. 자율성의 경우 질문은 시스템이 올바르게 결정했는지가 됩니다. 그것에 대답하려면 다른 기구, 다른 평가 방법, 더 높은 수준의 주의가 필요합니다.

많은 에이전트 AI 시스템은 시연에서 인상적으로 수행하지만 실제 사용자, 변경된 데이터 및 예측할 수 없는 도구에 노출될 때 어려움을 겪습니다. 생산 준비 에이전트 아키텍처에서 고려해야 할 필수 구성 요소는 무엇입니까?

솔직한答案은 생산에는 데모에서 생략할 수 있는 모든 것이 필요합니다. 데모는 환경을 제어할 수 있기 때문에 작동합니다. 생산은 그 제어를 빼앗깁니다.

책에서 나는 7계층 참조 아키텍처를 설명하지만, 필수 구성 요소는 다음과 같습니다. 도구 계약은 입력과 명시적인 권한이 있으므로 에이전트의 범위는 설계에 의해 제한됩니다. 중단과 실패를 переж는 상태 관리. 구조화된 실패 처리는 정의된 에스컬레이션 경로가 있습니다. 평가 하네스가 연속적으로 실행되며, 런타임에 대한 결정과 이유를 기록하는 감사 트레일입니다. 가장 자주 생략되는 구성 요소는 런타임 검증입니다. 이 계층은 에이전트의 명시된 목적과 적용되는 정책에 대한 모든 작업을 확인합니다. 표준 인프라는 호출이 성공했는지 여부를 알려줍니다. 검증은 호출이 이루어져야 했는지 여부를 묻습니다. 데모에서 그것의 가치를 입증할 수는 없지만, 생산에서 그것은 가장 먼저 원하는 것입니다.

귀하의 책은 안전성, 정렬, 피드백 루프, 테스트, 디버깅, 평가 및 배포를 다룹니다. 엔지니어링 팀은 어떻게 이러한 요소를 연속적인 보증 프로세스로 결합해야 하며, 안전성을 최종 전개 전 검토로 취급하지 않습니까?

최종 검토는 검토한 시스템이 실행될 시스템이라는 가정에 기반합니다. 에이전트 AI의 경우, 그 가정이 세 가지 방식으로 실패합니다. 기본 모델이 업데이트됩니다. 에이전트가 의존하는 도구와 API가 변경됩니다. 에이전트가 작동하는 데이터와 환경이 계속 변경됩니다. 한 번의 안전성 검토는 더 이상 존재하지 않는 시스템을 설명합니다.

연속적인 보증은 루프를 닫는 것을 의미합니다. 행동 평가가 CI(연속적 통합)에서 유닛 테스트와 같이 실행되고, 프롬프트, 도구 및 모델의 모든 변경에 게이트를 설정합니다. 런타임 모니터링은 프로덕션 트레이스를 평가 세트로 되돌려 보냅니다. 나는 책에서 4개의 모니터링 패턴을 설명합니다. 왜냐하면 단일 패턴이 전체 실패 표면을 다루지 못하기 때문입니다. 각 사고는 새로운 체크를 생성합니다. 동일한 방식으로 각 버그는 회기 테스트를 생성해야 합니다. 적대적 테스트는 정기적으로 실행됩니다. 런치 전에 한 번이 아니라.

조직 측면도 기술 측면만큼 중요합니다. 안전성은 마지막에 체크리스트와 함께 나타나는 별도의 팀일 수 없습니다. 에이전트를 구축하는 엔지니어는 평가 스위트, 불변量 및 에스컬레이션 설계를 소유해야 합니다. 왜냐하면 그들은 시스템의 판단이 가장 약한 곳을 누구보다도 잘 압니다.

귀하는 에이전트 도구 호출의 의미적 모니터링을 강조했습니다. 의미적 모니터링은 어떤 것을 보여주며, 에이전트가 기술적으로 작동하지만 잘못된 목표를 추구할 때 어떻게 감지할 수 있습니까?

관용적인 관측 가능성은 하나의 질문에 답합니다. 호출이 성공했습니까? 그것은 상태 코드, 스키마, 대기 시간 및 오류율을 다룹니다. 그러나 에이전트에게 가장 중요한 질문에 답할 수 없습니다. 호출이 이루어져야 했습니까? 도구 호출은 기술적으로 완벽할 수 있지만 여전히 잘못된 작업일 수 있습니다. 올바른 형식, 유효한 자격증명, 성공적인 응답, 잘못된 작업.

의미적 모니터링은 각 작업을 에이전트의 명시된 목적과 적용되는 정책에 대해 평가합니다. 책에서 나는 이것을 에이전트 도구 호출에 대한 의미적 불변량을 정의하는 것으로 설명합니다. 이러한 속성은 에이전트가 취하는 경로에 관계없이 유지되어야 합니다. 고객의 경우를 조사하는 에이전트는 절대로 해당 경우 외부의 기록에 액세스해서는 안 됩니다. 에이전트는 특정 임계값 이상의 불일치를 플래그해야 하며, 절대로 자체적으로 해결해서는 안 됩니다. 불변량이 위반되면 작업의 순간에 문제를 잡습니다.

이것은 목표 드리프트를 감지하는 방법입니다. 목표 드리프트는 로그에 실패가 나타나지 않는 에이전트가 올바르게 모든 단계를 완료하는 것처럼 보이지만, 실제로는 잘못된 목표를 향해 작업하는 것입니다. 로그에 나타나지 않습니다. 왜냐하면 아무것도 실패하지 않았기 때문입니다. 의미적 모니터링은 의도를 직접 측정하는 것으로 취급하며, 의도는 에이전트가 잘못되는 곳입니다.

에이전트가 모호한 지침, 상반되는 정책, 사용할 수 없는 도구 또는 불충분한 확신을 만났을 때 구조화된 실패 처리는 어떻게 나타나야 합니까? 개발자는 시스템이 일시중지, 에스컬레이션 또는 복구되는 대신 즉흥적으로 행동하지 않도록 어떻게 보장할 수 있습니까?

디자인해야 할 문제는 대부분의 에이전트가 작업을 끝낼 수 있는 방법이 하나뿐이라는 것입니다. 즉, 답변을 생성하는 것입니다. 지침이 모호하거나 정책이 상반될 때 에이전트는 즉흥적으로 행동합니다. 모델이 무모해서가 아니라, 아키텍처가 다른 행동을 허용하지 않기 때문입니다. 구조화된 실패 처리는 시스템에 더好的 옵션을 제공하고, 성공보다 쉽게 접근할 수 있도록 만드는 것을 의미합니다.

실제로 이는 거부와 에스컬레이션이 성공만큼이나 주의 깊게 설계되고 테스트되는 것을 의미합니다. 나는 유형화된 실패 상태를 정의하는 것을 추천합니다. 모호한 지침, 상반되는 정책, 사용할 수 없는 도구, 불충분한 확신. 각 상태는 특정 행동에 매핑됩니다. 澄明하는 질문을 합니다. 컨텍스트가 첨부된 사람에게 작업을 넘깁니다. 읽기 전용 작업으로 떨어집니다. 더 엄격한 제한 내에서 다시 시도합니다. 또는 중지합니다. 확신 임계값은 특정 작업의 위험과 일치해야 합니다. 내부 요약을 작성하는 임계값과 고객 계정을 터치하는 임계값은 결코 같은 숫자가 될 수 없습니다.

두 가지 관행이 이것을 실현합니다. 첫째, 에스컬레이션 경로를 설계하기 전에 행복한 경로를 설계합니다. 사람이 작업을 넘겨받을 경우, 컨텍스트를 받을지 여부와 권한을 가질지 여부를 결정하기 전에 첫 번째 프롬프트를 작성합니다. 둘째, 실패를 기능과 동일한 방식으로 테스트합니다. 모호한 지침을 주입합니다. 스테이징에서 도구를 비활성화합니다. 에이전트에 상반되는 정책을 제공합니다. 실패를 कभ도 연습하지 않은 시스템은 생산에서 처음 발생할 때 무지로 행동할 것입니다.

금융 기관은 실험과 개인 정보 보호, 감사 가능성, 모델 위험 및 규제 준수와 관련된 엄격한 요구 사항 사이에서 균형을 유지해야 합니다. 인간 승인이 반드시 필요한 곳은 어디이며, 에이전트에게 더 큰 운영 자율성을 안전하게 부여할 수 있는 곳은 어디입니까?

나의 규칙은 인간 승인이 반드시 필요한 곳은 다음과 같은 곳입니다. 되돌릴 수 없는 작업, 돈을 이동하거나 환자의 결과에 영향을 미치는 작업, 규제적 중량을 가진 고객 커뮤니케이션을 포함하는 작업, 규제 보고서를 제공하는 작업 또는 에이전트 자신의 도구, 정책 또는 권한을 변경하는 작업입니다. 에이전트는 읽기 및 이유 작업에서 더 많은 자율성을 취할 수 있습니다. 연구, 검색, 문서 분석, 분류, 초안 작성 및 인간 검토를 위해 불일치를 플래그하는 조정입니다.

일반적인 실수는 모든 단계에서 인간 승인을 요구하는 것입니다. 그것은 시스템을 더 안전하게 만들지 않습니다. 그것은 수동 프로세스를 재창조하고, 검토자를 추가 단계와 함께 고무장으로 만듭니다. 승인은 실제 결정 지점에 있어야 합니다. 그것은 몇 개여야 하며, 각 승인은 실제로 “아니오”라고 말할 수 있는 권한을 가지고 있어야 합니다.

다른 원칙은 자율성이 부여되는 것이 아니라 획득되어야 한다는 것입니다. 좁은 범위에서 시작합니다. 시스템이 모니터링 아래에서 자신을 증명함에 따라 확장합니다. 증거를 유지합니다. 모델 위험의 관점에서 제어 환경은 에이전트에게 그 수준의 독립성을 부여하는 데 정당화된 이유를 보여줄 수 있어야 합니다. 그 기록은 실제 운영 라이선스입니다.

인공 지능 안전 보장 및 표준에 대한 귀하의 작업을 통해, 지속적으로 변경되는 기능을 가진 시스템에 대한 규칙을 정의하고 있습니다. 오늘날 표준화될 수 있는 안전 보장이 무엇이며, 어느 영역은 여전히 너무 많이 상황, 산업 또는 사용 사례에 의존하는지 알려주세요.

오늘날 표준화할 수 있는 안전 보장은 구조적입니다. 특정 컨트롤이 존재하고, 문서화되고, 검사될 수 있는지를 요구합니다. 자율적인 시스템에 대한 능력 및 권한 경계. 인간 오버사이트 및 에스컬레이션 메커니즘. 사건 감지 및 보고 의무. 평가 방법 및 증거 요구 사항. 시스템 수명 주기 전반에 걸친 명확한 책임이 있습니다. 그래서何か가 잘못되면, “AI”만이 책임이 있는 것이 아닙니다.

표준화할 수 없는 것은 설정 자체입니다. 특정 확신 임계값, 피해 분류, 적절한 자율성 수준은 상황에 크게 의존합니다. 마케팅 콘텐츠 에이전트와 임상 또는 금융 결정에 영향을 미치는 시스템에 대한 허용 가능한 실패 허용치는 동일한 규모에 있는 두 개의 지점이 아닙니다. 그것은 다른 체제에 속합니다. 도메인, 관할 및 실패할 때 누가 피해를 입는지에 의해 형성됩니다.

금융 제어는 여기서 유용한 모델입니다. 감사 요구 사항은 전 세계적으로 표준화되지만, 물질성은 항상 상황에 따라 판단됩니다. 상황을尊重하는 표준은 채택되는 경향이 있습니다. 상황에 의존적인 값을 지시하려고하는 표준은 무시되는 경향이 있으며, 아무도 따르지 않는 안전성 표준은 아무도 보호하지 않습니다.

귀하의 최근 연구는 다문화 및 적대적 강건성에 대한 AI 안전성 평가를 탐구했습니다. 서양 중심 또는全球 평균 벤치마크에 의해 놓치될 수 있는 모델 실패 유형은 무엇이며, 기업은 다문화 배포를위한 시스템을 어떻게 평가해야 합니까?

평균 벤치마크만 보는 것은 중요한 실패를 놓치게 할 수 있습니다. 모델은 강한 전체 안전성 점수를 게시할 수 있지만 특정 언어, 방언 또는 문화적 컨텍스트에 대해 매우 나쁨을 수 있습니다. 왜냐하면 이러한 실패는 평균으로消え기 때문입니다. 서양 중심의 평가에는 문화적으로 특정한 피해를 놓칠 수 있는 또 다른 블라인드 스폿이 있습니다. 그것은 또한 코드 스위칭, 음역 및 서양 이름 및 实體를 충분히 테스트하지 못합니다. 또한 공격자는 평균 성능을 목표로하지 않습니다. 그들은 가장 약한 슬라이스를 찾습니다. 대부분의 모델에서 그것은 낮은 자원 언어 또는 평가되지 않은 문화적 컨텍스트입니다.

이것이 나를 다문화 AI 안전성 벤치마크 연구에 기여하게 만든 것입니다. 핵심 발견은 간단합니다. 안전성을 문화적으로 평가하려면 평가 데이터와 인간의 판단이 문화에서 가져와야 합니다. 발생하는 컨텍스트 외부에서 발생하는 피해를 평가할 수 없습니다.

기업에 대한 제안은 다음과 같습니다. 서비스하는 모든 세그먼트를 평가하고, 평균을 증거로 받아들이지 마십시오. 실제 고객 인구에서 평가 세트를 구축하십시오. 고객이 사용하는 언어로 적대적 테스트를 실행하십시오. 고객을 40개국에서 서비스하고 영어만 평가한다면, 시스템을 다른 사람의 배포를 위해 측정하고 있습니다.

귀하는 또한 응용 AI에서 미국 특허청으로부터 특허를 받았습니다. 귀하는 어떤 문제를 해결하려고 했으며, AI 연구를 실제 혁신으로 전환하는 과정에서 무엇을 배웠으며, 다음으로 해결하고 싶은 가장 관심 있는 미해결 에이전트 AI 도전은 무엇입니까?

최근 승인된 특허는 금융 서비스 품질 검토의 규모 및 일관성 문제를 해결합니다. 전통적인 콜 검토는 수동이므로 인간 검토자는 샘플의 일부만 검토할 수 있으며, 그들의 평가가 사람마다 다를 수 있습니다. 내 접근 방식은 각 품질 및 규정 준수 질문을 가장 적합한 방법으로 라우팅하고, 모든 결정이 로그되고 감사할 수 있도록 합니다.

특허 과정은 정확성의 규율이 있음을 가르쳤습니다. 애매한 아이디어를 특허할 수 없습니다. 정확히 무엇이 다르고, 어디에 적용되는지 보여야 합니다. 그 정밀성이 기본 작업을 더 좋게 만들었습니다.

현재 가장 관심 있는 미해결 도전은 다중 에이전트 시스템을 위한 런타임 검증입니다. 단일 에이전트에 대한 의미적 불변량을 정의하는 것은 관리할 수 있습니다. 왜냐하면 우리는 생산에서 그렇게 하기 때문입니다. 에이전트가 다른 에이전트에게 작업을 위임할 때, 행동은 나타납니다. 실패는 손에 들어옵니다. 지침이 약간 재해석됩니다. 정책은 한 에이전트에게 적용되지만, 에이전트가 모집하는 에이전트에게는 적용되지 않습니다. 에이전트 간의 상호 작용을 확인하는 것이 다음 세대의 무음 실패가 나타날 곳입니다. 그것이 내가 다음에 해결하고 싶은 문제입니다.

감사합니다. 이 인터뷰는 훌륭했습니다. 독자들은 또한 그녀의 책 에이전트 AI를 위한 엔지니어를 주문할 수 있습니다.