Patronus AI의 CEO 및 공동 창립자 Anand Kannappan – 인터뷰 시리즈

Anand Kannappan은 Patronus AI의 CEO 및 공동 창립자입니다. Patronus AI는 기업들이 대규모로 LLM 오류를 잡는 것을 도와주는 최초의 자동화된 AI 평가 및 보안 플랫폼입니다. 이전에 Anand는 Meta Reality Labs에서 ML 설명 가능성 및 고급 실험 노력을 이끌었습니다.

컴퓨터 과학에 처음으로 관심을 가졌던 것은 무엇인가?

저는 항상 기술에 대해 관심이 많았고, 그것을 실제 문제를 해결하는 데 사용할 수 있다는 생각이 흥미로웠습니다. 코드를 사용하여 무언가를 처음부터 만들 수 있는 아이디어는 저를 매료했습니다. 컴퓨터 과학을 더 깊이 공부할수록, 다양한 산업에서 혁신과 변화를 일으킬 수 있는巨大한 잠재력을 깨달았습니다. 이러한 đổi新的 동력은 저를 컴퓨터 과학에 처음으로 끌어들였습니다.

Patronus AI의 기원 이야기를 공유해 줄 수 있나요?

Patronus AI의 기원은 khá 흥미로운 여정입니다. OpenAI가 ChatGPT를 출시했을 때, 그것은 2개월 만에 1억 명이 넘는 사용자를 모으는 가장 빠르게 성장하는 소비자 제품이 되었습니다. 이러한 거대한 채택은 생성적 AI의 잠재력을 강조했지만,同時적으로 기업들이 AI를 så 빠르게 배포하는 것에 대한 주저함도 나타났습니다. 많은 비즈니스는 LLM의 잠재적 오류와 예측할 수 없는 행동에 대한 우려를 가지고 있었습니다.

Rebecca와 저는 수년 동안 알고 지냈으며, 시카고 대학교에서 컴퓨터 과학을 함께 공부했습니다. Meta에서 우리는 모두 ML 출력의 평가 및 해석에 대한 도전을 직면했습니다. Rebecca는 연구 관점에서, 저는 적용 관점에서 이러한 도전을 겪었습니다. ChatGPT가 발표되자, 우리는 둘 다 LLM의 변革적 잠재력을 보았지만,同時적으로 기업들이 행사하는 주저함도 이해했습니다.

전환점은 제가 형의 투자 은행인 Piper Sandler가 내부적으로 OpenAI 접근을 금지하기로 결정했을 때 왔습니다. 이것은 AI가 상당히 발전했음에도 불구하고,まだ 기업이 채택하는 데에는 신뢰성 및 보안에 대한 우려가 있다는 것을 깨닫게 되었습니다. 우리는 Patronus AI를 설립하여 이러한 격차를 메우고, LLM에 대한 평가 및 보안 계층을 제공함으로써 기업이 생성적 AI에 대한 자신감을 높일 수 있도록 했습니다.

Patronus AI 플랫폼의 핵심 기능을 설명해 줄 수 있나요?

우리의 임무는 기업이 생성적 AI에 대한 자신감을 높이는 것입니다. 우리는 LLM을 위한 산업 최초의 자동화된 평가 및 보안 플랫폼을 개발했습니다. 우리의 플랫폼은 기업이 대규모로 LLM 출력의 오류를 감지할 수 있도록 도와줍니다. 이를 통해 기업은 AI 제품을 안전하게 및 자신감 있게 배포할 수 있습니다.

우리의 플랫폼은 여러 가지 주요 프로세스를 자동화합니다:

• 평가: 우리는 실제 시나리오에서 모델 성능을 평가하며, 중요한 기준을 중점으로 합니다. 이러한 기준에는 환각 및 안전이 포함됩니다.
• 테스트 생성: 우리는 모델의 능력을 철저하게 평가하기 위해 적대적 테스트 세트를 자동으로 생성합니다.
• 벤치마크: 우리는 다른 모델을 비교하여 고객이 특정 사용 사례에 가장 적합한 모델을 식별하도록 도와줍니다.

기업은 빈번한 평가를 통해 발전하는 모델, 데이터 및 사용자 요구 사항에 적응하도록 선호합니다. 우리의 플랫폼은 신뢰할 수 있는 제3자 평가자로서 작동하며, AI 분야의 Moody’s와 같은 객관적인 관점을 제공합니다. 우리의 초기 파트너에는 MongoDB (MDB ), Databricks, Cohere 및 Nomic AI와 같은 주요 AI 회사들이 포함되며, 전통적인 산업의 여러 고위 프로필 회사와 함께 우리의 플랫폼을 시연하기 위해 논의 중입니다.

Patronus AI의 Lynx 모델이 LLM 출력에서 어떤 종류의 오류 또는 “환각”을 감지하는지 설명해 줄 수 있나요? 또한, 이러한 문제를 어떻게 해결하는지 설명해 주시겠습니까?

LLM은 매우 강력한 도구이지만, 확률적 특성으로 인해 “환각” 또는 오류를 발생시킬 수 있습니다. 이러한 환각은 특히 높은 위험을 가진 비즈니스 환경에서 정확성이 중요한 경우에 문제가 됩니다.

전통적으로, 비즈니스는 LLM 출력을 평가하기 위해 수동 검사를 의존해 왔습니다. 이는 시간이 걸리고 확장할 수 없는 프로세스입니다. 이를 간소화하기 위해, Patronus AI는 Lynx라는 특수 모델을 개발했습니다. Lynx는 우리의 플랫폼의 능력을 향상시키는 데 도움이 되며, 자동으로 환각을 감지합니다. Lynx는 우리의 플랫폼 내에서 통합되어 있으며, 포괄적인 테스트 범위를 제공하며, 강력한 성능 보증을 제공합니다. Lynx는 비즈니스 운영에 상당한 영향을 미칠 수 있는 중요한 오류를 식별하는 데 중점을 둡니다. 이러한 오류에는 잘못된 재무 계산 또는 법적 문서 검토의 오류가 포함됩니다.

Lynx를 사용하여 우리는 수동 평가의 한계를 완화하고, 자동으로 적대적 테스트를 통해 다양한 실패 시나리오를 탐색할 수 있습니다. 이를 통해 인간 평가자가 놓칠 수 있는 문제를 감지할 수 있으며, 비즈니스는 LLM을 중요하다고 간주하는 응용 프로그램에 배포할 때 더 높은 신뢰성과 자신감을 가질 수 있습니다.

FinanceBench는 금융 질문에 대한 LLM 성능을 평가하기 위한 최초의 벤치마크입니다. 금융 부문의 어떤 도전이 FinanceBench의 개발을 촉발했나요?

FinanceBench는 금융 부문의 고유한 도전에 대한 대응으로 개발되었습니다. 금융 응용 프로그램은 높은 수준의 정확성과 신뢰성이 필요하며, 오류는 상당한 재정 손실이나 규제 문제를 초래할 수 있습니다.尽管 LLM이 금융 데이터를 처리하는 데 약속을 보여주었지만, 우리의 연구는 GPT-4 및 Llama 2와 같은 최첨단 모델이 금융 질문에서 어려움을 겪고, 정확한 정보를 검색하지 못하는 경우가 많다는 것을 보여주었습니다.

FinanceBench는 금융 상황에서 LLM 성능을 평가하기 위한 포괄적인 벤치마크로 개발되었습니다. 이는 공개적으로 उपलब한 금융 문서를 기반으로 하는 10,000개의 질문과 답변 쌍으로 구성되며, 숫자적 추론, 정보 검색, 논리적 추론 및 세계 지식을 포함하는 분야를 다룹니다. 이러한 벤치마크를 제공함으로써, 우리는 기업이 현재 모델의 한계를 더 잘 이해하고, 개선해야 할 영역을 식별하도록 도울 수 있습니다.

당신의 연구는 주요 AI 모델, 특히 OpenAI의 GPT-4가 인기 있는 책의 일부를 프롬프트로 사용할 때 상당한 속도로 저작권이 있는 콘텐츠를 생성한다는 것을 강조했습니다. 이러한 발견의 장기적인 의미는 무엇이며, 특히 AI와 저작권법에 대한 현재 논쟁을 고려할 때, AI 개발과 더 широк은 기술 산업에 어떤 영향을 미칠까요?

AI 모델이 저작권이 있는 콘텐츠를 생성하는 문제는 AI 산업에서 복잡하고 긴급한 문제입니다. 우리의 연구는 GPT-4와 같은 모델이 인기 있는 책의 일부를 프롬프트로 사용할 때 저작권이 있는 콘텐츠를 상당한 속도로 생성한다는 것을 보여주었습니다. 이는 지적 재산권과 AI 생성 콘텐츠의 법적 의미에 대한 중요한 질문을 제기합니다.

장기적으로, 이러한 발견은 AI와 저작권에 대한 더 명확한 지침과 규정의 필요성을 강조합니다. 산업은 지적 재산권을 존중하면서 창의적 능력을 유지하는 AI 모델을 개발하기 위해 노력해야 합니다. 이는 훈련 데이터셋을 저작권이 있는 자료가 없는지 확인하거나, 저작권이 있는 콘텐츠를 검색하고 방지하는 메커니즘을 구현하는 것을 포함할 수 있습니다.

당신의 연구는 주요 AI 모델이 저작권이 있는 콘텐츠를 생성하는 속도가 경고할 정도로 높다는 것을 보여주었습니다. 이러한 우려를 해결하기 위해 AI 개발자와 산업은 어떤 단계를 취해야 합니까? 또한, 이러한 발견의 빛에서 Patronus AI는 더 책임감 있게 법적 규정을 준수하는 AI 모델을 만들기 위해 어떻게 기여할 수 있습니까?

AI 모델이 저작권이 있는 콘텐츠를 생성하는 문제를 해결하기 위해, AI 개발자와 산업은 다각적인 접근 방식을 취해야 합니다. 이는 다음과 같은 것을 포함합니다:

• 데이터 선택 개선: 훈련 데이터셋을 주의 깊게 큐레이션하여 저작권이 있는 자료가 없는지 확인합니다. 이는 적절한 라이선스가 얻어지지 않은 경우에 특히 중요합니다.
• 검출 메커니즘 개발: 사용자가 저작권이 있는 콘텐츠를 생성할 때 이를 식별하고 수정 또는 제거할 수 있는 시스템을 구현합니다.
• 산업 표준 설정: 지적 재산권을 존중하는 AI 개발을 위한 지침과 표준을 만들기 위해 법률 전문가와 산업 이해관계자와 협력합니다.

Patronus AI에서는 평가 및 규정 준수를 중점으로 하여 책임감 있는 AI 개발에 기여하고 있습니다. 우리의 플랫폼에는 EnterprisePII와 같은 제품이 포함되어 있으며, 이는 비즈니스가 AI 출력에서 잠재적인 개인 정보 보호 문제를 감지하고 관리하는 데 도움이 됩니다. 이러한 솔루션을 제공함으로써, 우리는 비즈니스가 AI를 책임감 있게 사용하고 법적 위험을 최소화하는 데 도움을 줄 수 있습니다.

EnterprisePII 및 FinanceBench와 같은 도구를 사용하여, 특히 금융 및 개인 데이터와 같은 민감한 분야에서 AI를 배포하는 방식에 어떤 변화가 예상되나요?

이러한 도구는 비즈니스가 AI 출력을 더 효과적으로 평가하고 관리할 수 있도록 해줍니다. 특히 금융 및 개인 데이터와 같은 민감한 분야에서 더 높은 정확성과 신뢰성을 제공합니다.

금융 부문에서, FinanceBench는 기업이 LLM 성능을 높은 수준의 정밀도로 평가할 수 있도록 해줍니다. 이는 기업이 데이터 분석 및 의사 결정과 같은 작업을 수행할 때 AI를 더 자신감 있게 사용할 수 있도록 합니다.

이러한 도구는 또한 비즈니스가 AI를 더 안전하게 사용할 수 있도록 도와줍니다. 잠재적인 위험을 식별하고, 이를 완화하는 솔루션을 제공함으로써, 비즈니스는 AI를 더 책임감 있게 사용할 수 있습니다.

Patronus AI는 기업이 이러한 도구를 기존의 LLM 배포 및 워크플로에 통합하는 데 어떻게 협력합니까?

Patronus AI에서는 AI 채택에 대한 무제한 통합의 중요성을 이해합니다. 우리는 고객과 긴밀히 협력하여 우리의 도구가 기존의 LLM 배포 및 워크플로에 쉽게 통합될 수 있도록 합니다. 이는 다음을 포함합니다:

• 사용자 정의 통합 계획: 우리는 각 고객과 협력하여 그들의 특정需求과 목표에 맞는 맞춤형 통합 계획을 개발합니다.
• 포괄적인 지원: 우리는 통합 과정 전반에 걸쳐 지속적인 지원을 제공하며, 원활한 전환을 보장하기 위해 지침과 지원을 제공합니다.
• 교육 및 훈련: 우리는 고객이 우리의 도구를 완전히 이해하고 사용할 수 있도록 교육 세션과 교육 자료를 제공합니다. 이를 통해 고객은 AI 투자에서 최대한의 이점을 얻을 수 있습니다.

AI 출력이 안전하고 정확하며 다양한 법률을 준수하는 것을 보장하는 복잡성에 비추어, LLM 개발자와 이러한 모델을 사용하려는 기업에게 어떤 조언을 드리겠습니까?

우리는 협력과 지원을 중시합니다. 우리는 통합 과정을 가능한 한 간단하고 효율적으로 만들기 위해 노력합니다. 이를 통해 비즈니스는 우리의 AI 솔루션의 전체 잠재력을 해방할 수 있습니다.

AI 출력이 안전하고 정확하며 다양한 법률을 준수하는 것을 보장하는 복잡성은 상당한 도전을 제기합니다. LLM 개발자의 경우, 투명성과 책임성을 개발 과정 전반에 걸쳐 중시하는 것이 핵심입니다.

데이터의 품질은 매우 중요합니다. 개발자는 훈련 데이터셋이 잘 큐레이션되어 있고, 저작권이 있는 자료가 없는지 확인해야 합니다. 이는 잠재적인 법적 문제를 방지하는 데 도움이 되며, AI가 신뢰할 수 있는 출력을 생성하는 데에도 중요합니다. 또한, 편향성과 공정성에 대한 주의가 필요합니다. 편향성을 식별하고 완화하고, 다양한 대표적인 훈련 데이터를 개발함으로써, 개발자는 편향성을 줄이고, 모든 사용자에게 공정한 결과를 보장할 수 있습니다.

강력한 평가 절차는 필수적입니다. 철저한 테스트와 벤치마크를 사용하여 AI 모델의 성능과 신뢰성을 평가할 수 있습니다. 이는 모델이 특정 사용 사례의 요구 사항을 충족하는지 확인하는 데 도움이 됩니다. 또한, 윤리적 고려는 전면에 있어야 합니다. 윤리적 지침과 프레임워크에 대한 참여는 AI 시스템이 책임감 있게 개발되고, 사회적 가치와 일치하는 것을 보장합니다.

기업이 LLM을 사용하려는 경우, AI의 능력을 이해하는 것이 중요합니다. 현실적인 기대를 설정하고, 기업 내에서 AI를 효과적으로 사용하는지 확인하는 것이 중요합니다. 무제한한 통합과 지원도 중요합니다. 신뢰할 수 있는 파트너와 협력하여, 기업은 AI 솔루션을 기존 워크플로에 통합하고, 팀이 AI를 효과적으로 사용하도록 교육 및 지원할 수 있습니다.

규정 준수와 보안은 우선시되어야 합니다. 관련 규정과 데이터 보호 법률을 준수하는 데 중점을 두어야 합니다. 도구 seperti EnterprisePII는 잠재적인 위험을 모니터링하고 관리하는 데 도움이 될 수 있습니다. 또한, AI 성능의 지속적인 모니터링과 정기적인 평가가 필요합니다. 이를 통해 정확성과 신뢰성을 유지하고, 필요에 따라 조정을 할 수 있습니다.

이번 인터뷰에 감사드립니다. 더 많은 정보를 원하는 독자는 Patronus AI를 방문하시기 바랍니다.