์ธํฐ๋ทฐ
Wilson Pang, Real World AI์ ๊ณต๋ ์ ์ – ์ธํฐ๋ทฐ ์๋ฆฌ์ฆ
Wilson Pang는 2018년 11월 Appen의 CTO로 입사하여 회사의 제품과 기술을 담당합니다. Wilson는 소프트웨어 엔지니어링과 데이터 과학 분야에서 19년 이상의 경험을 가지고 있습니다. Appen에 입사하기 전에 Wilson는 중국에서 두 번째로 큰 온라인 여행사 회사인 Ctrip의 최고 데이터 책임자였으며, 데이터 엔지니어, 분석가, 데이터 제품 매니저, 과학자를 이끌어 사용자 경험을 개선하고 운영 효율성을 높여 사업을 성장시켰습니다. 그 전에 그는 캘리포니아의 eBay에서 엔지니어링 선임 디렉터로 다양한 도메인에서 리더십을 제공했으며, 데이터 서비스 및 솔루션, 검색 과학, 마케팅 기술, 청구 시스템 등을 포함했습니다. 그는 eBay 이전에 IBM에서 아키텍트로 일하며 다양한 고객을 위한 기술 솔루션을 구축했습니다. Wilson는 중국의 浙江大学에서 전기 공학 분야에서 석사와 학사 학위를 취득했습니다.
우리는 그의 새로운 책에 대해 논의합니다: 실제 세계의 AI: 책임 있는 기계 학습을 위한 실용 가이드
당신은 eBay의 검색 과학 팀을 이끌었을 때 기계 학습에 대한 첫 번째 교훈은 무엇인가를 측정하는 데 중요하다는 것을 이해하는 것이었다고 설명합니다. 예를 들어 “세션당 구매” 메트릭은 항목의 금전적 가치를 고려하지 못하는 경우가 있습니다. 회사들은 이러한 문제를 피하기 위해 측정해야 하는 메트릭스를 어떻게 가장 잘 이해할 수 있습니까?
AI 모델에 대한 팀의 목표에서 시작하세요 – 우리의 경우, 기계 학습으로 더 많은 수익을 창출하고 싶었습니다. 목표에 메트릭스를 연결할 때, 모델을 출시하고 사람들이 모델과 상호 작용하기 시작했을 때 메트릭스가 어떤 메커니즘을 생성할지 생각하세요. 또한 가정에 주목하세요. 우리의 경우, 모델이 수익을 최적화할 것이라고 가정했지만, 세션당 구매 수는 그에 해당하지 않았습니다. 모델은 높은 수의 저가치 판매를 최적화했기 때문이며, 최종적으로 우리는 더 많은 돈을 벌지 못했습니다. 한旦 그것을 깨달았을 때, 우리는 메트릭스를 변경하고 모델을 올바른 방향으로 지시할 수 있었습니다. 따라서 세부 메트릭스를 결정하는 것과 가정에 주목하는 것이 프로젝트의 성공에 중요합니다.
이 책을 연구하고 작성하는 과정에서 개인적으로 무엇을 배웠습니까?
우리는 다양한 회사와 산업에서 해결할 수 있는 많은 문제가 있으며, 사용 사례는 매우 다를 수 있습니다. AI 솔루션은 다를 수 있으며, 그 솔루션을 훈련시키는 데 사용되는 데이터도 다를 수 있습니다. 그러나 이러한 모든 차이에도 불구하고, 사람들은 AI 여정을 동안 犯하는 실수는 khá 유사합니다. 이러한 실수는 모든 종류의 회사와 산업에서 반복적으로 발생합니다.
우리는 AI 프로젝트를 구현할 때 공통된 최선의 관행을 공유하여 사람들이 이러한 실수를 피하고 책임 있는 AI를 배포하는 데 자신감을 얻을 수 있도록 도와주고자 합니다.
이 책을 읽는 사람들이 얻을 수 있는 가장 중요한 교훈은 무엇입니까?
우리는 강력하게 믿고 있습니다. 기계 학습 기술의 사고 깊은, 책임 있는, 윤리적인 사용은 더 정의된, 공정하고, 包容的な 세계를 만들 수 있습니다. 기계 학습 기술은 비즈니스 세계를 다시塑造할 것입니다. 그러나 그것은 어렵지 않습니다. 팀이 따라야 할 검증된 방법과 프로세스가 있으며, 프로덕션에 배포하는 데 자신감을 가질 수 있습니다.
또한 중요한 교훈은, 비즈니스 소유자(제품 매니저와 같은)와 기술적인 측면의 팀 구성원(엔지니어 및 데이터 과학자와 같은)이 공통의 언어를 사용해야 한다는 것입니다. AI를 성공적으로 배포하려면, 리더는 비즈니스 전문가와 C-레벨에게 기술 구현자와 효율적으로 대화할 수 있는 충분한 컨텍스트를 제공하여 팀 간의 간격을 메워야 합니다.
많은 사람들이 처음에 AI를 생각할 때 코드를 생각합니다. 이 책의 주요 교훈 중 하나는 데이터가 AI 모델의 성공에 중요하다는 것입니다. 데이터를 수집하는 것에서부터 레이블을 지정하는 것, 저장하는 것까지 모든 단계가 모델의 성공에 영향을 미칩니다. 가장 성공적인 AI 배포는 데이터에 높은 강조를 두고 그 측면을 지속적으로 개선하는 것입니다.
모든 실제 세계의 AI는 크로스 기능적인 팀과 혁신적인 정신이 필요합니다.
책에서 논의된 바와 같이, AI 모델의 정확도가 충분히 높은지 여부를 결정하는 것은 무엇입니까?
그것은 사용 사례와 위험 감수성에 따라 다릅니다. AI를 개발하는 팀은 항상 테스트 단계를 거쳐야 하며, 조직과 이해관계자에게 적합한 정확도 수준과 임계값을 결정해야 합니다. 생명 또는 사망과 관련된 사용 사례(예: 판결 소프트웨어, 자율 주행 자동차, 의료 사용 사례)에서는 기준이 매우 높으며, 모델이 잘못된 경우에 대한 대책을 마련해야 합니다. 더 많은 오류를 허용하는 사용 사례(예: 콘텐츠, 검색 또는 광고 관련성)에서는 사용자 피드백을 통해 모델을 계속 조정할 수 있습니다. 물론, 여기에도 불법 또는 비도덕적인 자료가 사용자에게 표시될 수 있는 높은 위험의 사용 사례가 있으므로, 보호 장치와 피드백 메커니즘을 마련해야 합니다.
프로젝트에 대한 성공을 정의하는 것이 중요한 이유는 무엇입니까?
비즈니스 문제를 시작하는 것과 성공을 정의하는 것은 동등하게 중요하며, 두 가지가 함께 진행됩니다. 책에 있는 자동차 딜러가 이미지에 레이블을 붙이는 AI를 사용하는 예를 들어, 그들은 비즈니스 문제를 해결하기 위해 무엇인지 정의하지 않았기 때문에 성공이 무엇인지 정의하지 않았습니다. 성공은 여러 가지 일 수 있었으며, 팀이나 기계 학습 모델이 문제를 해결하기 어렵게 만들었습니다. 만약 họ가 모든 차에 덴트를 레이블링하여 수리해야 하는 차량 목록을 만들기 위해 성공을 정의했다면, 80%의 차량 덴트를 정확하게 레이블링하는 것이 성공이었다면, 85%를 정확하게 레이블링했을 때 팀은 그것을 성공이라고 불렀을 것입니다. 그러나 성공이 비즈니스 문제에 연결되지 않고, 직접적인 비즈니스 영향과 연결되지 않는다면, 프로젝트를 평가하기 어렵습니다. 여기서 비즈니스 문제는 더 복잡했으며, 덴트 레이블링은 그 일부였습니다. 그들은 성공을 정의함으로써 시간/금액을 절약하거나 수리 과정을 최적화하는 것을 더 잘할 수 있었을 것입니다.
생산 배포에서 발생할 모든 사용 사례를 커버하는 훈련 데이터 예제가 중요합니까?
모델을 모든 사용 사례에 대해 훈련시키는 것이 중요하여 편향을 피할 수 있습니다. 그러나生产 데이터와 훈련 데이터를 모두 이해하여 AI를 생산에서遭遇하는 것에 대해 훈련시키는 것이 중요합니다. 다양한 사용 사례를 가진 대규모 다이버스 그룹에서来的 훈련 데이터에 액세스하는 것이 모델의 성공에 중요합니다. 예를 들어, 업로드된 이미지에서 사람의 애완동물을 인식하는 모델을 훈련시키는 경우, 모든 종류의 애완동물(개, 고양이, 새, 작은 포유류, 파충류 등)에 대해 훈련해야 합니다. 모델이 개, 고양이, 새만으로 훈련된 경우, 누군가가 기니피그의 이미지를 업로드하면 모델은 그것을 식별할 수 없습니다. 이것은 매우 간단한 예이지만, 모델의 성공을 위해 가능한 많은 사용 사례에 대해 훈련하는 것이 중요함을 보여줍니다.
책에서 논의된 바와 같이, 좋은 데이터 하이기엔習慣을 위에서 아래로 개발하는 필요성에 대해 설명합니다. 이러한習慣을养うための 일반적인 첫 번째 단계는 무엇입니까?
좋은 데이터 하이기엔習慣은 내부 데이터의 사용성을 높이고 ML 사용 사례에 준비시킵니다.整个 회사에서 데이터셋을 조직하고 추적하는 데 능숙해져야 합니다. 이를 달성하는 확실한 방법은 이것을 비즈니스 요구사항으로 만들고, 구현을 추적하여, 거의 사용자 지정 작업이 보고서로 끝나지 않도록 하며, 팀이 데이터 파이프라인을 중앙 저장소로 유도하고,明確한 온톨로지를 갖추도록 하는 것입니다. 또 다른 좋은 관행은 데이터가 수집되고, 데이터베이스에 저장되기 전에 어떤 일이 발생했는지에 대한 기록을 유지하고, 사용되지 않거나 구식 데이터를 정기적으로 정리하는 프로세스를 설정하는 것입니다.
이 훌륭한 인터뷰에 감사드립니다. 이 책에 대해 더 알고 싶은 독자들에게는 실제 세계의 AI: 책임 있는 기계 학습을 위한 실용 가이드를 읽을 것을 추천합니다.
