AI-First Means Safety-First

새로운 자전거를 아이에게 사주면, 아이의 관심은 자전거에 집중되고, 함께 오는 헬멧에는 관심이 가지 않습니다. 하지만 부모들은 헬멧을 중요하게 생각합니다.

저는 많은 사람들이 오늘날 AI를 사용할 때 아이들과 같은 태도를 보인다고 생각합니다. 우리는 AI가 얼마나 멋지게 작동하는지, 얼마나 빠르게 작동하는지에 더 관심이 있습니다. 하지만 AI를 사용할 때 안전을 유지하는 방법에 대해서는 관심이 없습니다. 안타까운 일입니다. 왜냐하면 하나의 이점을 다른 하나 없이 얻을 수 없기 때문입니다.

간단히 말해, 안전을 먼저 계획하지 않고 AI를 적용하는 것은 단순히 위험한 것이 아닙니다. 그것은 절벽으로 향하는 직선 경로입니다.

AI 안전이란 무엇을 의미하는가?

AI 안전에는 여러 단계가 포함됩니다. 하지만 아마도 가장 중요한 요소는 언제 이러한 단계를 취하는 것입니다. 효과적으로 작동하려면 AI 안전은 설계에 의한 것이어야 합니다.

즉, 우리는 테스트 드라이브를 하기 전에 어떻게 피해를 방지할 수 있는지 고려합니다. 우리는 AI가 우리의 가치观과 사회적 기대에 따라 작동하고 결과를 생성하는 방법을 먼저 결정합니다. 나중에 끔찍한 결과가 나타나기 전에 말입니다.

AI 안전을 위한 설계에는 또한 안정적인 성능, 즉 예측 가능한 성능을 달성하는 방법을 생각하는 것이 포함됩니다. 또한 AI를 투명하게 만들어, AI가 내리는 결정이 이해 가능하고 감사 가능하며 편향되지 않도록 하는 것입니다.

하지만 그것은 또한 AI가 작동할 세계를 살펴보는 것을 포함합니다. 어떤 제도적 및 법적 안전 장치를 필요로 하는지, 특히 적용 가능한 정부 규정에 따라 무엇이 필요한지 살펴보는 것입니다. 그리고 사람 구성 요소를 강조할 수 없습니다. AI의 사용이 그것과 상호 작용하는 사람들에게 미치는 영향은 무엇일까요?

안전을 위한 설계는 우리의 모든 프로세스, 워크플로, 운영에 AI 안전을 통합하는 것을 의미합니다. 첫 번째 프롬프트를 입력하기 전에 말입니다.

위험은 우려를 초과한다

모두가 동의하는 것은 아닙니다. 일부 사람들은 “안전 우선”이라는 말을 듣고, “너무 조심스럽고 천천히 움직여서 뒤처지는 것”이라고 생각합니다. 물론, 그것이 안전 우선이 의미하는 바가 아닙니다. 그것은 혁신을 억제하거나 시장 출시를 늦추지 않습니다. 또한それは 영원히 확장되지 않는 파일럿의 끝없는 흐름을 의미하지 않습니다. 그 반대입니다.

그것은 AI에 안전을 설계하지 않는 위험을 이해하는 것을 의미합니다. 몇 가지를 고려해 보십시오.

• Deloitte의 금융 서비스 센터는 GenAI가 2027년까지 미국에서만 40억 달러의 사기 손실을 초래할 수 있다고 예측합니다. 2023年的 123억 달러에서 32%의 연간 복리입니다.
• 편향된 결정. 사례 문서는 편향된 데이터로 훈련된 AI로 인한 편향된 의료 치료를 기록합니다.
• 나쁨의 결정이 더 나쁨의 결정을 유발한다. 초기의 나쁨의 결정이 결함이 있는 AI에 의해 유발된 것보다 더 나쁨은, 연구에 따르면 이러한 결함이 있는 결정이 우리의 생각과 미래의 결정에 영향을 미칠 수 있습니다.
• 실제적인 결과. 나쁨의 의료 자문을 제공하는 AI는 치명적인 환자 결과를 초래했습니다. 법적 문제는 AI의 환상을 법적 근거로 인용한 결과로 발생했습니다. 그리고 소프트웨어 오류는 AI 보조가 잘못된 정보를 제공하여 회사 제품과 그 신뢰도, 그리고 광범위한 사용자 불만을 초래했습니다.

그리고 상황은 더 흥미로워질 것입니다.

자율적으로 작동하여 결정에 따라 행동할 수 있는 에이전트 AI의 등장과 신속한 채택은 AI 안전을 설계하는 중요성을 강조할 것입니다.

자율적으로 작동할 수 있는 에이전트 AI는 매우 유용할 수 있습니다. 여행에 대한 최適의 비행을 알려주는 대신, 에이전트가 비행을 예약할 수 있습니다. 제품을 반품하려면 회사의 에이전트 AI가 반품 정책과 반품 방법을 알려주는 대신, 전체 거래를 처리할 수 있습니다.

훌륭합니다. 에이전트가 비행을 상상하거나 금융 정보를 잘못 처리하지 않는 한, 그리고 회사의 반품 정책을 잘못 이해하고 유효한 반품을 거부하지 않는 한 말입니다.

현재의 AI 안전 위험이 쉽게 확대될 수 있는 방법을 볼 수 있습니다. 특히 에이전트 AI가 독자적으로 작동하여 결정하고 행동할 때, 그리고 에이전트가 개별적으로 작업을 처리하고 에이전트 간에 협력하여 작업을 수행할 때 말입니다.

그렇다면 어떻게 하면 혁신을 방해하지 않고 잠재적인 가치를 손상하지 않으면서 AI 안전을 설계할 수 있을까요?

설계에 의한 안전

임의의 안전 점검은 해결책이 아닙니다. 하지만 AI 구현의 모든 단계에 안전 실践을 통합하는 것입니다.

데이터에서 시작합니다. 데이터가 레이블이 지정되고, 필요한 경우 주석이 추가되고, 편향이 없고, 품질이 높은지 확인합니다. 특히 훈련 데이터의 경우입니다.

인간의 피드백으로 모델을 훈련합니다. 인간의 판단은 모델의 행동을 형성하는 데 필수적입니다. 강화 학습과 인간의 피드백(RLHF) 및 유사한 기술을 사용하여 주석이 모델의 출력을 평가하고 안내하여 안전하고 인간의 가치에 따라 일치하는 출력을 생성하도록 합니다.

그런 다음 모델을 출시하기 전에 스트레스 테스트를 수행합니다. 적대적인 프롬프트, 에지 케이스, 시도된 탈옥을 사용하여 안전하지 않은 행동을 유발하려고 하는 적대적인 팀은 취약성을暴露할 수 있습니다. 이러한 취약성을公共에 노출되기 전에 수정하면 안전을 유지할 수 있습니다.

이 테스트는 AI 모델이 강건하다는 것을 보장합니다. 하지만 새로운 위협과 모델에 필요한 조정이 나타날 수 있으므로 지속적으로 모델을 모니터링합니다.

유사하게, 사기 징조와 디지털 상호 작용을 모니터링하여 사기 징조를 감지합니다. 중요的是, AI-자동화와 숙련된 인간을 결합하여 대량의 데이터를 모니터링하고, 정확성을 보장하기 위해 검토를 수행합니다.

에이전트 AI를 적용하는 경우에는 더 많은 주의가 필요합니다. 기본 요구 사항은 에이전트가 자신의 한계를 알 수 있도록 훈련하는 것입니다. 불확실성, 윤리적 딜레마, 새로운 상황, 또는 특히 고위험의 결정에 직면했을 때, 도움을 요청하는 방법을 알 수 있도록 합니다.

또한 에이전트에 추적 가능성을 설계합니다. 특히 에이전트의 상호 작용이 검증된 사용자와만 발생하도록 하여 사기성 배우가 에이전트의 행동에 영향을 미치지 않도록 합니다.

에이전트가 효과적으로 작동하는 것처럼 보인다면, 에이전트를 풀어놓고 작동하게 하는 것이 유혹될 수 있습니다. 하지만 우리의 경험에 따르면, 에이전트와 에이전트가 수행하는 작업을 계속 모니터링하여 오류 또는 예상치 못한 행동을 감지해야 합니다. 자동화된 점검과 인간의 검토를 모두 사용합니다.

사실, AI 안전의 필수 요소는 정기적인 인간의 참여입니다. 인간은 의사 결정이나 행동에 중요하게 판단, 공감, 또는 모호성과 애매성이 포함된 경우에 의도적으로 참여해야 합니다.

다시 말하지만, 이러한 모든 실践은 사전에 AI 구현에 통합된 것입니다. 설계에 의한 것입니다. 이것은何か가 잘못되어 손상을 최소화하기 위해 급하게 생각해 낸 결과가 아닙니다.

효과가 있는가?

우리는 GenAI의 등장과 현재 에이전트 AI로의 빠른 추진을 통해 클라이언트와 함께 AI 안전 우선 철학과 “설계에 의한” 프레임워크를 적용해 왔습니다. 우리는 그것이 실제로 혁신을 가속화한다는 것을 발견했습니다.

에이전트 AI는 고객 지원 비용을 25-50% 절감시키고 고객 만족도를 높일 수 있습니다. 하지만 그것은 신뢰에 달려 있습니다.

인간이 AI를 사용해야 하며, AI와 상호 작용하는 고객은 신뢰를 훼손할 수 있는 단 하나의 상호 작용도 경험하지 않아야 합니다. 나쁨의 경험은 브랜드에 대한 신뢰를 파괴할 수 있습니다.

우리는 안전하지 않은 것을 신뢰하지 않습니다. 따라서 우리는 AI의 모든 계층에 안전을 구축하면, 우리는 확신을 가지고 출시할 수 있습니다. 그리고 확신을 가지고 확장할 수 있습니다.

AI 안전 우선 철학을 실천하는 것이 압도적일 수 있습니다. 하지만 당신은 혼자하지 않습니다. 많은 전문가가 도움을 주고, 파트너가 있습니다. 그들은 당신이 안전하게 AI의 가치를 활용할 수 있도록 도와줄 수 있습니다. 그리고 당신을 느리게 만들지 않습니다.

AI는 지금까지 흥미진진한 여정이었으며, 여정은 가속화되고 있습니다. 그리고 나는 헬멧을 쓰고 있기 때문에 기쁩니다.