Task-Aligned vs. Human-Aligned: 왜 AI의 다음 벤치마크는 우리여야 하는가

몇 달마다 새로운 모델이 등장해 AI 순위표를 뒤흔듭니다. 스탠포드의 2026 AI Index Report에 따르면, 최전선 모델들은 인간의 마지막 시험(Humanity’s Last Exam)이라는 AI에게 특히 어렵게 설계된 벤치마크에서 1년 만에 약 30 퍼센트 포인트를 상승했습니다. 한때 수년이 걸리던 도약이 이제는 몇 달 안에 일어나고, 업계는 각 새로운 고득점을 AI가 점점 더 나아지고 있다는 증거로 여깁니다.

나는 진보를 부정하지 않는다. 이 시스템들은 설계된 목적을 수행하는 데 놀랍다. 하지만 나는 AI에 뛰어들기 전 거의 20년을 심리학에 종사했으며, 이 벤치마크들이 답하지 못하는 질문을 계속 떠올린다. 모델이 정확도 기반 순위표를 모두 장악한다 해도, 이를 사용하는 사람에게는 어떤 면에서 오히려 불리할 수 있다. AI가 무엇을, 누구를 위해 더 잘하게 되었는지에 대한 질문이다. AI가 사용자에게 미치는 영향을 측정하는 시험은 없으며, 이는 더 많은 관심을 받아야 한다.

두 가지 다른 정렬 방식

AI 산업은 정렬에 대해 끊임없이 이야기하지만, 대화는 보통 모델이 지시를 정확히 따르는지 혹은 유해한 콘텐츠를 생성하는지에 초점을 맞춘다. 이것이 작업 정렬 AI이다. 이는 앞에 제시된 요청을 정확하고 효율적으로 수행하도록 최적화되어 있다.

하지만 정렬에 접근하고 사람을 보호하는 또 다른 방법이 있다. 인간 정렬 AI는 상호작용이 끝난 뒤 화면 반대편 사람에게 어떤 영향을 미쳤는지를 평가한다. 그 사람이 다음 어려운 결정을 스스로 더 잘 처리할 수 있게 되었는가, 아니면 시스템에 더 의존하게 되었는가? 작업 정렬이 결과물을 측정한다면, 인간 정렬은 그 후 효과를 측정한다.

이 두 목표가 항상 충돌하는 것은 아니다. 기술적 질문에 빠르고 정확한 답을 제공하는 모델은 두 목적을 모두 충족한다. 그러나 질문에 단일 정답이 없을 때 정렬 간 차이가 명확해진다.

리더보드가 보여주지 못하는 것

업계에서 가장 많이 인용되는 벤치마크는 경쟁 수학이나 대규모 코드 저장소 작업과 같은 항목을 테스트한다. 이는 가치 있는 기술이지만, 각 질문마다 정답이 존재하고 모델은 그 정답을 찾도록 설계되었다.

이는 객관적인 문제에 대해서는 잘 작동하지만, 사람들은 AI를 수학, 코딩, 기본 연구 외에도 다양한 용도로 사용한다. 그들은 자신의 진로에 대한 질문을 하거나 파트너와의 어려운 대화를 해결하려 한다. 이러한 질문을 모델이 잘 다루었는지를 평가하는 시험은 존재하지 않는다. 왜냐하면 정답을 검증할 객관적인 진실이 없기 때문이다. 관련 정보는 질문자 내부에 존재한다. 아무리 상세한 프롬프트라도 모델은 그 정보를 접근할 수 없다.

책임 있는 AI는 이러한 벤치마크가 남긴 공백을 일부 메우지만, 그 작업조차도 인간 사고를 향상시키기보다는 해를 줄이는 데 초점을 맞춘다. 현재의 안전 조치는 모델이 위험한 일을 돕는 것을 방지하는 데 중점을 두고 있다. 수천 건의 일상 대화가 모든 안전 검사를 통과한다 하더라도, 그것이 사람들로 하여금 스스로 판단을 신뢰하는 정도를 낮추는지 여부는 고려하지 않는다.

모델이 의존성을 만드는 방식

내가 테스트한 모든 모델은 포괄적이고 빠르며 자신감 있는 방향으로 편향된다. 이는 훈련 과정에서 보상을 받는 특성이며, 깨진 소프트웨어 빌드나 법적 제출 마감일을 처리할 때 올바른 직관이다. 그러나 결정이 개인의 가치관과 과거에 달려 있을 때, 같은 직관이 오히려 사용자를 해칠 수 있다.

연구는 이미 이것이 가설에 그치지 않음을 밝혀냈다. OpenAI와 MIT Media Lab은 ChatGPT의 정서적 사용에 관한 두 연구를 수행했으며, AI를 친구처럼 여기고 장기간 사용한 사람들은 고독감 증가와 감정적 의존 등 부정적인 결과를 더 많이 보고했다. 이 패턴은 MIT Technology Review에서도 다루었다. 별도로, 학술지 Societies에 2025년 발표된 연구는 AI 도구를 자주 사용할수록 비판적 사고 점수가 유의하게 낮아지는 상관관계를 발견했다. 이는 연구자들이 ‘인지 오프로드’라고 부르는 현상, 즉 정신적 과제를 스스로 해결하기보다 도구에 맡기는 경향에 의해 매개되었다.

이는 사람들이 AI 사용을 줄여야 한다는 뜻은 아니다. 오히려 시스템이 모든 종류의 질문을 동일한 방식으로 해결할 때, 주관적인 측면에서 무언가가 사라지고 있다는 점을 인식해야 한다. 현재 거의 아무도 그 손실을 추적하고 있지 않다.

직접적인 답변에 그 가치를 부여하기

작업 정렬 AI가 적합한 상황을 명확히 하고 싶다. 이 글의 목적은 모든 상황에 대해 회피하는 모델을 옹호하는 것이 아니다. 누군가 서버 오류나 세금 신고 마감일에 대해 물으면, 빠르고 직접적이며 권위 있는 답변이 도움이 된다. AI가 개방형 질문으로 답한다면 도움이 되지 않는다. 문제는 이 같은 직관을 이혼을 고민하는 상황에 적용할 때와 코드를 디버깅하는 상황에 적용할 때 차이가 나타난다.

우리가 대신 측정해야 할 것

산업이 인간 정렬 AI와 작업 정렬 AI 모두를 다루고자 한다면, 차세대 평가에서 정확도와 추론 깊이 외에 몇 가지 특성을 추가해야 한다.

절제. 사용자가 질문을 해결하는 것이 그들에게 도움이 되기보다 해가 될 순간을 인식하고, 그에 따라 답변을 자제하는 능력.

조정된 질문. 문제가 주관적이거나 누군가의 정체성·가치와 연관될 때, 말하기보다 묻는 방식.

상황 파악. 직접적이고 포괄적인 답변이 필요한 요청과, 사용자가 스스로 고민할 여지를 필요로 하는 요청을 구분하는 능력.

Albert Bandura의 수십 년 된 자기 효능감 연구에 따르면, 사람들은 타인이 문제를 해결해 주는 것이 아니라 스스로 숙달 경험을 통해 자신감을 쌓는다. 이 원칙은 AI보다 반세기 앞선 것이며, 기술을 설계하고 평가하는 방식에 반영되어야 한다.

다음에 진보가 의미하는 것

이것이 기술적 진보를 늦추자는 주장은 아니다. 나는 코딩과 추론 능력 향상을 환영한다. 그러나 작업 수행만을 기준으로 만든 점수표는 AI가 더 똑똑해지고 있음을 알려줄 뿐, 이를 사용하는 사람들이 스스로 사고하는 능력이 향상되고 있는지는 전혀 알려주지 않는다.

나는 그런 변화가 일어나길 바란다. 이러한 시스템이 더 능력 있게 될수록, 이를 사용하는 사람들도 더 능력 있어져야 한다. 우리는 AI가 시험에서 우리보다 뛰어날 수 있음을 입증했다. 다음 시험은 대화가 끝난 뒤에도 우리가 더 나은 사고를 할 수 있도록 도와줄 수 있는지를 평가해야 한다.