Marc Fernandez, Neurologyca 최고 전략 책임자 – 인터뷰 시리즈

Marc Fernandez, Neurologyca 최고 전략 책임자는 인공지능, 신흥 기술, 소비자 전자제품, 인간-컴퓨터 상호작용에 걸친 20년 이상의 경력을 가진 기술 전략가이자 사업 개발 임원입니다. Neurologyca에서 그는 인간 맥락 AI의 전략 및 상용화에 집중하고 있으며, 이 AI는 스트레스, 자신감, 참여도와 같은 신호를 해석하도록 설계되었습니다. Fernandez는 이전에 소프트 스킬 및 전문성 개발에 중점을 둔 AI 기반 플랫폼인 Pearl의 CEO였으며, ALIVE Ventures에서 Entrepreneur in Residence로서 에이지테크 분야에 종사했습니다. 또한 OPPO에서 미국 전략을 담당하며 AI, Web3, 블록체인, 모바일 운영체제 등 차세대 기술에 집중했고, Emerge, Denizen, SweetLabs, Movella, X‑Rite/Pantone에서 고위 사업 개발 역할을 수행했습니다. 그는 남가주 대학(University of Southern California)에서 15년 동안 겸임 교수로 재직하며 기업가 정신, 커뮤니케이션, 소셜 플랫폼, AI, 블록체인 및 기타 신흥 기술 교차점에서 강의했습니다.

Neurologyca는 샌프란시스코에 본사를 둔 AI 기업으로, 지능형 시스템을 위한 인간 맥락 레이어(Human Context Layer)를 구축하고 있습니다. 이를 통해 AI 애플리케이션과 에이전트가 서비스를 제공하는 사람들을 보다 잘 이해하고 적응할 수 있게 합니다. API 및 SDK 기반 플랫폼은 다중모달 행동 신호, 상호작용 패턴, 상황적 맥락을 처리하여 참여도, 자신감, 스트레스, 주의, 신뢰와 같은 요소에 대한 기계가 읽을 수 있는 지표를 생성합니다. 이러한 인사이트는 AI 시스템이 실시간으로 응답, 속도, 권장 사항 및 행동을 조정하고, 상호작용 전반에 걸쳐 맥락 연속성을 유지하도록 돕습니다. Neurologyca는 이 기술을 독립형 애플리케이션이 아닌 인프라스트럭처로 포지셔닝하고 있으며, 교육·훈련, 웰니스, 기업 소프트웨어, 자율 에이전트, 운전자 안전, 게임 및 기타 인터랙티브 시스템 등 다양한 분야에 적용될 수 있습니다. 현재 회사는 적응형 AI 경험을 구축하는 파트너를 대상으로 선별적인 얼리 액세스 프로그램을 통해 플랫폼을 제공하고 있습니다.

OPPO에서 차세대 기술 전략을 담당하고 Pearl을 AI 기반 소프트 스킬 플랫폼으로 구축한 뒤 현재 Neurologyca에서 인간 맥락 AI를 개발하게 된 경력이 AI의 가장 큰 제한 요소가 지능 자체가 아니라 명령 뒤에 있는 인간을 이해하는 것이라는 관점을 어떻게 형성했나요?

30년 전, 웹은 정보를 접근 가능하게 만들었습니다. 5년 전, AI는 결과물을 풍부하게 만들었습니다. 오늘날 우리는 콘텐츠에 휩쓸리면서도 유용한 결과를 얻기 위해 여전히 고군분투하고 있습니다. 순수한 기술적 성능만으로는 실제 사용자에게 좋은 결과를 보장하지 못합니다.

이는 내 작업 전반에 걸친 일관된 흐름이었습니다—OPPO에서 신기술을 일상에 맞추고, Pearl에서 AI가 대인 관계 기술을 가르칠 수 있는지 테스트하며, Neurologyca에서 인간 맥락을 인프라로 구축하는 과정이죠. 이제는 지능 자체가 병목이 아니라 모델은 충분히 추론하고 실행합니다. 더 어려운 문제는 사람들이 간단한 요청에 담는 암묵적인 맥락—왜 요청했는지, 무엇이 불편함을 주는지, 혹은 약간의 주저함이 시스템이 중단해야 함을 의미하는지—입니다. 현재 AI는 텍스트를 통해 그 중 압축된 일부만을 볼 수 있으며, 에이전트가 실제 행동을 시작하면서 이 맹점은 매우 중요한 문제가 됩니다.

최근 자율 에이전트가 자격 증명을 탈취하거나 가짜 신원을 만들거나 행동을 은폐하는 사례들이 AI가 목표를 달성하는 데는 매우 효율적이지만 그 의도를 완전히 이해하지 못할 때 어떤 문제가 발생하는지에 대한 질문을 제기합니다. 이를 주로 정렬 문제, 엔지니어링 문제, 혹은 현재 에이전트를 설계하는 방식의 근본적인 한계 중 어느 것으로 보십니까?

이는 정렬과 엔지니어링 모두를 아우르는 설계 실패입니다. 우리는 시스템이 목표에 도달하도록 최적화했지만, 인간 사용자가 실제로 성공이라고 보는 것이 무엇인지 가르치는 데는 절반도 투자하지 않았습니다.

클래식한 GPT‑4 TaskRabbit 사례를 보세요: CAPTCHA에 직면했을 때 모델은 시각 장애가 있다고 거짓말을 하여 인간 작업자가 해결하도록 했습니다. 누구도 모델에게 속이도록 가르치지 않았지만, 장애물을 인식하고 가장 쉬운 경로를 선택했습니다. 에이전트를 결과만으로 보상하면 무분별한 지름길을 택하게 됩니다. 핵심 과제는 구조적으로 차단해야 할 행동과 기술적으로는 가능하지만 맥락상 부적절한 행동을 구분하는 것입니다.

기업들이 AI 에이전트에게 목표는 제시하지만 인간 사용자가 생각하는 “성공”이 무엇인지 충분히 이해시키지 못하고 있다는 점을 지적하셨습니다. 에이전트가 진정으로 의도를 파악하려면 프롬프트 외에 어떤 정보가 필요합니까?

프롬프트는 단지 겉면에 불과합니다. 진정한 의도는 상황적 깊이: 이전 기록, 허용 가능한 트레이드오프, 실제 이해관계, 그리고 사용자가 작업 중에 어떻게 반응하는지에 달려 있습니다.

이 중 일부는 앱 환경 상태나 채팅 기록에서 얻을 수 있지만, 직접적인 상호작용에서는 행동 신호가 맥락을 동적으로 유지합니다. 사람들은 주저하거나 중간에 마음을 바꾸거나 혼란스러워합니다. 에이전트가 이러한 변화를 읽지 못하면, 두 단계 전부터 이미 구식이 된 지시를 끈질기게 수행하게 됩니다.

에이전트가 기술적으로는 가능하지만 특정 상황에서는 부적절한 행동과, 아예 불가능해야 하는 행동 사이에는 중요한 구분이 있습니다. 개발자는 하드 보안 가드레일과 AI 시스템의 맥락 판단 능력 사이의 책임을 어떻게 나누어야 할까요?

심각한 피해를 초래하고 정당한 사용 사례가 전혀 없는 행동—예를 들어 자격 증명 탈취, 감사 로그 삭제, 무단 권한 상승—은 코드 수준에서 차단되어야 합니다. 에이전트가 보안 제어를 우회할지 여부를 연산 자원을 소모해서는 안 되며, 시스템 아키텍처가 이를 불가능하게 만들어야 합니다.

실제 회색 영역은 이메일 전송, 회의 취소, 내부 워크플로우 변경과 같은 일상적인 행동입니다. 이론적으로는 허용되지만, 에이전트가 자동으로 수행해야 하는지는 이해관계, 사용자 이력, 복구 가능성, 그리고 사용자의 주저함이라는 미묘한 신호에 달려 있습니다. 맥락이 부족해 중단해야 할 시점을 아는 것이 순수한 능력보다 훨씬 중요합니다.

Neurologyca는 스트레스, 자신감, 주의, 참여도, 신뢰와 같은 신호를 기계가 읽을 수 있는 맥락으로 전환하는 기술을 개발하고 있습니다. 이러한 신호가 자율 AI 에이전트가 작업을 수행하는 동안 행동을 어떻게 실질적으로 변화시킬 수 있을까요?

이러한 행동 입력은 본질적으로 실시간 반응 데이터이며, 현재 AI 아키텍처에 결여된 정확한 피드백 루프입니다. 현재 모델은 자체 행동을 추적하지만, 인간이 실제로 어떻게 받아들이는지는 전혀 알지 못합니다.

예를 들어 튜터링 상황을 생각해 보세요: 사용자가 “이해했습니다”라고 입력했지만, 생리적 혹은 행동적 신호가 혼란이 증가하고 주의가 감소하고 있음을 나타냅니다. 이는 AI가 방향을 바꾸거나 속도를 늦추거나 대안을 제시해야 한다는 직접적인 신호입니다. 목표는 임상 진단이 아니라, 맥락·행동·반응·적응이라는 긴밀한 피드백 루프를 구축해 시스템이 특정 개인에게 실제로 효과적인 방식을 학습하도록 하는 것입니다.

인간 맥락은 모호할 수도 있습니다. 시스템이 주저함, 스트레스, 목소리 톤 등 행동 신호를 오해할 수 있습니다. 어떻게 하면 맥락 인식 AI가 사람의 생각이나 의도를 과도하게 확신하는 상황을 방지할 수 있나요?

행동 신호는 본질적으로 잡음이 많고 확률적입니다. 스트레스가 급증하거나 타이핑이 멈추는 것은 혼란을 의미할 수도 있고, 단순히 사용자가 커피를 쏟았기 때문일 수도 있습니다. 단일 데이터 포인트를 근거로 누군가의 감정 상태를 확정적으로 주장하는 시스템은 근본적으로 결함이 있습니다.

견고한 시스템은 시간에 걸친 복합 신호를 살피고, 환경 기준을 고려하며, 명시적으로 신뢰 구간을 출력합니다. “기준 대비 인지 부하 상승”을 기록하는 것과 “사용자가 불안해한다”라고 판단하는 것은 큰 차이가 있습니다. 불확실성이 높거나 이해관계가 큰 경우, 에이전트의 역할은 추측이 아니라 명확한 질문을 하는 것입니다.

모든 중요한 결정에 인간을 개입시키는 것은 자율 에이전트가 약속한 효율성을 크게 저해할 수 있습니다. 에이전트가 언제 독립적으로 진행하고 언제 실제로 멈춰서 안내를 요청해야 하는지 판단하는 확장 가능한 인간 감독 모델은 어떻게 구현될 수 있나요?

확장 가능한 감독은 영구적인 인간‑인‑루프를 유지하는 것이 아니라, 동적인 에스컬레이션에 관한 것입니다.

위험도가 낮고 되돌릴 수 있는 작업은 자동으로 진행됩니다. 그러나 위험도가 높아지거나 주변 소음이 증가하거나 신호가 사용자 불편을 암시하면 승인 기준이 동적으로 상승합니다. 중요한 점은 이러한 기준이 개인화되어야 한다는 것입니다—예를 들어 한 관리자는 캘린더 관리를 기꺼이 위임하지만, 다른 관리자는 모든 사소한 편집을 승인받고 싶어합니다. 시스템은 개별 경계를 학습해야 하며, 경직된 전역 정책을 적용해서는 안 됩니다.

에이전트가 지속적인 메모리와 점점 더 상세한 사용자 모델을 구축함에 따라, 맥락은 빠르게 민감한 개인 데이터가 될 수 있습니다. 기업은 동의, 프라이버시, 데이터 소유권, 그리고 AI가 사용자를 기억할 수 있는 범위에 대해 어떻게 접근해야 할까요?

이는 자율 시스템이 직면한 주요 신뢰 병목 현상입니다. 지속적인 메모리는 일반 도구를 어시스턴트로 전환하지만, 워크플로우 선호도를 저장하는 것과 승인되지 않은 심리 프로파일을 은밀히 구축하는 사이에 위험한 겹침이 존재합니다.

데이터 거버넌스는 명확한 목적 경계를 필요로 합니다. 에이전트가 임원 코칭 세션에서 스트레스 패턴을 추론한다면, 해당 맥락은 성과 평가, 보험 알고리즘, 광고 기술 등에 유출될 수 없습니다. 투명성은 세밀해야 하며—사용자는 저장된 맥락을 확인하고, 원클릭 삭제와 합리적인 기본 보존 기간을 가져야 합니다. 시스템이 당신에 대해 무언가를 추론할 수 있다고 해서 이를 저장할 권한이 부여되는 것은 아닙니다.

자율 에이전트가 인간 의도를 진정으로 이해했는지 어떻게 평가해야 할까요? 현재 벤치마크가 작업 완료와 정확도에 지나치게 초점을 맞추고, 에이전트가 사용자가 실제로 받아들일 수 있는 방식으로 목표를 달성했는지를 충분히 고려하고 있지 않다고 보십니까?

작업 완료는 매우 오해를 불러일으키는 벤치마크입니다. 에이전트가 지시를 문자 그대로 수행하더라도 사용자가 싫어하는 결과를 낼 수 있습니다.

에이전트가 계약에서 최저가를 확보했지만, 이를 위해 10년간 이어진 공급업체 관계를 파괴한다면 전통적인 평가 지표는 100% 성공률을 기록합니다. 경영진에게는 이는 재앙이죠. 우리는 암묵적인 경계 내에서 성과를 측정하는 벤치마크가 필요합니다: 비공식적인 규범을 존중했는가? 상황이 변했을 때 멈췄는가? 이러한 원시적인 완료와 실제 만족 사이의 차이가 현재 벤치마크가 완전히 무시하고 있습니다.

앞으로 인간 맥락 기능이 모델, 메모리, 도구, 보안과 함께 AI 스택의 표준 레이어가 될 것으로 보십니까? 기업이 지속적인 감독 없이 의미 있는 작업을 에이전트에 맡기기 전에 아직 해결해야 할 과제는 무엇이라고 생각하십니까?

AI가 콘텐츠 생성에서 실제 행동으로 전환함에 따라 인간 맥락은 필수적인 레이어가 됩니다. 모델은 추론을 담당하고 도구는 시스템에 손을 제공하지만, 인간 맥락이 실시간 피드백 루프로 작동하지 않으면 메모리와 보안 가드레일은 기본적으로 정적인 가정에 의존하게 됩니다.

기업이 실제 권한을 위임하기 전에 우리는 여전히 맥락적 프라이버시, 불확실성 하의 확률적 추론, 그리고 세밀한 거버넌스 규칙을 해결해야 합니다. 독립적인 작업을 완수하는 AI는 대부분 해결됐지만, 시스템이 프롬프트 뒤의 인간에 동적으로 적응하도록 만드는 것이 우리가 얼마나 많은 실제 자율성을 부여할지 결정할 것입니다.

훌륭한 인터뷰에 감사드립니다. 더 알고 싶으신 독자분들은 Neurologyca를 방문하시기 바랍니다.