당신의 AI는 생각보다 더 강력합니다

과학자 팀이 우리가 알고 있던 AI 능력에 대해 많은 것을 변경하는 것을 발견했습니다. 당신의 모델은 단순히 정보를 처리하는 것이 아니라, 훈련을 통해 얻은 능력보다 훨씬 더 복잡한 능력을 개발하고 있습니다. 그리고 이러한 능력을解除하기 위해서는 chúng을 어떻게 말하는지 변경해야 합니다.

개념 공간 혁명

우리가 AI가 단순히 패턴을 일치시키는 것으로 생각했던 때를 기억하세요? 새로운 연구는 이제 AI 학습의 블랙 박스를 “개념 공간”이라고 하는 것을 매핑함으로써 열었습니다. AI 학습을 다차원 지도라고 상상하세요. 여기서 각 좌표는 다른 개념을 나타냅니다. 예를 들어, 색상, 모양, 또는 크기와 같은 것들입니다. 훈련 중에 AI 모델이 이 공간을 통해 이동하는 것을 관찰함으로써, 연구자들은 예상치 못한 것을 발견했습니다: AI 시스템은 단순히 기억하지 않습니다. 그들은 다양한 속도로 개념에 대한 복잡한 이해를 구축합니다.

연구 팀은 “이 공간에서 학습 역학을 특성화함으로써, 우리는 개념이 학습되는 속도가 데이터의 속성에 의해 제어되는 것을 식별합니다”라고 말합니다. 즉, 일부 개념은 다른 개념보다 더 빠르게 클릭되는데, 이는 훈련 데이터에서 얼마나 강하게 나타나는지에 따라 다르기 때문입니다.

여기서 흥미로운 점은 gì입니까: AI 모델이 이러한 개념을 학습할 때, 그것들은 단순히 분리된 정보 조각으로 저장되지 않습니다. 실제로 우리는 명시적으로 가르치지 않은 방식으로 그것들을 혼합하고 일치시킬 수 있는 능력을 개발합니다. 그것은 창의적인 도구 키트를 구축하는 것과 같습니다. 우리는 단지 그것을 사용하는 올바른 지시를 제공하지 않았을 뿐입니다.

이것이 AI 프로젝트에 대해 무엇을 의미하는지 생각해 보세요. 당신이 작업하고 있는 모델은 아직 발견하지 못한 복잡한 개념의 조합을 이미 이해할 수 있습니다. 질문은 그것들이 더 많은 것을 할 수 있는지 여부가 아닙니다. 그것은 그것들이真正로 무엇을 할 수 있는지 보여줄 수 있는 방법을 찾는 것입니다.

숨겨진 능력 解除

여기서 흥미로운 점이 됩니다. 연구자들은 AI 모델이 어떻게 학습하는지에 대해 기본적인 것을 보여주는 우아한 실험을 설계했습니다. 그들의 설정은 간단했습니다: 그들은 단지 세 가지 유형의 이미지로 AI 모델을 훈련했습니다:

• 큰 빨간 원
• 큰 파란 원
• 작은 빨간 원

그런 다음 핵심 테스트가 왔습니다: 모델이 작은 파란 원을 생성할 수 있나요? 이것은 단순히 새로운 모양을 그리기 위한 것이 아닙니다. 그것은 모델이真正로 이해하고 이전에 본 적 없는 방식으로 두 가지 개념(크기와 색상)을 결합할 수 있는지 여부를 확인하는 것입니다.

그들이 발견한 것은 AI 능력에 대해 우리의 생각을 변경합니다. 일반적인 프롬프트를 사용하여 “작은 파란 원”을 요청했을 때, 모델은 어려움을 겪었습니다. 그러나 모델은 실제로 작은 파란 원을 생성할 수 있었습니다. 우리는 단지 올바른 방법으로 묻지 않았을 뿐입니다.

연구자들은 두 가지 기술을 발견하여 이를 입증했습니다:

1. “잠재적인 개입” – 이것은 모델의 뇌에 대한 백도어를 찾는 것과 같습니다. 일반적인 프롬프트를 사용하는 대신, 그들은 “파란색”과 “작은”을 나타내는 내부 신호를 직접 조정했습니다. 색상과 크기에 대한 별도의 다이얼을 상상해 보세요. 그들은 이러한 다이얼을 특정한 방식으로 회전함으로써, 모델이 이전에 불가능한 것처럼 보였던 것을突然으로 생성할 수 있음을 발견했습니다.
2. “과도한 프롬프트” – 단순히 “파란색”이라고 요청하는 대신, 그들은 색상 값을 매우 구체적으로 요청했습니다. 이것은 “파란색으로 만들어라”와 “정확히 이 색상으로 만들어라: RGB(0.3, 0.3, 0.7)”의 차이와 같습니다. 이러한 추가적인 정밀도는 모델이 일반적인 조건에서 숨겨진 능력에 접근할 수 있도록 도왔습니다.

두 가지 기술 모두 모델의 훈련에서 6,000 단계에서 작동하기 시작했습니다. 반면에 일반적인 프롬프트는 완전히 실패하거나 8,000 단계 이상에서 작동하기 시작했습니다. 그리고 이것은 우연이 아닙니다. 여러 테스트에서 일관되게 발생했습니다.

이것은 우리에게 심오한 것을 말해줍니다: AI 모델은 두 가지 별개의 단계에서 능력을 개발합니다. 첫 번째는 내부적으로 개념을 결합하는 방법을 학습하는 것입니다. 이것이 6,000 단계에서 발생하는 것입니다. 그러나 두 번째 단계에서는 우리가 요청하는 일반적인 방법과 내부 능력을 연결하는 방법을 학습합니다. 모델이 새로운 언어를 구사하는 것과 같습니다. 그러나 그것을 우리에게 번역하는 방법을 배우기 전에.

그것은重大한 의미를 가지고 있습니다. 우리는 모델이 무언가를 할 수 없다고 생각할 때, 우리는 잘못일 수 있습니다. 그것은 능력이 있지만 우리의 프롬프트와 능력 사이의 연결이 부족할 수 있습니다. 이것은 단순한 모양과 색상에만 적용되는 것이 아닙니다. 더 복잡한 능력도 더 큰 AI 시스템에서 적용될 수 있습니다.

연구자들이 CelebA 얼굴 데이터 세트를 사용하여 실제 데이터에서 이러한 아이디어를 테스트했을 때, 그들은 동일한 패턴을 발견했습니다. 그들은 모델이 “모자 쓴 여성”의 이미지를 생성하도록 시도했습니다. 이것은 훈련에서 보지 못한 것입니다. 일반적인 프롬프트는 실패했습니다. 그러나 잠재적인 개입을 사용하면 모델이 실제로 이러한 이미지를 생성할 수 있음을 발견했습니다. 능력이 이미 존재했습니다. 그러나 일반적인 방법으로는 접근할 수 없었습니다.

Park et al., Harvard University & NTT Research

중요한 결론

우리는 AI 능력을 평가하는 방법을 재고해야 합니다. 모델이 표준 프롬프트로 무언가를 할 수 없다고 해서 그것을 전혀 할 수 없다는 것을 의미하지는 않습니다. AI 모델이 할 수 있는 것과 우리가 그것을 할 수 있도록 하는 것 사이의 간격은 생각보다 작을 수 있습니다. 우리는 단지 더 잘 묻는 방법을 배워야 합니다.

이 발견은 단순히 이론적인 것이 아닙니다. 그것은 본질적으로 AI 시스템에 대해 어떻게 생각해야 하는지 변경합니다. 모델이 특정 작업에 어려움을 겪을 때, 우리는 그것이真正로 능력이 부족한지 또는 우리가 그것을 올바르게 접근하지 못하는지 물어야 합니다. 개발자, 연구자, 사용자 모두에게 이것은 AI와 상호작용하는 방법을 창의적으로 만드는 것을 의미합니다. 때때로 필요한 능력은 이미 존재합니다. 우리는 단지 그것을解除하는 올바른 키를 찾아야 합니다.