Claude는 어떻게 생각하는가? Anthropic의 AI 블랙박스 해금 여정

Claude와 같은 대형 언어 모델(LLMs)은 기술을 사용하는 방식을 바꾸었다.它们는 채팅봇, 에세이 작성, 시 창작 등 다양한 도구를 구동한다. 그러나 이러한 모델은 아직 많은 면에서 미스터리이다.人们들은它们를 “블랙박스”라고 부르는데, 그것은 chúng가 어떻게 생각하는지 알 수 없기 때문이다. 이러한 이해의 부족은 특히 의료나 법률과 같은 중요한 분야에서 실수나 숨겨진 편향이 실제적인 피해를 끼칠 수 있기 때문에 문제를 일으킨다.

LLMs가 어떻게 동작하는지 이해하는 것은 신뢰를 구축하는 데 필수적이다. 모델이 특정한 답변을 주는 이유를 설명할 수 없다면, 특히 민감한 분야에서 그 결과를 신뢰하기 어렵다. 해석 가능성은 또한 편향이나 오류를 식별하고 수정하는 데 도움이 되므로 모델이 안전하고 윤리적이라는 것을 보장한다. 예를 들어, 모델이 특정한 관점을 일관되게 선호한다면, 왜那样하는지 알면 개발자가 그것을 수정할 수 있다. 이러한 명확성의 필요성이 이러한 모델을 더 투명하게 만드는 연구를 추진하는 동력이다.

Claude를 개발한 회사인 Anthropic은 이 블랙박스를 열기 위해 노력해왔다. 그들은 Claude가 어떻게 생각하는지 이해하는 데 있어 흥미로운 발전을 이루었으며, 이 기사는 Claude의 프로세스를 더 이해하기 쉽게 만드는 그들의 đột파를探索한다.

Claude의 생각을 매핑하기

2024년 중반, Anthropic의 팀은 흥미로운 발견을 했다. 그들은 Claude가 정보를 처리하는 기본적인 “지도”를 만들었다. “사전 학습”이라는 기술을 사용하여, 그들은 Claude의 “뇌” – 신경망에서 수백만개의 패턴을 발견했다. 각 패턴, 또는 “기능”,은 특정한 아이디어에 연결된다. 예를 들어, 일부 기능은 Claude가 도시, 유명인, 또는 코딩 실수를 식별하는 데 도움이 된다. 다른 기능은 성별 편향 또는 기밀과 같은 더 어려운 주제에 연결된다.

연구자들은 이러한 아이디어가 개별 뉴런 내에서 고립되어 있지 않다는 것을 발견했다. 대신, 그것들은 Claude의 네트워크의 많은 뉴런에 걸쳐 있으며, 각 뉴런은 다양한 아이디어에 기여한다. 이러한 중복으로 인해 Anthropic의 연구자들은 처음에 이러한 아이디어를 이해하기 어렵게 만들었다. 그러나 이러한 반복되는 패턴을 식별함으로써, Anthropic의 연구자들은 Claude가 어떻게 생각하는지 해독하기 시작했다.

Claude의 추론을 추적하기

다음으로, Anthropic은 이러한 생각을 사용하여 어떻게 결정하는지 보기 원했다. 그들은 최근에 帰属 그래프라는 도구를 구축했다. 이는 Claude의 생각 프로세스에 대한 단계별 가이드와 같다. 그래프의 각 지점은 Claude의 마음에 빛나는 아이디어이며, 화살표는 하나의 아이디어가 다음 아이디어로 흐르는 것을 보여준다. 이 그래프를 통해 연구자들은 Claude가 질문을 답변으로 바꾸는 과정을 추적할 수 있다.

帰属 그래프의 작동 방식을 더 잘 이해하기 위해, 다음 예를 고려하라: “Dallas가 있는 주의 수도는 무엇인가?”라는 질문에 대해, Claude는 Dallas가 텍사스에 있다는 것을 인식한 다음, 텍사스 주의 수도가 오스틴이라는 것을 회상해야 한다.帰속 그래프는 이 정확한 프로세스를 보여주었는데, Claude의 한 부분이 “텍사스”를 표시한 다음, 다른 부분이 “오스틴”을 선택했다. 팀은甚至 “텍사스” 부분을 조작하여 답변을 변경하는 것을 테스트했다. 이것은 Claude가 단순히 추측하는 것이 아니라, 문제를 해결하는 중이며, 이제 우리는 그것을 관찰할 수 있다.

왜 이것이 중요하다: 생물학적 과학의 유사점

이것이 왜 중요한지 이해하기 위해, 생물학적 과학의 몇 가지 주요 개발을 생각해 보자. 세포를 발견한 현미경의 발명과 마찬가지로, 이러한 해석 가능성 도구는 AI 연구자들이 모델 내부의 생각의 빌딩 블록을 발견하는 것을 가능하게 한다. 그리고 마찬가지로, 뇌의 신경 회로를 매핑하거나 유전체를 시퀀싱하는 것이 의학의 돌파구를 열었다면, Claude의 내부 작동을 매핑하는 것은 더 신뢰할 수 있고 제어 가능한 기계 지능의 길을 열 수 있다. 이러한 해석 가능성 도구는 중요한 역할을 할 수 있으며, AI 모델의 생각 프로세스를 들여다보는 것을 도와준다.

도전

이 모든 발전에도 불구하고, 우리는 여전히 Claude와 같은 LLMs를 완전히 이해하는 데 멀었다. 현재,帰속 그래프는 Claude의 결정 중 약 4분의 1만을 설명할 수 있다. 기능의 지도는 인상적이지만, Claude의 뇌 내에서 일어나는 일의 일부만을 다룬다. 수십억개의 매개변수를 갖는 Claude와 다른 LLMs는 각 작업마다 수많은 계산을 수행한다. 이러한 계산 중 하나를 추적하여 답변을 어떻게 형성하는지 보는 것은 인간의 뇌에서 단일 생각 동안 발생하는 모든 뉴런의 방출을 따라가는 것과 같다.

또 다른 도전은 “hallucination“이다. 때때로, AI 모델은 실제로는 거짓이지만 설득력 있는 답변을 생성한다. 예를 들어, 잘못된 사실을 자신감 있게 주장한다. 이것은 모델이 실제 세계에 대한 이해 대신 훈련 데이터에서 패턴에 의존하기 때문이다. 왜 이러한 모델이 허구로 빠지는지 이해하는 것은 여전히 어려운 문제로 남아 있으며, 그들의 내부 작동에 대한 우리의 이해에 대한 격차를 강조한다.

편향은 또 다른重大한 장애물이다. AI 모델은 인터넷에서 수집된 광대한 데이터세트에서 학습하며, 이러한 데이터세트는 본질적으로 인간의 편향 – 성별 고정관념, 편견, 기타 사회적 결점을 포함한다. Claude가 이러한 편향을 훈련 데이터에서 학습한다면, 그것은 답변에 이러한 편향을 반영할 수 있다. 이러한 편향이 어디에서 기인하는지 그리고 모델의 추론에 어떻게 영향을 미치는지 이해하는 것은 기술적인 해결책과 데이터 및 윤리의 주의 깊은 고려가 모두 필요한 복잡한 도전이다.

결론

Anthropic의 Claude와 같은 LLMs를 더 이해하기 쉽게 만드는 작업은 AI 투명성에 있어重大한 발전이다. Claude가 정보를 처리하고 결정하는 방식을 공개함으로써, 그들은 AI 책임성에 대한 주요 우려를 해결하는 데 앞으로 나아가고 있다. 이 발전은 신뢰와 윤리가 중요한 의료 및 법률과 같은 분야에서 LLMs를 안전하게 통합하는 데 문을 열어준다.

해석 가능성 개선을 위한 방법이 개발됨에 따라, AI를 채택하는 데 주저했던 산업은 다시 고려할 수 있다. Claude와 같은 투명한 모델은 인간 지능을 복제하는 것뿐만 아니라 그들의 추론을 설명하는 기계를 제공하는明確한 길을 제공한다.