알파이볼브: 구글 딥마인드의 인공 일반 지능으로 향한 획기적인 발전

구글 딥마인드는 알파이볼브를 공개했습니다. 이는 자율적으로 새로운 알고리즘과 과학적 해결책을 발견하기 위한 진화형 코딩 에이전트입니다. 알파이볼브: 과학적 및 알고리즘적 발견을 위한 코딩 에이전트라는 논문에서 발표된 이 연구는 인공 일반 지능(AGI) 및 인공 초지능(ASI)로 향하는 기초적인 단계를 나타냅니다. 정적 파인튜닝 또는 인간 레이블링 데이터셋에 의존하지 않고, 알파이볼브는 자율적 창의성, 알고리즘적 혁신, 지속적인 자기 개선을 중심으로 하는 완전히 다른 경로를 따릅니다.

알파이볼브의 핵심은 대형 언어 모델(LLM)을 통해 구동되는 자체 포함된 진화 파이프라인입니다. 이 파이프라인은 출력을 생성하기만 하지 않고, 코드를 변형, 평가, 선택, 개선합니다. 알파이볼브는 초기 프로그램으로 시작하여 반복적으로 이를 정교화합니다.

이러한 변경은 LLM이 생성한 차이(diff) 형태를 취합니다. 이는 이전 예제와 명시적 지침을 기반으로 언어 모델에 의해 제안된 코드 수정입니다. 소프트웨어 엔지니어링에서 ‘diff’는 일반적으로 파일의 두 버전 사이의 차이를 나타내며, 제거 또는 대체할 줄과 추가할 새 줄을 강조합니다. 알파이볼브에서 LLM은 이러한 차이를 생성하여 현재 프로그램을 분석하고 성능 지표 및 이전 성공적인 수정을 포함하는 프롬프트를 기반으로 작은 편집을 제안합니다.

각 수정된 프로그램은 자동 평가기를 사용하여 테스트되며, 가장 효과적인 후보는 저장, 참조 및 미래 반복의 영감으로 사용됩니다. 시간이 지남에 따라 이 진화 루프는 점점 더 정교한 알고리즘의 출현으로 이어지며, 이는 종종 인간 전문가가 설계한 것들을 초과합니다.

알파이볼브背后的 과학 이해

알파이볼브는 본질적으로 진화적 계산의 원칙에 기반합니다. 이는 생물학적 진화를 영감받은 인공 지능의 하위 분야입니다. 시스템은 기본적인 코드 구현으로 시작하여 이를 초기 “유기체”로 취급합니다. 세대가 지남에 따라 알파이볼브는 이 코드를 수정하여 변이 또는 “돌연변이”를 도입하고, 잘 정의된 점수 함수를 사용하여 각 변이의 적합성을 평가합니다. 가장 잘 수행되는 변이체는 다음 세대의 템플릿으로 생존합니다.

이 진화 루프는 다음을 통해 조정됩니다:

• 프롬프트 샘플링: 알파이볼브는 이전에 성공한 코드 샘플, 성능 지표 및 작업별 지침을 선택하여 프롬프트를 구성합니다.
• 코드 변형 및 제안: 시스템은 Gemini 2.0 Flash 및 Pro와 같은 강력한 LLM의 혼합을 사용하여 현재 코드베이스에 대한 특정 수정을 차이 형태로 생성합니다.
• 평가 메커니즘: 자동 평가 함수는 각 후보의 성능을 평가하기 위해 이를 실행하고 스칼라 점수를 반환합니다.
• 데이터베이스 및 컨트롤러: 분산 컨트롤러는 이 루프를 조정하며, 결과를 진화 데이터베이스에 저장하고, MAP-Elites와 같은 메커니즘을 통해 탐색과 활용 사이의 균형을 유지합니다.

이 피드백이 풍부한 자동화된 진화 과정은 표준적인 파인튜닝 기술과는 근본적으로 다릅니다. 이는 알파이볼브가 새로운, 고성능, 때로는 직관에 반하는 해결책을 생성할 수 있도록 합니다.

알파이볼브와 RLHF 비교

알파이볼브의 혁신을 이해하기 위해, 이는 주로 대형 언어 모델을 파인튜닝하는 데 사용되는 접근 방식인 인간 피드백에서 강화 학습(RLHF)와 비교되어야 합니다.

RLHF에서, 인간의 선호도는 보상 모델을 훈련하는 데 사용되며, 이는 강화 학습 알고리즘을 통해 LLM의 학습 과정을 안내합니다. RLHF는 모델의 일치와 유용성을 향상시키지만, 피드백 데이터를 생성하기 위한 광범위한 인간 참여를 요구하며, 일반적으로 정적인 한 번의 파인튜닝 체제에서 작동합니다.

알파이볼브는 반면에:

• 루프에서 인간 피드백을 제거하고, 기계가 실행할 수 있는 평가기를 사용합니다.
• 진화적 선택을 통해 지속적인 학습을 지원합니다.
• 스토크스틱 돌연변이와 비동기식 실행으로 인해 더 넓은 해결책 공간을 탐색합니다.
• 일치하는 것뿐만 아니라, 새로운 및 과학적으로 중요한 해결책을 생성할 수 있습니다.

RLHF가 행동을 미세하게 조정하는 반면, 알파이볼브는 발견하고 발명합니다. 이는 AGI로 향하는 미래의 궤적을 고려할 때 중요한 구별입니다. 알파이볼브는 단순히 더 나은 예측을 하지 않습니다. 그것은 새로운 진리への 경로를 찾습니다.

응용 및 돌파구

1. 알고리즘적 발견 및 수학적 진보

알파이볼브는 핵심 알고리즘 문제에서 획기적인 발견을 할 수 있는 능력을 보여주었습니다. 가장 주목할 만한 것은 4×4 복소수 행렬을 곱하는 새로운 알고리즘을 발견한 것입니다. 이는 48개의 스칼라 곱셈만을 사용하여, 1969년 스트라센의 49 곱셈 결과를 넘어서고, 56년 된 이론적 한계를 깨뜨렸습니다. 알파이볼브는 여러 반복을 통해 진화된 고급 텐서 분해 기술을 통해 이를 달성했습니다. 이는 여러 최첨단 접근 방식을 능가했습니다.

행렬 곱셈을 넘어서, 알파이볼브는 조합론, 수론 및 기하학을 포함한 여러 분야의 50개 이상의 열린 문제에 대해 평가되었습니다. 약 75%의 경우에서 최고의 알려진 결과를 일치시켰으며, 약 20%의 경우에서 이를 초과했습니다. 이러한 성공에는 에르되스의 최소 중복 문제의 향상, 11차원에서의 키싱 번호 문제에 대한 더緊密한 해결책 및 더 효율적인 기하학적 패킹 구성이 포함되었습니다. 이러한 결과는 점점 더 최적의 해결책을 정제, 반복 및 진화시키는 능력을 강조합니다.

2. 구글의 컴퓨팅 스택 전반의 최적화

알파이볼브는 또한 구글의 인프라 전반에 걸쳐 구체적인 성능 개선을 제공했습니다:

• 데이터 센터 스케줄링: 새로운 휴리스틱을 발견하여 작업 배치를 개선하고, 이전에 고립된 컴퓨팅 자원을 0.7% 회복했습니다.
• 게미니의 트레이닝 커널: 행렬 곱셈을 위한 더好的 타일링 전략을 고안하여, 커널 속도를 23% 향상시키고, 전체 트레이닝 시간을 1% 줄였습니다.
• TPU 회로 설계: 엔지니어们에 의해 검증되고, 차기 TPU 칩에 포함된 RTL(레지스터-전송 수준)에서 산술 논리 간소화를 식별했습니다.
• 컴파일러 생성 FlashAttention 코드를 XLA 중간 표현을 편집하여, GPU에서 추론 시간을 32% 절감했습니다.

이러한 결과는 알파이볼브가 기호적 수학에서부터 저수준 하드웨어 최적화까지 여러 추상화 수준에서 작동할 수 있는 능력을 검증합니다.

• 진화적 프로그래밍: 돌연변이, 선택 및 유전을 통해 해결책을 반복적으로 정제하는 인공 지능 패러다임입니다.
• 코드 슈퍼최적화: 함수의 가장 효율적인 구현을 자동으로 검색하는 과정입니다. 이는 종종驚人的, 직관에 반하는 개선으로 이어집니다.
• 메타 프롬프트 진화: 알파이볼브는 코드뿐만 아니라 LLM에 지시를 전달하는 방법을 진화시킵니다. 이는 코딩 과정을 자기 정제할 수 있도록 합니다.
• 이산화 손실: 출력을 반정수 또는 정수로 정렬하도록 격려하는 정규화 항입니다. 이는 수학적 및 기호적 명확성에 중요합니다.
• 환상 손실: 중간 해결책에 무작위성을 주입하여, 탐색을 격려하고, 지역적 최적을 피하는 메커니즘입니다.
• MAP-Elites 알고리즘: 다양한 특징 차원에서 고성능 해결책의 다양성을 유지하는 질적 다양성 알고리즘의 한 유형입니다. 이는 강건한 혁신을 가능하게 합니다.

AGI 및 ASI에 대한 함의

알파이볼브는 최적화工具 이상입니다. 이는 창의적 자율성을 나타내는 지능 에이전트의 미래를 예시합니다. 시스템이 추상적인 문제를 공식화하고, 이를 해결하기 위한 접근 방식을 설계하는 능력은 AGI로 향하는 중요한 단계를 나타냅니다. 이는 데이터 예측을 넘어, 구조화된 추론, 전략 수립 및 피드백에 대한 적응을 포함합니다.

가설을 반복적으로 생성하고 정제하는 능력은 또한 기계가 학습하는 방식의 진화를 시사합니다. 광범위한 지도 학습이 필요한 모델과는 달리, 알파이볼브는 실험 및 평가의 루프를 통해 자기 자신을 개선합니다. 이 동적 인 지능 형태는 복잡한 문제 공간을 탐색하고, 약한 해결책을 제거하며, 강한 해결책을 강화할 수 있도록 합니다.

알파이볼브는 자신의 아이디어를 실행하고 검증함으로써, 이론가이자 실험가의 역할을 모두 수행합니다. 이는 미리 정의된 작업을 수행하는 것을 넘어서, 발견의 영역으로 들어섭니다. 각 제안된 개선 사항은 테스트, 벤치마크 및 재통합되어 실제 결과에 따라 지속적으로 개선됩니다.

아마도 가장 주목할 만한 것은 알파이볼브가 자기 재귀적 개선의 초기 예시입니다. 여기서 인공 지능 시스템은 학습뿐만 아니라, 자신의 구성 요소를 개선합니다. 여러 경우에, 알파이볼브는 자신의 기초 모델을 지원하는 훈련 인프라를 개선했습니다. 현재 아키텍처에 의해 여전히 제한되지만, 이는 전례를 설정합니다. 더 많은 문제가 평가 가능한 환경에서 정의되면, 알파이볼브는 점점 더 정교하고 자기 최적화를 향해 확장할 수 있습니다. 이는 ASI의 근본적인 특성입니다.

제한 및 미래 궤적

알파이볼브의 현재 제한은 자동 평가 함수에 대한 의존성입니다. 이는 수학적 또는 알고리즘적으로 공식화될 수 있는 문제에만 유용하게 만듭니다. 아직 인간의 이해, 주관적 판단 또는 물리적 실험을 요구하는 영역에서 의미있게 작동할 수 없습니다.

그러나 미래의 방향에는 다음이 포함됩니다:

• 하이브리드 평가의 통합: 기호적 추론과 인간의 선호도 및 자연어 비평을 결합합니다.
• 시뮬레이션 환경에서 배치: 신체적 과학적 실험을 가능하게 합니다.
• 기초 모델에 진화된 출력을 증류: 더 능력 있고 샘플 효율적인 기초 모델을 생성합니다.

이러한 궤적은 점점 더 자율적이고, 고위험 문제 해결을 할 수 있는 시스템을 향해 가리킵니다.

결론

알파이볼브는 단순히 AI 툴링의 발전뿐만 아니라, 기계 지능 자체에 대한 우리의 이해에서 중요한 발전입니다. 진화적 검색과 LLM 추론 및 피드백을 결합함으로써, 알파이볼브는 기계가 자율적으로 발견할 수 있는 것을 재정의합니다. 이는 자기 개선 시스템이 실제 과학적 사고를 할 수 있다는 신호입니다.

미래를 내다보면, 알파이볼브의 아키텍처는 자기 자신에게 재귀적으로 적용될 수 있습니다. 평가기, 돌연변이 논리, 점수 함수 및 의존하는 모델에 대한 훈련 파이프라인을 개선함으로써, 이는 AGI로 향하는 기술적 메커니즘을 나타냅니다. 여기서 시스템은 작업을 완료하는 것뿐만 아니라, 자신의 학습 및 추론을 가능하게 하는 인프라를 개선합니다.

시간이 지남에 따라, 알파이볼브가 더 복잡하고 추상적인 영역에 걸쳐 확장하고, 인간의 개입이 감소함에 따라, 이는 가속화된 지능 증가를 나타낼 수 있습니다. 자기 개선의 이 반복적인 루프는 외부 문제뿐만 아니라, 자신의 알고리즘 구조에 내부적으로 적용될 수 있습니다. 이는 AGI 및 그로 인해 사회에 제공될 수 있는 모든 이점의 핵심적인 이론적 구성 요소입니다. 창의성, 자율성 및 재귀의 조합으로, 알파이볼브는 구글 딥마인드의 제품으로만 기억되는 것이 아니라, 최초의真正 일반적이고 자기 진화하는 인공 지성을 위한 청사진으로 기억될 수 있습니다.