Anthropic, Claude가 기존에 발표된 최고 수준의 양자 회로 설계를 능가했다고 밝혀

2026년 10월 16일에 발표한 연구 게시물에서 Anthropic은 자사의 Claude Mythos 5 모델이 자동 평가기와 폐쇄 루프 방식으로 협력하며 대부분 독자적으로 양자 회로를 설계했다고 밝혔다. 이 회로는 8가지 계산 기본 연산에서 기존에 발표된 최고 수준의 회로보다 성능이 뛰어났으며, 일부는 한 자릿수 배 이상 개선됐다.

더 큰 양자 알고리즘을 구성하는 기본 루틴인 기본 연산은 화학, 최적화, 양자 시뮬레이션, 정수론, 수치 계산에 걸쳐 있다. Anthropic의 STEM Fellows Program의 일환으로 Andi Gu가 연구를 이끌었으며, Anthropic의 양자물리학자 Alek Kemeny가 멘토링을 맡았다. 또한 Harvard University의 Susanne Yelin, Harvard University 및 QuEra Computing의 Mikhail Lukin과 공동으로 연구를 진행했다.

동반 논문인 대규모 언어 모델을 활용한 최첨단 양자 회로 발견은 2026년 10월 15일 Gu, Kemeny, Yelin, Lukin이 arXiv에 제출했으며, 46쪽 분량에 그림 10개와 표 6개를 담고 있다. 초록에서는 대규모 언어 모델이 회로 설계를 제안하고 독립적인 평가기가 이를 검증하고 점수를 매기는 진화형 프레임워크를 설명한다. 또한 8개 과제 중 7개에서 발견된 회로가 최신 기술 수준과 비교해 토폴리 게이트 수와 큐비트 수를 모두 크게 줄였으며, 나머지 한 과제에서는 소수체 모듈러 역연산을 위한 새로운 가역 아키텍처를 만들어 냈다고 밝혔다.

폐쇄 루프 설계 과제

Anthropic은 Claude가 세 가지 이유로 이 작업에 적합했다고 밝혔다. 양자 회로는 일반 코드로 작성할 수 있으므로 모델은 설계를 프로그램으로 작성하고 실행한 뒤 수정할 수 있다. 대상 알고리즘 종류는 정확성을 효율적으로 검사할 수 있는데, 입력마다 하나의 확정적인 출력이 나오고 일반 컴퓨터로 이를 확인할 수 있기 때문이다. 또한 큐비트 수에 게이트 수를 곱한 점수는 객관적인 목표값을 제공하며, 회로 실행에 걸리는 시간을 가늠하는 대리 지표로 활용된다. 이 폐쇄 루프 안에서 Claude Mythos 5는 Python으로 설계를 제안하고, 평가 프로그램에서 정확성에 관한 피드백과 점수를 받은 뒤 수정했다. 각 라운드 사이에 사람의 개입은 없었다.

게시물은 양자 회로와 일반 프로그램을 구분하는 두 가지 제약을 설명한다. 회로는 한 번에 여러 입력의 중첩 상태에서 실행되므로 if-then 방식의 결정을 내릴 수 없으며, 실행할 때마다 모든 경로에 필요한 연산을 포함해야 한다. 또한 모든 단계가 가역적이어야 하므로 정보를 버릴 수 없다. 중간 결과는 저장하거나, 결과를 만든 계산을 역순으로 실행해 ‘계산을 되돌려 없애야’ 하며, 이때 게이트가 추가로 필요하다. 이 두 제약으로 인해 큐비트 수와 실행 시간 사이에 상충 관계가 생긴다.

게시물은 회로를 재설계하면 어떤 성과를 낼 수 있는지 보여주는 사례로, FeMoco 시뮬레이션에 필요한 비용 추정치의 변화를 소개한다. FeMoco는 박테리아가 공기 중 질소를 암모니아로 전환하는 데 사용하는 효소인 질소고정효소의 중심부에 있는 철-황 클러스터다. 2017년 연구자들은 FeMoco의 바닥상태 에너지를 계산하려면 토폴리 게이트 약 50조 개가 필요할 것으로 추정했다. 토폴리 게이트는 실행 비용이 가장 큰 게이트 유형 중 하나이므로 양자 계산에 걸리는 시간을 추정할 때 표준적으로 사용된다.

일련의 알고리즘 발전으로 동일한 54오비탈 모델의 추정치는 약 3억 4,000만 개로 줄었다. 이는 약 15만 배 감소한 것으로, 게시물에 따르면 물리적 큐비트 약 300만 개를 갖춘 미래의 기계에서 몇 시간 동안 계산하면 되는 수준이다. 오늘날의 양자 컴퓨터에는 큐비트가 수백 개에서 수천 개뿐이며, 그 큐비트는 환경 잡음에 매우 민감하다.

가역 모듈러 역연산 알고리즘

게시물에서 자세히 소개한 첫 번째 발견은 점 덧셈에 관한 것이다. 점 덧셈은 타원곡선 위의 두 점을 결합해 세 번째 점을 만드는 규칙이다. 점 덧셈은 타원곡선 이산 로그 문제를 다루는 양자 알고리즘의 핵심 단계이자 이 분야의 표준 벤치마크 중 하나다. 점 덧셈 비용의 대부분은 모듈러 역연산이라는 단일 단계에서 발생하는데, 이는 타원곡선 산술에서 사용하는 나머지 연산 방식의 나눗셈이다. Anthropic은 Claude가 수학적 규칙과 평가기가 각 설계를 검사하고 점수를 매기는 방식을 설명한 한 문단짜리 개요를 받은 뒤, 사람의 개입을 최소화한 채 53시간 동안 작업했다고 밝혔다. 개입은 개요 제공과 더 폭넓게 생각해 보라는 간헐적인 요청으로 제한됐으며, Claude는 그 후 완전히 새로운 접근법에 도달했다.

고전 컴퓨터는 divsteps라는 방법을 사용해 모듈러 역연산을 효율적으로 수행하지만, 이 방법으로 실용적인 양자 회로를 구현한 사례는 없었다. 가역성을 유지하려면 회로가 각 반복 단계에서 어떤 연산을 선택했는지 기록해야 한다. 이를 분기 정보라고 하며, 이 기록을 저장하려면 엄청나게 많은 큐비트가 추가로 필요하다. Claude는 반복이 끝날 때마다 두 수의 쌍을 살펴보면 분기 정보를 알아낼 수 있으므로, 그 기록을 아예 저장하지 않아도 될지 모른다고 추론했다.

초기 후보 디코딩 규칙은 소규모 테스트 사례에서는 작동했지만, 전체 256비트 문제 크기에서는 실패했다. 그러자 Claude는 새로운 대수 항등식 여러 개를 포함해 반복 과정에 관한 일련의 결과를 증명하고, 정확한 디코딩 공식을 도출한 뒤 대규모 수치 시뮬레이션으로 검증했으며, 그 주장을 Lean으로 형식화했다. 검증을 마친 뒤 Anthropic이 설명한 바에 따르면, Claude는 분기 이력을 저장하지 않는 최초의 가역적 divsteps 구현을 만들어 냈다.

디코딩은 큐비트를 절약하지만 시간이 더 걸리기 때문에, Claude는 회로가 분기 정보를 디코딩하는 대신 저장하는 기준점을 다양하게 조정해 두 극단 사이에 놓인 여러 설계안을 만들었다. 이 설계안 중 하나는 이전의 최소 설계보다 큐비트를 12% 더 사용하지만 게이트 수는 17배 적으며, 게시글에 따르면 새 설계안은 큐비트 수와 실행 시간의 조합을 나타내는 파레토 전선을 확장한다. 비교 대상으로 제시된 기존 발표 설계 중 가장 우수한 것은 Schrottenloher (2026)와 Luo et al. (2026)이다.

양자 최적화를 위한 비용이 12배 저렴한 디코더

두 번째 발견은 디코딩 양자 간섭계(DQI)에 관한 것으로, 게시글은 이를 초다항식 양자 속도 향상을 이룰 가능성이 가장 큰 후보 중 하나로 설명한다. 이 알고리즘에서 가장 비용이 많이 드는 단계는 오류 정정 디코더다. DQI를 처음 제안한 연구자들은 곡선 피팅을 격자 기반으로 구현한 최적 다항식 교차(OPI) 문제에 Reed–Solomon 디코더를 사용해 이를 시연했다. 게시글에서 인용한 Google Quantum AI 연구자들의 추산에 따르면, 특정 OPI 문제 하나를 해결하는 데 Frontier 슈퍼컴퓨터로는 약 3개월이 걸리는 반면, DQI를 실행하는 미래의 양자 컴퓨터로는 대략 1시간이 걸리며, 그 1시간의 대부분은 Reed–Solomon 디코딩에 쓰인다.

기존 최고 수준의 회로는 확장 유클리드 알고리즘을 사용해 신드롬, 즉 오류를 간결하게 요약한 정보를 처리했다. 이 알고리즘에서는 단계의 수와 순서가 입력에 따라 달라진다. 양자 회로는 고정된 게이트 순서 하나로 여러 입력을 처리하기 때문에, 기존 설계는 어떤 단일 입력에 필요한 것보다 더 많은 라운드에 걸쳐 계산을 진행하고 매 라운드마다 모든 연산을 실행해야 했다. Claude는 대신 Berlekamp–Massey 디코딩을 중심으로 회로를 구성했다. 이 방식은 매 라운드마다 같은 종류의 단계를 수행하며, 라운드 수도 항상 동일하다.

이 방법을 가역적으로 구현하자 저장 공간 문제가 생겼다. 각 라운드에서 계산한 임시 값을 나중에 연산을 되돌릴 수 있도록 복구할 수 있어야 하기 때문이다. 최악의 경우, 35개 라운드에서 각각 예외값이 발생하는 상황에 대비해 메모리를 확보하려면 큐비트 665개가 필요하다. Claude는 고속 시뮬레이터를 작성하고 표본 디코딩 4억 300만 건을 실행해 이런 예외가 얼마나 자주 발생하는지 측정했다. 거의 모든 실행에서 저장해야 하는 값은 최대 하나였으므로, 회로는 값 하나를 저장하는 데 큐비트 19개를 할당한다.

실행 1만 번 중 약 한 번은 그보다 많은 값이 필요해 실패하지만, 게시글에 따르면 이는 해당 작업에서 허용하는 오류율보다 충분히 낮다. 게시글은 이 최적화를 종합한 결과 Google의 기존 구성에 비해 디코더의 게이트 수가 12분의 1로 줄었다고 전한다. 이는 방법, 회로 아키텍처, 리소스 예산이라는 세 가지 수준에서 이뤄진 변경의 결과다.

한계와 향후 전망

Anthropic에 따르면 초기 실험에서 Claude는 보수적으로 접근해, 개선된 것처럼 보이는 결과를 거듭 재검토하고 충분한 근거가 뒷받침된 결과도 두세 차례씩 확인했으며, 기존의 잘 알려진 접근법을 선호했다. 게시글은 이러한 신중함이 때로는 유용했고 divsteps 설계를 검증하는 Lean 증명을 이끌어냈다고 설명한다. 연구팀은 두 가지 완화책을 적용했다. Claude가 서로 정성적으로 다른 접근법을 여러 개 병렬로 개발해 제안하도록 하고, 때때로 탐색 범위를 넓히도록 유도했다.

게시글은 연구 그룹 여러 곳이 8년을 들였다고 설명한 FeMoco 15만 배 축소와 타원 곡선 설계를 뒷받침한 단 한 차례의 53시간 실행을 대조한다. Anthropic은 이 결과가 AI가 회로 설계 작업을 지원할 수 있음을 시사한다고 밝혔으며, 특정 문제에 맞춰 알고리즘부터 하드웨어까지 오류 정정 양자 컴퓨터의 구성 요소를 AI가 함께 최적화할 가능성도 제기했다. 게시글은 프로젝트 초기 단계에서 유익한 논의를 나눈 Arjun Kar와 Vinay Ramasesh에게 감사를 전한다.