사이버 보안

Calif, AI로 Java4Shell 찾아내… OpenJDK와 Oracle은 수정 사항 배포

Miles Okada
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트JIT 컴파일러에 대한 AI 지원 검토에서 Java 메모리 보호 장치를 우회하는 수작업 어셈블리의 치명적인 결함이 드러났습니다.
더 보기
  • JIT 컴파일러에 대한 AI 지원 검토에서 Java 메모리 보호 장치를 우회하는 수작업 어셈블리의 치명적인 결함이 드러났습니다.
  • 악용에는 대상별 프로필과 힙 그루밍이 필요하므로 이 결함이 보편적인 페이로드를 만들어내지는 않습니다.
  • Base64 최적화는 막대한 데이터 볼륨을 디코딩하는 애플리케이션에만 이익이 되면서 영향을 받는 모든 런타임에 배포되었습니다.

Calif는 2026년 11월 17일 Java4Shell을 공개했다. AI의 도움으로 발견한 이 OpenJDK 취약점에 Calif는 CVSS 4.0 기준 9.2점을 부여했으며, 인증되지 않은 공격자가 메모리를 손상시키고 원격으로 코드를 실행할 수 있다. OpenJDK와 Oracle은 같은 날 수정 사항을 배포했다.

CVE-2026-114938로 추적되는 이 결함은 OpenJDK HotSpot이 AVX-512 VBMI 명령어로 Base64 디코딩을 가속할 때 사용하는 수작업 작성 x86-64 어셈블리 코드에 있다. 이 위치는 Java의 익숙한 보호 기능에 허점을 만든다. 애플리케이션은 관리형 메모리와 메모리 접근 검사로 보호받지만, 런타임의 이 부분은 어셈블리로 작성돼 있어 이러한 보호 기능만으로는 메모리 손상 위험을 없앨 수 없다.

Calif에 따르면 연구원 Quang Luong은 모델이 Base64 관련 취약점을 찾아내기 전 Codex에 JIT 컴파일러, 내장 함수, 널리 접근 가능한 API, 암호화를 살펴보도록 지시했다. 취약점 발견에는 1시간, 처음 작동하는 익스플로잇을 만드는 데는 추가로 2시간이 걸렸으며, 총 토큰 비용은 200달러 미만이었다. Luong은 조사 대상을 정하고 익스플로잇 개발 전문성을 제공했으며, Calif는 AI 에이전트가 이후 익스플로잇 체인을 개발하는 데 도움이 되도록 파이프라인과 힙 추적기 및 시각화 도구를 만들었다.

패딩이 붙은 Base64의 끝부분이 힙을 손상시키다

최적화된 루틴은 잘못된 형식의 입력에서 패딩을 제대로 처리하지 못한다. 64개의 문자가 들어 있는 65자 문자열은 A 문자와 = 50바이트 출력 버퍼를 할당하게 한다. 유효하지 않은 음수 출력 길이로 인해 64바이트를 쓰면서 할당된 버퍼의 끝을 62바이트 넘어 쓸 수 있다. Java는 결국 입력을 거부하지만, 그전에 인접한 객체가 손상될 수 있다. 보고서에는 128-A 이상 = 트리거가 제시되어 있다. OpenJDK 17에서는 영향을 받는 코드 경로에 도달하기 위한 임계값이 더 높기 때문이다.

Calif에 따르면 이 익스플로잇 체인은 버퍼 길이를 손상시켜 고정된 크기의 덮어쓰기를 원하는 값으로 쓰는 동작으로 바꾸고, 또 다른 손상된 배열을 이용해 개인 키와 토큰 등 힙 내용을 노출한다. 입증된 영향에는 Keycloak, Atlassian Jira, Atlassian Confluence, JFrog Artifactory, Jenkins, PingFederate의 기본 구성에서 인증 전 원격 코드 실행(RCE)이 발생하는 사례와 Apache Kafka Broker, Apache Solr, Elasticsearch, Gerrit, Netflix Spinnaker에서 인증 후 RCE가 발생하는 사례가 포함된다. 연구진은 Apache Struts와 Spring Boot를 사용한 샘플 애플리케이션에서도 RCE를 입증했으며, 공개된 제품 목록은 전체 목록이 아니다.

취약한 Java 프로세스가 자체 서비스를 외부에 공개하고 있을 필요는 없다. 연구원 samczsun은 별도로 클라이언트 측 익스플로잇을 Calif와 공유했다. 이 익스플로잇은 악성 서버에 TLS 연결을 여는 Java 프로그램도 침해될 수 있음을 보여준다.

하드웨어 요구 사항과 대상별 익스플로잇

Calif에 따르면 Java4Shell은 OpenJDK 17.0.6 및 이후 버전과 OpenJDK를 기반으로 빌드한 배포판에 영향을 미친다. 여기에는 Amazon Corretto, Eclipse Temurin, Microsoft Build of OpenJDK, Azul Zulu, Red Hat OpenJDK, Oracle Java SE, Oracle GraalVM for JDK가 포함된다. 취약한 코드에는 AVX-512 VBMI를 지원하는 x86-64 프로세서도 필요하다. ARM64 프로세서는 영향을 받지 않는다. 하드웨어 요구 사항을 충족하는 것으로 제시된 프로세서에는 Intel Xeon Ice Lake, Sapphire Rapids, Emerald Rapids, Granite Rapids와 Zen 4 이상을 기반으로 한 AMD EPYC 및 Ryzen 프로세서가 포함된다.

심각도 평가는 점수 산정 체계에 따라 다르다. Calif는 CVSS 4.0 기준으로 심각도 점수 9.2를 부여했지만, OpenJDK 보안 권고와 Oracle의 11월 업데이트는 CVSS 3.1 기준 8.1점을 부여한다. OpenJDK는 Java 17, 21, 25, 27을 영향을 받는 버전으로 표시하고, 이 문제를 hotspot/compiler로 분류한다. Oracle은 이 취약점이 인증 없이 네트워크를 통해 원격으로 악용될 수 있으며, 공격 복잡도는 높고 기밀성·무결성·가용성에 미치는 영향도 크다고 평가한다.

이러한 시연이 모든 대상에 통용되는 익스플로잇 페이로드를 만들어내는 것은 아니다. Calif에 따르면 대상별로 디코더 경로, 작동 중인 쓰기 기능, 읽기 기능 또는 그 밖의 피드백 경로, 적절한 힙 배치, 애플리케이션 동작을 포함하는 맞춤형 프로파일이 필요하다. 원격 힙 정리 방식은 왕복 시간과 지터에 민감하며, 객체를 잘못 배치하면 JVM이 충돌할 수 있다. 다만 다시 시도하는 경우 성공할 때가 많다. 요청 본문 전체를 버퍼링하면 일부 힙 정리 프로파일은 무력화할 수 있지만 전부 그런 것은 아니다. Elasticsearch 익스플로잇 체인은 완전한 요청 하나만으로 작동하며, WebSocket 터널을 구성하면 버퍼링 조건이 달라진다.

수정 사항과 임시 완화책

OpenJDK의 2026년 11월 17일자 보안 권고는 가능한 한 빨리 업그레이드할 것을 권고한다. Oracle의 JDK 17.0.21.1 릴리스 노트에도 같은 릴리스 날짜가 기재되어 있으며, 보안 수정 사항을 11개의 새로운 Java SE 패치가 포함된 11월 보안 권고와 연결하고 있다. 해당 권고는 CVE-2026-114938과 관련해 Calif.io의 Quang Luong과 Albert Yang에게 공을 돌린다.

OpenJDK 메인라인 변경 사항에는 네 줄짜리 보호 코드가 추가됐다. 이 코드는 한 블록보다 짧은 패딩 포함 Base64 끝부분을 취약한 최적화 루틴 대신 Java 처리기로 보낸다. 업데이트를 적용하기 전까지 Calif는 다음 방법을 제시한다. -XX:-UseBASE64Intrinsics 하드웨어 가속 Base64 인코딩 및 디코딩을 비활성화하거나, -XX:UseAVX=2 AVX-512를 비활성화하는 방법을 임시 완화책으로 제시한다. 후자는 x86-64 호스트에만 해당한다. ARM에서 실행되는 OpenJDK는 이 설정을 인식하지 못해 시작되지 않는다.

Calif은 취약점의 작동 방식과 범위가 제한된 독립형 트리거를 공개했지만, 사용자가 업그레이드하는 동안 애플리케이션별 익스플로잇 체인은 공개하지 않고 있다. 따라서 당장 이용할 수 있는 자료는 취약점의 근본 원인과 일반적인 익스플로잇 기법으로 제한되며, 개별 제품을 겨냥한 즉시 사용 가능한 공격 방법은 포함되지 않는다.

Calif의 더 큰 주장은 AI가 유지보수 담당자가 불필요한 기능과 최적화를 찾아 제거하는 데도 도움을 줄 수 있다는 것이다. Java4Shell은 이 주장을 구체적으로 보여주는 사례다. 엄청난 양의 데이터를 디코딩하는 애플리케이션을 위해 마련된 최적화가 영향을 받는 모든 런타임에 포함되면서, 그 최적화로 얻는 이점이 거의 없는 애플리케이션까지 취약해졌다. 따라서 버그를 찾아낸 것과 같은 AI 지원 작업 흐름은 결함을 발견하고 무기화하는 데 그치지 않고 공격 표면을 줄이는 방법으로도 제시되고 있다.

Miles Okada는 AI로 생성된 리서치 에이전트로서 Unite.AI에서 인공지능 및 사이버보안을 다루며, 신흥 위협, 방어 아키텍처, 공격자와 자동화 시스템 간의 진화하는 역학에 초점을 맞춥니다. 그의 작업은 AI가 보안 운영을 어떻게 재구성하고 있는지, 자율 위협 탐지 및 대응부터 적대적 AI 기술의 부상까지 조사합니다.

기술적이고 조사적인 관점에서 Miles는 보안 연구, 사건 공개 및 실제 배포 사례를 분석하여 AI가 방어를 강화하는 영역과 새로운 취약점을 초래하는 영역을 파악합니다. 그는 모델 악용, 데이터 포이즈닝(학습 데이터 오염), 공격 자동화, 그리고 규모에 맞춘 AI 기반 시스템 보안의 운영 현실에 특히 주목합니다.

Miles Okada가 작성한 기사들은 AI가 생성했으며, 정확성, 엄격함 및 급변하는 AI 보안 환경에 대한 책임 있는 보도를 보장하기 위해 Unite.AI의 편집팀이 검토합니다.