AI 세계 모델이 실제로 물리 법칙을 이해할 수 있는가?

비전-언어 AI 모델의伟大한 희망은 그것이 결국 더 큰 자율성과 다재다능성을 갖추게 될 것이라는 것이다. 즉, 우리가 초기 경험을 통해 물리 법칙을 이해하는 것과 마찬가지로 물리 법칙의 원리를 내재화하는 것이다.

예를 들어, 아이들의 공놀이는 운동 역학에 대한 이해를 발달시키고, 무게와 표면 질감이 궤적에 미치는 영향을 이해하게 한다. 마찬가지로, 목욕, 쏟은 음료, 바다, 수영장 및 기타 다양한 액체에 대한 상호작용은 중력에 대한 유연하고 확장 가능한 이해를 우리에게 심어준다.

조금 더 드문 현상들의 가정 – 예를 들어 연소, 폭발 및 압력下的 건축 구조의 중량 분포 – 는 텔레비전 프로그램, 영화 또는 소셜 미디어 비디오를 통해 무의식적으로 흡수된다.

우리가 이러한 시스템의 원리를 학습할 때, 학문적 수준에서, 우리는 단지 우리의 직관적이지만 무지한 마음의 모델을 ‘리트로핏’하는 것일 뿐이다.

한 분야의 대가

현재 대부분의 AI 모델은 더 ‘전문적’이며, 많은 모델이 특정 사용 사례에 특화된 이미지 또는 비디오 데이터셋에서 미세 조정되거나 학습되거나, 물리 법칙을 이해하는 일반적인 능력을 개발하는 대신 특정 사용 사례에 특화된 이미지 또는 비디오 데이터셋에서 미세 조정되거나 학습된다.

다른 모델은 물리 법칙을 이해하는 것처럼 보일 수 있지만, 실제로는 물리 법칙의 기본을 이해하는 대신에 훈련 데이터에서 샘플을 복제할 수 있다. 즉, 사용자의 프롬프트에서真正로 새로운 및 과학적으로 가능성 있는 묘사를 생성할 수 있는 능력이 아니라, 훈련 과정에서 본 데이터의 약간의 변형을 복제하는 능력이다.

생성적 AI 시스템의 제품화 및 상업화의 이 중요한 시점에서, 우리는 이러한 새로운 AI 모델의 마케팅과 그 한계의 현실을 구별해야 한다.

11월의 가장 흥미로운 논문 중 하나는 Bytedance Research가 주도한 것으로, ‘모든 용도의’ 생성 모델인 Sora와 같은 모델의 명목상 및 실제 능력 사이의 간격을 탐구했다.

연구는 현재 상태에서 이러한 모델의 생성 출력이 실제로 물리 법칙을 이해하는 것보다 훈련 데이터의 샘플을 모방하는 경향이 있음을 결론지었다.

이 논문은 다음과 같이 말한다:

‘이러한 모델은 훈련 세트의 “속임수” 예제에 의해 쉽게 편향될 수 있으며, 특정 조건에서 “사례 기반” 방식으로 일반화한다. 이 현상은 또한 대규모 언어 모델에서 관찰되며, 모델이 새로운 작업을 해결할 때 유사한 훈련 사례를 참조하는 경향을 설명한다.

‘예를 들어, 고속으로 이동하는 공의 비디오로 훈련된 모델이 있다면, 비디오 데이터를 수평으로 뒤집어서 역방향运动을 도입하면, 모델은 초기 프레임 이후에 공의 방향을 반전시킬 수 있다. 이는 물리적으로 올바르지 않다.

우리는 곧 이 논문에 대해 자세히 살펴볼 것이다. 그러나 먼저 이러한 제한의 배경을 살펴보겠다.

과거의 기억

일반화가 없으면, 훈련된 AI 모델은 단지 자신의 훈련 데이터의 참조에 대한 비싼 스프레드시트에 불과하다. 즉, 적절한 검색어를 찾으면, 훈련 데이터의 인스턴스를 소환할 수 있다.

그러나 이 시나리오에서는 모델은 추상적이거나 ‘창의적’한 출력의 해석을 생성할 수 없으며, 훈련 과정에서 본 데이터의 약간의 변형을 복제하는 것만 가능하다.

이것은 ‘기억’이라고 하는 문제로,真正로 유연하고 해석 가능한 AI 모델은 세부 사항이 부족한 반면, 세부 사항이 풍부한 모델은 유연성과 적응성이 부족하다.

기억에 영향을 받는 모델은 훈련 데이터를 복제할 수 있는 능력이 있지만, 이는 모델의 생성자가 해당 데이터를 사용하는 데 대한 권리를 가지고 있지 않은 경우 법적 장벽이 될 수 있다. 또한 이러한 데이터의 이점을 입증할 수 있는 많은 추출 방법이 있다.

기억으로 인해 비인가된 데이터의 흔적이 여러 훈련 시스템을 통해 지속적으로 남을 수 있다. 이는 의도하지 않은 물자국과 같은 것이며, 기계 학습 실무자가 ‘안전한’ 데이터를 사용하는 데 주의를 기울였다고 하더라도 발생할 수 있다.

세계 모델

그러나 기억의 주요 사용 문제는 모델이 실제로 물리 법칙을 일반화하거나 도메인을 이해하는 것처럼 보이지만, 실제로는 많은 양의 기억된 데이터가 이러한 환상을 제공한다는 것이다.

이 문제는 생성 이미지 및 비디오 분야에서 특히 관심을 끌고 있다. 2023년에 RunwayML은 이러한 모델의 개발 및 실현 가능성에 대한 연구를 시작했다. DeepMind는 최근에 유명한 Sora 생성 비디오의 원래 개발자를 고용하여 이러한 종류의 모델을 개발하기 위해 일하게 했다. 또한 Higgsfield와 같은 스타트업은 이미지 및 비디오 합성에 대한 세계 모델에大量으로 투자하고 있다.

어려운 조합

신규 개발된 생성 비디오 AI 시스템의 하나의 약속은 그것이 기본 물리 법칙을 학습할 수 있다는 것이다. 예를 들어, 운동, 인간의 운동학(예: 걸음 특성), 유체 역학 및 인간에게 시각적으로 친숙한 다른 물리 현상이다.

만약 생성적 AI가 이 里程碑을 달성할 수 있다면, 그것은 실제 폭발,洪水 및 다양한 객체 간의 충돌 이벤트를 묘사하는 超현실적인 시각적 효과를 생성할 수 있을 것이다.

그러나 만약 AI 시스템이 단지 이러한 이벤트를 묘사하는 수천 개의 비디오에서 훈련되었다면, 사용자의 쿼리가 훈련 데이터와 비슷한 경우에 그것은 훈련 데이터를 매우 убед적으로 복제할 수 있다. 그러나 쿼리가 너무 많은 개념을 결합하는 경우, 시스템은 실패하거나 사용자의 프롬프트에 따라하지 않는 가장 가까운 의미 있는 예제로 기본적으로 돌아갈 수 있다.

예를 들어, 건물이 폭파되는 것과 같은 비교적 일반적이고 널리 퍼진 이벤트는 모델을 훈련하는 데 사용된 데이터셋에 여러 번 나타날 수 있다. 따라서 모델은 이 개념을 잘 일반화하고, 심지어 훈련에서 본 매개 변수 내에서真正로 새로운 출력을 생성할 수 있다.

이것은 ‘in-distribution’ 예제이다. 즉, 데이터셋에는 모델이 학습할 수 있는 많은 유용한 예제가 포함되어 있다.

그러나 만약 더 이상한 또는 의심스러운 예제를 요청한다면, 예를 들어 ‘에펠탑이 외계인 침략자에 의해 폭파된다’고 가정한다면, 모델은 ‘금속 특성’, ‘폭발 특성’, ‘중력’, ‘풍 저항’ 및 ‘외계인 우주선’과 같은 다양한 도메인을 결합해야 한다.

이것은 ‘out-of-distribution’ (OOD) 예제이다. 즉, 시스템은 너무 많은 얽힌 개념을 결합해야 하므로, 그것은 убед적인 예제를 생성할 수 없거나, 사용자의 프롬프트에 따라하지 않는 가장 가까운 의미 있는 예제로 기본적으로 돌아갈 수 있다.

물리적 제약

Bytedance, Tsinghua University 및 Technion 간의 새로운 논문은 Sora와 같은 모델이 실제로 물리 법칙을 내재화하지 못한다는 것을 제안한다. 또한 데이터를 확장하는 것이(최근 18개월 동안 일반적인 접근 방식) 이러한 측면에서 실제로 개선되지 않는다.

이 논문은 물리 법칙의 특정한 외삽의 한계를 탐구할 뿐만 아니라, 모델의 ‘조합 일반화’ 능력도 탐구한다. 즉, 두 가지 다른 물리 법칙의 표현이 하나의 생성 출력으로 결합되어 물리 법칙에 충실한 일관된 운동을 생성하는能力이다.

새로운 논문에 대한 비디오 요약. 출처: https://x.com/bingyikang/status/1853635009611219019

연구자들은 연구를 위해 세 가지 물리 법칙을 선택했다. 즉, 포물선 운동, 일정한 선형 운동 및 완전 탄성 충돌이다.

위의 비디오에서 볼 수 있듯이, 결과는 Sora와 같은 모델이 실제로 물리 법칙을 내재화하지 못하고, 훈련 데이터를 복제하는 경향이 있음을 나타낸다.

또한 저자들은 색상과 모양이 추론 시간에 너무 얽혀서, 생성된 공이 실제로 네모로 변할 수 있음을 발견했다. 즉, 데이터셋의 예제에서 유사한 운동이 네모로 나타났기 때문이다(위에 첨부된 비디오에서 예제 참조).

이 논문은 다음과 같이 말한다:

‘우리의 연구는 데이터의 확장만으로는 비디오 생성 모델이 기본 물리 법칙을 발견하는 데 충분하지 않음을 시사한다.

‘… (결과는) 모델의 일반화가 보편적인 규칙을 학습하는 것보다 유사한 훈련 예제를 참조하는 것에 더 많이 의존한다는 것을 나타낸다. 우리는 “색상 > 크기 > 속도 > 모양”의 “사례 기반” 행동의 우선 순위를 관찰했다.

‘우리의 연구는 비디오 모델의 일반화가 유사한 훈련 예제를 참조하는 것보다 보편적인 규칙을 학습하는 데 더 많이 의존한다는 것을 시사한다.

연구 팀이 이 문제에 대한 해결책을 찾았는지 묻자, 논문의 한 저자는 다음과 같이 말했다:

‘불행히도, 우리는 아직 찾지 못했다. 실제로, 이것은 전체 AI 커뮤니티의 임무일 것이다.’

방법 및 데이터

연구자들은 비디오 샘플을 생성하기 위해 Variational Autoencoder (VAE) 및 DiT 아키텍처를 사용했다. 이 설정에서 VAE에서 생성된 압축된 잠재적 표현은 DiT의 denoising 프로세스와 함께 작동한다.

비디오는 Stable Diffusion V1.5-VAE에서 훈련되었다. 스키마는 기본적으로 변경되지 않았으며, 오직 프로세스의 끝에 구조적 향상을 추가했다.

‘우리는 원래 2D畳み込み, 그룹 정규화 및 공간 차원上的 주의 메커니즘의 대부분을 유지한다.

‘이 구조를 공간-시간 오토인코더로 확장하기 위해, 우리는 인코더의 마지막 몇 개의 2D 다운샘플 블록과 디코더의 초기 몇 개의 2D 업샘플 블록을 3D로 변환하고, 시간 모델링을 강화하기 위해 여러 개의 추가 1D 레이어를 사용한다.’

이미지 데이터셋은 Stable Diffusion의 원래 소스인 LAION-Aesthetics를 사용했으며, DataComp를 필터링했다. 비디오 데이터는 Vimeo-90K, Panda-70m 및 HDVG 데이터셋의 부분집합에서 수집했다.

데이터는 100만 단계 동안 훈련되었으며, 무작위 크기 조정 및 무작위 수평 플립이 데이터 증강 프로세스로 적용되었다.

뒤집기

위에서 언급한 바와 같이, 무작위 수평 플립 데이터 증강 프로세스는 실제 운동을 생성하는 시스템을 훈련할 때 단점이 될 수 있다. 즉, 훈련된 모델의 출력은 객체의 두 방향을 모두 고려하여, 충돌을 처리하려고 할 때 임의의 반전을 일으킬 수 있다(위에 첨부된 비디오 참조).

반면에, 수평 플립을 끄면, 모델은 훈련 데이터에서 학습한 단일 방향에만 해당하는 출력을 생성할 가능성이 더 높다.

따라서 이 문제에 대한 쉬운 해결책은 없으며, 시스템이 실제로 모든 가능성의 운동을 완전히 내재화하는 것이 필요하다. 이는 아이들이 쉽게 발달시키는 능력이나 능력이지만, AI 모델에게는 더 큰 도전이다.

테스트

첫 번째 실험 세트에서는 연구자들이 물체의 운동과 충돌이 고전 역학의 법칙에 따라 생성되는 비디오를 생성하기 위해 2D 시뮬레이터를 설계했다. 이는 모델의 평가를 위한 높은 볼륨의 제어된 데이터셋을 제공했으며, 실제 비디오의 모호성을 제거했다. Box2D 물리 게임 엔진을 사용하여 이러한 비디오를 생성했다.

위에서 언급한 세 가지 기본 시나리오가 테스트의重点이었다. 즉, 일정한 선형 운동, 완전 탄성 충돌 및 포물선 운동이다.

다양한 크기(30,000개에서 300만 개의 비디오)의 데이터셋을 사용하여 서로 다른 크기와 복잡성의 모델(DiT-S에서 DiT-L까지)을 훈련했다. 각 비디오의 첫 세 프레임을 조건으로 사용했다.

첫 번째 실험 세트에서 훈련된 다양한 모델의 세부 정보. 출처: https://arxiv.org/pdf/2411.02385

연구자들은 in-distribution 결과가 증가하는 데이터 양과 함께 잘 확장되는 반면, out-of-distribution 생성은 개선되지 않는다는 것을 발견했다. 이는 일반화에 대한 모델의 한계를 나타낸다.

첫 번째 테스트 세트의 결과.

저자들은 다음과 같이 말한다:

‘이 발견은 OOD 시나리오에서 스케일링이推論을 수행하는 데 불충분하다는 것을 시사한다.’

다음으로, 연구자들은 조합 일반화를 나타내는 시스템을 테스트하고 훈련했다. 즉, 두 가지 다른 운동을 결합하여 물리 법칙에 충실한 일관된 운동을 생성하는 능력이다.

이 테스트의 평가 메트릭은 Fréchet Video Distance (FVD), Structural Similarity Index (SSIM), Peak Signal-to-Noise Ratio (PSNR), Learned Perceptual Similarity Metrics (LPIPS) 및 인간 연구(결과에서 ‘abnormal’로 표시)였다.

세 가지 크기(100,000개, 600만 개 및 300만 개의 비디오)의 훈련 데이터셋을 생성했다. DiT-B 및 DiT-XL 모델을 사용했으며, 각 비디오의 첫 번째 프레임을 조건으로 사용했다.

모델은 256×256 해상도에서 32프레임의 비디오로 100만 단계 동안 훈련되었다.

두 번째 테스트 세트의 결과.

이 테스트의 결과는 단순히 데이터 볼륨을 증가시키는 접근이 충분하지 않음을 시사한다.

이 논문은 다음과 같이 말한다:

‘이 결과는 모델 능력과 조합 공간의 커버리지가 조합 일반화에 중요하다는 것을 시사한다. 이는 비디오 생성을 위한 스케일링 법칙이 데이터 볼륨을 증가시키는 것보다 조합 다양성을 증가시키는 데 중점을 두어야 함을 의미한다.’

마지막으로, 연구자들은 비디오 생성 모델이 실제로 물리 법칙을 내재화할 수 있는지, 또는 단순히 훈련 데이터를 복제하는지 여부를 확인하기 위해 추가 테스트를 수행했다.

여기서 mereka는 ‘사례 기반’ 일반화의 개념을 조사했다. 즉, 모델이 새로운 상황에 직면했을 때 특정 훈련 예제를 모방하는 경향이 있는지 여부를 조사했다. 또한 정형 운동, 특히 훈련 데이터의 방향이 모델의 예측에 미치는 영향을 조사했다.

정형 운동 및 충돌에 대한 두 개의 훈련 데이터셋을 수집했으며, 각 데이터셋은 속도 2.5에서 4 단위 사이의 정형 운동 비디오를 나타냈다. 첫 세 프레임을 조건으로 사용했다.

아래는 정형 운동 생성 테스트의 결과이다.

정형 운동 생성 테스트의 결과, 여기서 ‘속도’ 변수는 훈련 중에 생략되었다.

저자들은 다음과 같이 말한다:

‘훈련 세트에 큰 간격이 있는 경우, 모델은 높은 속도 또는 낮은 속도로 훈련 데이터를 닮도록 생성하는 경향이 있다.’

충돌 테스트의 경우, 모델은 2차원 비선형 함수를 학습해야 한다.

충돌: 세 번째 및 마지막 테스트 세트의 결과.

저자들은 ‘속임수’ 예제(예: 역방향 운동)의 존재가 모델을 속여서 물리적으로 올바르지 않은 예측을 생성하게 할 수 있음을 관찰했다.

결론

비 AI 알고리즘(즉, ‘구현된’, 절차적 방법)이 물리 현상(예: 유체, 중력下的 물체 또는 압력下的 물체)의 행동을 위한 수학적 규칙을 포함하는 경우, 정확한 렌더링을 위한 일련의 불변 상수가 사용할 수 있다.

그러나 새로운 논문의 발견은 생성 모델이 훈련 과정에서 이러한 물리 법칙의 동일한 관계나 내재된 이해를 개발하지 않는다는 것을 시사한다. 또한 데이터를 증가시키는 것은 문제를 해결하지 못하고, 오히려 더 많은 훈련 비디오가 시스템에 추론 시간에 모방할 수 있도록 제공되기 때문에 문제를 가려버린다.

* 저자의 인라인 인용을 하이퍼링크로 변환한 내 버전.

2024년 11월 26일 처음 게시됨.