Liệu Mô Hình Thế Giới AI Có Thật Sự Hiểu Được Các Định Luật Vật Lý?

Hy vọng lớn cho các mô hình AI ngôn ngữ hình ảnh là một ngày nào đó chúng sẽ trở nên tự chủ và đa năng hơn, kết hợp các nguyên tắc của các định luật vật lý theo cách tương tự như chúng ta phát triển sự hiểu biết bản năng về các nguyên tắc này thông qua kinh nghiệm sớm.

Ví dụ, các trò chơi bóng của trẻ em có xu hướng phát triển sự hiểu biết về động lực học, và về ảnh hưởng của trọng lượng và kết cấu bề mặt đến quỹ đạo. Tương tự, các tương tác với các tình huống phổ biến như tắm, đổ nước, đại dương, hồ bơi và các chất lỏng đa dạng khác sẽ giúp chúng ta hiểu rõ về cách chất lỏng hành xử dưới trọng lực.

Thậm chí các giả định về các hiện tượng ít phổ biến hơn – như sự cháy, vụ nổ và phân bố trọng lượng kiến trúc dưới áp lực – được hấp thụ vô thức thông qua việc xem các chương trình TV và phim, hoặc các video trên mạng xã hội.

Khi chúng ta nghiên cứu các nguyên tắc đằng sau những hệ thống này ở mức học thuật, chúng ta chỉ đơn giản là ‘tái trang bị’ các mô hình tinh thần trực giác (nhưng không được thông tin) của chúng ta.

Chuyên Gia Của Một

Hiện tại, hầu hết các mô hình AI đều được tinh chỉnh hoặc được đào tạo từ đầu trên các tập dữ liệu hình ảnh hoặc video rất cụ thể cho các trường hợp sử dụng nhất định, chứ không được thiết kế để phát triển sự hiểu biết chung về các định luật điều khiển.

Others có thể trình bày hiện diện của sự hiểu biết về các định luật vật lý; nhưng chúng có thể thực sự chỉ sao chép các mẫu từ dữ liệu đào tạo của chúng, chứ không thực sự hiểu biết cơ bản về các lĩnh vực như vật lý chuyển động theo cách có thể tạo ra các mô tả mới (và có thể xảy ra về mặt khoa học) từ các yêu cầu của người dùng.

Ở thời điểm then chốt này trong việc sản phẩm hóa và thương mại hóa các hệ thống AI tạo sinh, điều quan trọng là chúng ta phải phân biệt giữa việc tiếp thị các mô hình AI mới và thực tế về các hạn chế của chúng.

Một trong những bài báo thú vị nhất vào tháng 11, do Bytedance Research dẫn đầu, đã giải quyết vấn đề này, khám phá khoảng cách giữa khả năng hiển thị và khả năng thực sự của các mô hình tạo sinh ‘mọi mục đích’ như Sora.

Công việc đã kết luận rằng tại trạng thái hiện tại của nghệ thuật, đầu ra được tạo ra từ các mô hình thuộc loại này có nhiều khả năng sao chép các mẫu từ dữ liệu đào tạo hơn là thực sự chứng tỏ sự hiểu biết đầy đủ về các hạn chế vật lý cơ bản hoạt động trong thế giới thực.

Bản thân bài báo tuyên bố*:

‘[Những] mô hình này có thể dễ dàng bị thiên vị bởi “lừa đảo” các mẫu từ tập dữ liệu đào tạo, dẫn chúng đến việc khái quát hóa theo cách “dựa trên trường hợp” trong某些 điều kiện. Hiện tượng này, cũng được quan sát trong các mô hình ngôn ngữ lớn, mô tả xu hướng của mô hình để tham khảo các trường hợp đào tạo tương tự khi giải quyết các nhiệm vụ mới.

‘Ví dụ, hãy xem xét một mô hình video được đào tạo trên dữ liệu về một quả bóng di chuyển với chuyển động tuyến tính đồng đều. Nếu tăng cường dữ liệu được thực hiện bằng cách lật ngang các video, giới thiệu chuyển động ngược chiều, mô hình có thể tạo ra một kịch bản trong đó một quả bóng chậm đảo ngược hướng sau các khung hình ban đầu, mặc dù hành vi này không chính xác về mặt vật lý.’

Chúng tôi sẽ xem xét kỹ lưỡng bài báo – có tiêu đề Đánh giá Mô Hình Thế Giới với LLM để Ra Quyết Định – sớm. Nhưng trước tiên, hãy xem xét bối cảnh cho những hạn chế rõ ràng này.

Nhớ Lại Những Điều Quá Khứ

Không có khái quát hóa, một mô hình AI được đào tạo chỉ là một bảng tính đắt tiền chứa các tham chiếu đến các phần của dữ liệu đào tạo của nó: tìm từ khóa phù hợp, và bạn có thể triệu tập một bản sao của dữ liệu đó.

Trong kịch bản này, mô hình thực sự hoạt động như một ‘công cụ tìm kiếm thần kinh’, vì nó không thể tạo ra các giải thích trừu tượng hoặc ‘sáng tạo’ của đầu ra mong muốn, mà thay vào đó sao chép một số biến thể nhỏ của dữ liệu mà nó đã thấy trong quá trình đào tạo.

Điều này được gọi là học thuộc – một vấn đề gây tranh cãi phát sinh vì các mô hình AI thực sự dẻo và giải thích thường thiếu chi tiết, trong khi các mô hình chi tiết thường thiếu tính linh hoạt và sáng tạo.

Khả năng của các mô hình bị ảnh hưởng bởi học thuộc để sao chép dữ liệu đào tạo là một chướng ngại vật pháp lý tiềm ẩn, trong các trường hợp mà các nhà tạo mô hình không có quyền sử dụng không bị cản trở đối với dữ liệu đó; và nơi lợi ích từ dữ liệu đó có thể được chứng minh thông qua số lượng ngày càng tăng các phương pháp trích xuất.

Do học thuộc, các dấu vết của dữ liệu không được ủy quyền có thể persist, daisy-chained, thông qua nhiều hệ thống đào tạo, như một dấu vết không thể xóa và không mong muốn – ngay cả trong các dự án mà nhà thực hành học máy đã cẩn thận đảm bảo rằng ‘dữ liệu an toàn’ được sử dụng.

Mô Hình Thế Giới

Tuy nhiên, vấn đề sử dụng chính với học thuộc là nó có xu hướng tạo ra ảo giác về trí thông minh, hoặc gợi ý rằng mô hình AI đã khái quát hóa các định luật hoặc lĩnh vực cơ bản, trong khi thực tế là lượng lớn dữ liệu đã học thuộc tạo ra ảo giác này (tức là mô hình có rất nhiều ví dụ dữ liệu để chọn, vì vậy rất khó cho con người để xác định liệu nó có đang nôn ra nội dung đã học hay không có sự hiểu biết trừu tượng thực sự về các khái niệm liên quan đến việc tạo ra).

vấn đề này có ý nghĩa đối với sự quan tâm ngày càng tăng đến mô hình thế giới – triển vọng của các hệ thống AI đa dạng và tốn kém được đào tạo, kết hợp nhiều định luật đã biết và có thể khám phá được.

Mô hình thế giới đặc biệt quan trọng trong không gian hình ảnh và video tạo sinh. Vào năm 2023, RunwayML đã bắt đầu một nỗ lực nghiên cứu về sự phát triển và tính khả thi của các mô hình như vậy; DeepMind gần đây đã thuê một trong những người tạo ra mô hình video tạo sinh được ca ngợi Sora để làm việc trên một mô hình như vậy; và các công ty khởi nghiệp như Higgsfield đang đầu tư đáng kể vào mô hình thế giới cho tổng hợp hình ảnh và video.

Các Kombinasi Khó

Một trong những lời hứa của các phát triển mới trong hệ thống AI tạo sinh video là khả năng học các định luật vật lý cơ bản, chẳng hạn như chuyển động, động học của con người (chẳng hạn như đặc điểm đi), động lực học chất lỏng, và các hiện tượng vật lý khác đã biết, ít nhất là về mặt trực quan, quen thuộc với con người.

Nếu AI tạo sinh có thể đạt được cột mốc này, nó có thể trở nên có khả năng tạo ra các hiệu ứng hình ảnh siêu thực, mô tả các vụ nổ, lũ lụt và các sự kiện va chạm có thể xảy ra trên nhiều loại vật thể.

Mặt khác, nếu hệ thống AI chỉ được đào tạo trên hàng nghìn (hoặc hàng trăm nghìn) video mô tả các sự kiện như vậy, nó có thể có khả năng sao chép dữ liệu đào tạo khá thuyết phục khi nó được đào tạo trên một điểm dữ liệu tương tự với truy vấn mục tiêu của người dùng; nhưng thất bại nếu truy vấn kết hợp quá nhiều khái niệm mà trong sự kết hợp như vậy không được đại diện ở tất cả trong dữ liệu.

Hơn nữa, những hạn chế này sẽ không ngay lập tức rõ ràng, cho đến khi bạn đẩy hệ thống với các kết hợp đầy thách thức như vậy.

Điều này có nghĩa là một hệ thống tạo sinh mới có thể tạo ra nội dung video lan truyền mà, mặc dù ấn tượng, có thể tạo ra ấn tượng sai về khả năng và độ sâu của sự hiểu biết của hệ thống, vì nhiệm vụ mà nó đại diện không phải là một thách thức thực sự cho hệ thống.

Ví dụ, một sự kiện tương đối phổ biến và phổ biến, chẳng hạn như ‘một tòa nhà bị phá hủy’, có thể có mặt trong nhiều video trong một tập dữ liệu được sử dụng để đào tạo một mô hình được cho là có một số hiểu biết về vật lý. Do đó, mô hình có thể khái quát hóa khái niệm này một cách tốt và thậm chí tạo ra đầu ra mới thực sự trong các tham số được học từ các video dồi dào.

Đây là một ví dụ trong phân phối, nơi tập dữ liệu chứa nhiều ví dụ hữu ích cho hệ thống AI để học hỏi.

Tuy nhiên, nếu bạn yêu cầu một ví dụ kỳ lạ hoặc không thể xảy ra hơn, chẳng hạn như ‘Tháp Eiffel bị người ngoài hành tinh phá hủy’, mô hình sẽ phải kết hợp các lĩnh vực đa dạng như ‘tính chất kim loại’, ‘đặc điểm của vụ nổ’, ‘trọng lực’, ‘kháng gió’ – và ‘tàu vũ trụ ngoài hành tinh’.

Đây là một ví dụ ngoài phân phối (OOD), kết hợp nhiều khái niệm liên kết mà hệ thống sẽ có khả năng thất bại trong việc tạo ra một ví dụ thuyết phục, hoặc sẽ mặc định trở lại ví dụ ngữ nghĩa gần nhất mà nó đã được đào tạo – ngay cả khi ví dụ đó không tuân theo yêu cầu của người dùng.

Trừ khi tập dữ liệu nguồn của mô hình chứa các hiệu ứng hình ảnh CGI dựa trên Hollywood mô tả cùng một sự kiện hoặc tương tự, sự mô tả như vậy sẽ tuyệt đối yêu cầu mô hình đạt được sự hiểu biết khái quát và dẻo về các định luật vật lý.

Hạn Chế Vật Lý

Bài báo mới – một sự hợp tác giữa Bytedance, Đại học Tsinghua và Technion – gợi ý không chỉ rằng các mô hình như Sora không thực sự nội hóa các định luật vật lý quyết định theo cách này, mà còn rằng việc tăng quy mô dữ liệu (một cách tiếp cận phổ biến trong 18 tháng qua) dường như không mang lại sự cải thiện thực sự trong vấn đề này.

Bài báo khám phá không chỉ các giới hạn của việc ngoại suy các định luật vật lý cụ thể – chẳng hạn như hành vi của các vật thể trong chuyển động khi chúng va chạm, hoặc khi đường đi của chúng bị cản trở – mà còn khả năng tổng quát hóa kết hợp của mô hình – các trường hợp mà các biểu diễn của hai nguyên tắc vật lý khác nhau được kết hợp thành một đầu ra tạo sinh duy nhất.

Một video tóm tắt về bài báo mới. Source: https://x.com/bingyikang/status/1853635009611219019

Ba định luật vật lý được các nhà nghiên cứu chọn để nghiên cứu là chuyển động parabol; chuyển động tuyến tính đồng đều; và va chạm hoàn toàn đàn hồi.

Như có thể thấy trong video trên, các phát hiện cho thấy rằng các mô hình như Sora không thực sự nội hóa các định luật vật lý, mà có xu hướng sao chép dữ liệu đào tạo.

Hơn nữa, các tác giả đã tìm thấy rằng các khía cạnh như màu sắc và hình dạng trở nên liên kết chặt chẽ đến thời điểm suy luận mà một quả bóng được tạo ra có khả năng biến thành một hình vuông, rõ ràng là vì một chuyển động tương tự trong một ví dụ dữ liệu có một hình vuông và không phải là một quả bóng (xem ví dụ trong video nhúng trên).

Bài báo kết luận*:

‘Nghiên cứu của chúng tôi cho thấy rằng việc tăng quy mô đơn thuần là không đủ để các mô hình tạo sinh video khám phá các định luật vật lý cơ bản, bất chấp vai trò của nó trong thành công rộng lớn hơn của Sora…

‘…[Phát hiện] cho thấy rằng việc tăng quy mô đơn thuần không thể giải quyết được vấn đề OOD, mặc dù nó tăng cường hiệu suất trong các kịch bản khác.

‘Phân tích sâu của chúng tôi cho thấy rằng tổng quát hóa mô hình video phụ thuộc nhiều hơn vào việc tham khảo các ví dụ đào tạo tương tự hơn là học các quy tắc phổ quát. Chúng tôi quan sát thấy một thứ tự ưu tiên của màu sắc > kích thước > tốc độ > hình dạng trong hành vi “dựa trên trường hợp” này.

‘Nghiên cứu của chúng tôi cho thấy rằng việc tăng quy mô đơn thuần là không đủ để các mô hình tạo sinh video khám phá các định luật vật lý cơ bản.’

Khi được hỏi liệu nhóm nghiên cứu có tìm ra giải pháp cho vấn đề hay không, một trong những tác giả của bài báo đã bình luận:

‘Thật không may, chúng tôi đã không. Trên thực tế, đây có lẽ là nhiệm vụ của toàn bộ cộng đồng AI.’

Phương Pháp và Dữ Liệu

Các nhà nghiên cứu đã sử dụng Variational Autoencoder (VAE) và DiT kiến trúc để tạo ra các mẫu video. Trong thiết lập này, các biểu diễn latent nén được tạo ra bởi VAE hoạt động cùng với mô hình làm mờ của DiT.

Video được đào tạo trên Stable Diffusion V1.5-VAE. Schema được để nguyên bản, với chỉ các cải tiến kiến trúc ở cuối quá trình:

‘[Chúng tôi giữ lại] phần lớn các khối convolution 2D ban đầu, normalization nhóm và các cơ chế chú ý trên các chiều không gian.

‘Để bơm cấu trúc này thành một bộ tự động hóa không gian-thời gian, chúng tôi chuyển đổi các khối downsampling 2D cuối cùng của bộ mã hóa và các khối upsample 2D ban đầu của bộ giải mã thành 3D, và sử dụng nhiều lớp 1D bổ sung để tăng cường mô hình hóa thời gian.’

Để cho phép mô hình hóa video, VAE được sửa đổi đã được đào tạo chung với dữ liệu hình ảnh và video chất lượng cao, với thành phần Mạng nơ-ron đối nghịch tạo sinh (GAN) 2D bản địa của kiến trúc SD1.5 được tăng cường cho 3D.

Tập dữ liệu hình ảnh được sử dụng là nguồn gốc của Stable Diffusion, LAION-Aesthetics, với bộ lọc bổ sung, cũng như DataComp. Đối với dữ liệu video, một tập con đã được tạo từ Vimeo-90K, Panda-70m và HDVG datasets.

Dữ liệu được đào tạo trong một triệu bước, với cắt ngẫu nhiên và lật ngang ngẫu nhiên được áp dụng như các quá trình tăng cường dữ liệu.

Lật Ngược

Như đã đề cập ở trên, quá trình tăng cường dữ liệu lật ngang ngẫu nhiên có thể là một hạn chế trong việc đào tạo một hệ thống được thiết kế để tạo ra chuyển động đích thực. Điều này là do đầu ra từ mô hình được đào tạo có thể xem xét cả hai hướng của một vật thể và gây ra các đảo ngược ngẫu nhiên khi nó cố gắng đàm phán dữ liệu mâu thuẫn này (xem video nhúng trên).

Mặt khác, nếu bạn tắt lật ngang sang, mô hình sau đó có nhiều khả năng tạo ra đầu ra tuân theo chỉ một hướng được học từ dữ liệu đào tạo.

Vì vậy, không có giải pháp dễ dàng cho vấn đề, ngoại trừ hệ thống thực sự hấp thụ toàn bộ khả năng di chuyển từ cả phiên bản bản địa và phiên bản lật – một tiện ích mà trẻ em phát triển dễ dàng, nhưng dường như là một thách thức hơn đối với các mô hình AI.

Thử Nghiệm

Đối với bộ thí nghiệm đầu tiên, các nhà nghiên cứu đã tạo ra một trình mô phỏng 2D để tạo ra các video về chuyển động của vật thể và va chạm phù hợp với các định luật của cơ học cổ điển, cung cấp một tập dữ liệu lớn và được kiểm soát mà loại bỏ sự模糊 của các video thế giới thực, để đánh giá các mô hình. Trình mô phỏng vật lý Box2D đã được sử dụng để tạo ra các video này.

Ba kịch bản cơ bản được liệt kê ở trên là trọng tâm của các thử nghiệm: chuyển động tuyến tính đồng đều, va chạm đàn hồi hoàn hảo và chuyển động parabol.

Các tập dữ liệu có kích thước tăng dần (từ 30.000 đến ba triệu video) đã được sử dụng để đào tạo các mô hình có kích thước và độ phức tạp khác nhau (DiT-S đến DiT-L), với ba khung hình đầu tiên của mỗi video được sử dụng để điều kiện.

Chi tiết về các mô hình khác nhau được đào tạo trong bộ thí nghiệm đầu tiên. Source: https://arxiv.org/pdf/2411.02385

Các nhà nghiên cứu đã tìm thấy rằng kết quả trong phân phối (ID) được mở rộng tốt với lượng dữ liệu ngày càng tăng, trong khi các tạo sinh ngoài phân phối (OOD) không được cải thiện, cho thấy sự thiếu sót trong tổng quát hóa.

Kết quả của vòng thử nghiệm đầu tiên.

Các tác giả lưu ý:

‘Những phát hiện này cho thấy sự không thể của việc tăng quy mô để thực hiện suy luận trong các kịch bản OOD.’

Tiếp theo, các nhà nghiên cứu đã kiểm tra và đào tạo các hệ thống được thiết kế để thể hiện sự thành thạo trong tổng quát hóa kết hợp – trường hợp mà hai chuyển động đối lập được kết hợp để (hy vọng) tạo ra một chuyển động nhất quán trung thành với định luật vật lý đằng sau từng chuyển động riêng biệt.

Đối với giai đoạn này của các thử nghiệm, các tác giả đã sử dụng trình mô phỏng PHYRE, tạo ra một môi trường 2D mô tả nhiều và đa dạng các vật thể trong trạng thái rơi tự do, va chạm với nhau trong nhiều tương tác phức tạp.

Các chỉ số đánh giá cho thử nghiệm thứ hai là Fréchet Video Distance (FVD); Chỉ số Tương đồng Cấu trúc (SSIM); Tỷ lệ Tín hiệu trên Nhiễu (PSNR); Độ đo Tương đồng Nhận thức đã Học (LPIPS); và một nghiên cứu của con người (được chỉ định là ‘không bình thường’ trong kết quả).

Ba mức độ tập dữ liệu đào tạo đã được tạo ra, ở 100.000 video, 0,6 triệu video và 3-6 triệu video. Các mô hình DiT-B và DiT-XL đã được sử dụng, do sự phức tạp tăng lên của các video, với khung hình đầu tiên được sử dụng để điều kiện.

Các mô hình được đào tạo trong một triệu bước ở độ phân giải 256×256, với 32 khung hình mỗi video.

Kết quả của vòng thử nghiệm thứ hai.

Kết quả của thử nghiệm này cho thấy rằng việc tăng đơn thuần dữ liệu là một cách tiếp cận không đầy đủ:

Bài báo tuyên bố:

‘Những kết quả này cho thấy rằng cả khả năng của mô hình và phạm vi không gian kết hợp đều quan trọng đối với tổng quát hóa kết hợp. Sự hiểu biết này ngụ ý rằng các định luật tăng quy mô cho việc tạo sinh video nên tập trung vào việc tăng đa dạng kết hợp, chứ không chỉ tăng quy mô dữ liệu.’

Cuối cùng, các nhà nghiên cứu đã tiến hành các thử nghiệm bổ sung để cố gắng xác định xem liệu một mô hình tạo sinh video có thể thực sự hấp thụ các định luật vật lý hay không, hay chỉ đơn giản là ghi nhớ và sao chép dữ liệu đào tạo tại thời điểm suy luận.

Ở đây, họ đã kiểm tra khái niệm về ‘tổng quát hóa dựa trên trường hợp’, nơi các mô hình có xu hướng bắt chước các ví dụ đào tạo cụ thể khi đối mặt với các tình huống mới, cũng như kiểm tra các ví dụ về chuyển động đồng đều – cụ thể là cách hướng chuyển động trong dữ liệu đào tạo ảnh hưởng đến dự đoán của mô hình.

Hai tập dữ liệu đào tạo, cho chuyển động đồng đều và va chạm, đã được tạo ra, mỗi tập dữ liệu bao gồm các video chuyển động đồng đều mô tả các tốc độ từ 2,5 đến 4 đơn vị, với ba khung hình đầu tiên được sử dụng làm điều kiện. Các giá trị ẩn như tốc độ đã bị bỏ qua, và sau khi đào tạo, thử nghiệm đã được thực hiện trên cả kịch bản đã xem và chưa xem.

Dưới đây, chúng ta có kết quả cho thử nghiệm về tạo sinh chuyển động đồng đều:

Kết quả của thử nghiệm về tạo sinh chuyển động đồng đều, nơi biến ‘tốc độ’ bị bỏ qua trong quá trình đào tạo.

Các tác giả tuyên bố:

‘[Với] một khoảng trống lớn trong tập dữ liệu đào tạo, mô hình có xu hướng tạo ra các video nơi tốc độ là cao hoặc thấp để giống với dữ liệu đào tạo khi các khung hình đầu tiên cho thấy tốc độ ở phạm vi giữa.’

Đối với các thử nghiệm va chạm, nhiều biến hơn được tham gia, và mô hình phải học một hàm phi tuyến hai chiều.

Va chạm: kết quả của vòng thử nghiệm thứ ba và cuối cùng.

Các tác giả quan sát thấy rằng sự hiện diện của ‘ví dụ lừa đảo’, chẳng hạn như chuyển động ngược (tức là một quả bóng bật ra khỏi bề mặt và đảo ngược hướng), có thể đánh lừa mô hình và khiến nó tạo ra dự đoán không chính xác về mặt vật lý.

Kết Luận

Nếu một thuật toán không phải là AI (tức là một phương pháp ‘nấu sẵn’, thủ tục) chứa quy tắc toán học cho hành vi của các hiện tượng vật lý như chất lỏng, các vật thể dưới trọng lực hoặc dưới áp lực, có một tập hợp các hằng số không thay đổi có sẵn để kết xuất chính xác.

Tuy nhiên, các phát hiện của bài báo mới cho thấy rằng không có mối quan hệ tương đương hoặc sự hiểu biết nội tại về các định luật vật lý cổ điển nào được phát triển trong quá trình đào tạo của các mô hình tạo sinh, và rằng việc tăng lượng dữ liệu không giải quyết được vấn đề, mà thay vào đó che giấu nó – vì có nhiều video đào tạo hơn có sẵn cho hệ thống để bắt chước tại thời điểm suy luận.

* Sự chuyển đổi của tôi các trích dẫn nội tuyến của tác giả thành siêu liên kết.

Được xuất bản lần đầu vào thứ ba, ngày 26 tháng 11 năm 2024