Xem, Tư duy, Giải thích: Sự trỗi dậy của Mô hình Ngôn ngữ Hình ảnh trong Trí tuệ Nhân tạo

Khoảng một thập kỷ trước, trí tuệ nhân tạo được chia thành nhận dạng hình ảnh và hiểu ngôn ngữ. Các mô hình tầm nhìn có thể phát hiện đối tượng nhưng không thể mô tả chúng, và các mô hình ngôn ngữ có thể tạo ra văn bản nhưng không thể “nhìn thấy.” Ngày nay, ranh giới đó đang nhanh chóng biến mất. Mô hình Ngôn ngữ Hình ảnh (VLMs) hiện kết hợp các kỹ năng hình ảnh và ngôn ngữ, cho phép chúng giải thích hình ảnh và giải thích chúng theo cách gần như con người. Điều khiến chúng thực sự đáng chú ý là quá trình lý luận bước-by-bước của chúng, được gọi là Chain-of-Thought, giúp biến các mô hình này thành công cụ mạnh mẽ và thực tế trên nhiều ngành như y tế và giáo dục. Trong bài viết này, chúng ta sẽ khám phá cách VLMs hoạt động, tại sao quá trình lý luận của chúng lại quan trọng và cách chúng đang biến đổi các lĩnh vực từ y học đến ô tô tự lái.

Hiểu về Mô hình Ngôn ngữ Hình ảnh

Mô hình Ngôn ngữ Hình ảnh, hoặc VLMs, là một loại trí tuệ nhân tạo có thể hiểu cả hình ảnh và văn bản cùng một lúc. Không giống như các hệ thống AI cũ chỉ có thể xử lý văn bản hoặc hình ảnh, VLMs kết hợp hai kỹ năng này lại. Điều này làm cho chúng vô cùng đa năng. Chúng có thể nhìn vào một bức tranh và mô tả những gì đang xảy ra, trả lời câu hỏi về một video hoặc thậm chí tạo ra hình ảnh dựa trên mô tả viết.
Ví dụ, nếu bạn yêu cầu một VLM mô tả một bức ảnh về một con chó đang chạy trong công viên. Một VLM không chỉ nói “Có một con chó.” Nó có thể nói “Con chó đang đuổi theo một quả bóng gần một cây sồi lớn.” Nó đang nhìn vào hình ảnh và kết nối nó với từ ngữ theo cách có ý nghĩa. Khả năng kết hợp hiểu biết hình ảnh và ngôn ngữ tạo ra nhiều khả năng, từ giúp bạn tìm kiếm ảnh trực tuyến đến hỗ trợ các nhiệm vụ phức tạp hơn như hình ảnh y tế.
Tại cốt lõi, VLMs hoạt động bằng cách kết hợp hai phần chính: một hệ thống tầm nhìn phân tích hình ảnh và một hệ thống ngôn ngữ xử lý văn bản. Phần tầm nhìn nhận ra các chi tiết như hình dạng và màu sắc, trong khi phần ngôn ngữ chuyển những chi tiết đó thành câu. VLMs được đào tạo trên các tập dữ liệu khổng lồ chứa hàng tỷ cặp hình ảnh-văn bản, cung cấp cho chúng kinh nghiệm rộng lớn để phát triển sự hiểu biết và độ chính xác cao.

Chain-of-Thought Reasoning trong VLMs

Chain-of-Thought, hoặc CoT, là một cách để làm cho AI suy nghĩ từng bước, giống như cách chúng ta giải quyết một vấn đề bằng cách chia nó thành các phần nhỏ. Trong VLMs, nó có nghĩa là AI không chỉ cung cấp câu trả lời khi bạn hỏi nó về một hình ảnh, mà nó cũng giải thích cách nó đến được câu trả lời đó, giải thích từng bước logic dọc theo đường đi.
Hãy nói bạn cho một VLM xem một bức ảnh về một chiếc bánh sinh nhật với nến và hỏi “Người này bao nhiêu tuổi?” Không có CoT, nó có thể chỉ đoán một số. Với CoT, nó suy nghĩ nó qua: “Okay, tôi thấy một chiếc bánh với nến. Nến thường cho thấy tuổi của ai đó. Hãy đếm chúng, có 10. Vậy người này có lẽ 10 tuổi.” Bạn có thể theo dõi quá trình suy luận khi nó mở ra, điều này làm cho câu trả lời đáng tin cậy hơn.
Tương tự, khi được hiển thị một cảnh giao thông cho VLM và hỏi “Có an toàn để qua đường không?” VLM có thể suy nghĩ: “Đèn đi bộ là đỏ, vì vậy bạn không nên qua đường. Có một chiếc xe đang rẽ gần đó và nó đang di chuyển, không dừng lại. Điều đó có nghĩa là nó không an toàn ngay bây giờ.” Bằng cách đi qua các bước này, AI cho bạn thấy chính xác những gì nó đang chú ý trong hình ảnh và tại sao nó quyết định như thế.

Tại sao Chain-of-Thought lại quan trọng trong VLMs

Sự tích hợp của CoT vào VLMs mang lại một số lợi thế chính.
Thứ nhất, nó làm cho AI dễ tin cậy hơn. Khi nó giải thích các bước của mình, bạn sẽ hiểu rõ cách nó đạt được câu trả lời. Điều này rất quan trọng trong các lĩnh vực như y tế. Ví dụ, khi xem xét một hình ảnh MRI, một VLM có thể nói “Tôi thấy một bóng mờ ở phía bên trái của não. Khu vực đó kiểm soát lời nói và bệnh nhân đang gặp khó khăn khi nói, vì vậy nó có thể là một khối u.” Một bác sĩ có thể theo dõi logic đó và cảm thấy tự tin về đầu vào của AI.
Thứ hai, nó giúp AI giải quyết các vấn đề phức tạp. Bằng cách chia nhỏ mọi thứ, nó có thể xử lý các câu hỏi cần nhiều hơn một cái nhìn nhanh. Ví dụ, đếm nến là đơn giản, nhưng việc xác định an toàn trên một con đường đông đúc cần nhiều bước bao gồm kiểm tra đèn, phát hiện xe, đánh giá tốc độ. CoT cho phép AI xử lý sự phức tạp đó bằng cách chia nó thành nhiều bước.
Cuối cùng, nó làm cho AI trở nên linh hoạt hơn. Khi nó suy nghĩ từng bước, nó có thể áp dụng những gì nó biết vào các tình huống mới. Nếu nó chưa bao giờ nhìn thấy một loại bánh sinh nhật cụ thể trước đây, nó vẫn có thể suy nghĩ ra mối quan hệ giữa nến và tuổi vì nó đang suy nghĩ nó qua, không chỉ dựa vào các mẫu đã nhớ.

Chain-of-Thought và VLMs đang định nghĩa lại các Ngành

Sự kết hợp của CoT và VLMs đang tạo ra tác động đáng kể trên nhiều lĩnh vực:

• Y tế: Trong y học, VLMs như Med-PaLM 2 của Google sử dụng CoT để chia nhỏ các câu hỏi y tế phức tạp thành các bước chẩn đoán nhỏ hơn. Ví dụ, khi được đưa một hình X-quang ngực và các triệu chứng như ho và đau đầu, AI có thể suy nghĩ: “Những triệu chứng này có thể là cảm lạnh, dị ứng hoặc điều gì đó tồi tệ hơn. Không có hạch bạch huyết sưng, vì vậy nó không có khả năng là một nhiễm trùng nghiêm trọng. Phổi có vẻ rõ ràng, vì vậy có lẽ không phải là viêm phổi.” Nó đi qua các tùy chọn và đưa ra một câu trả lời, cung cấp cho bác sĩ một lời giải thích rõ ràng để làm việc.
• Ô tô tự lái: Đối với xe tự lái, VLMs được tăng cường bởi CoT cải thiện an toàn và ra quyết định. Ví dụ, một chiếc xe tự lái có thể phân tích một cảnh giao thông theo từng bước: kiểm tra tín hiệu người đi bộ, xác định xe đang di chuyển và quyết định xem có an toàn để tiếp tục hay không. Các hệ thống như LINGO-1 của Wayve tạo ra bình luận ngôn ngữ tự nhiên để giải thích các hành động như giảm tốc cho một người đi xe đạp. Điều này giúp các kỹ sư và hành khách hiểu quá trình suy luận của xe. Logic bước-by-bước cũng cho phép xử lý tốt hơn các điều kiện đường sá không thường xuyên bằng cách kết hợp đầu vào hình ảnh với kiến thức ngữ cảnh.
• Phân tích Địa không gian: Mô hình Gemini của Google áp dụng CoT vào dữ liệu không gian như bản đồ và hình ảnh vệ tinh. Ví dụ, nó có thể đánh giá thiệt hại do bão bằng cách tích hợp hình ảnh vệ tinh, dự báo thời tiết và dữ liệu dân số, sau đó tạo ra hình ảnh và câu trả lời rõ ràng cho các câu hỏi phức tạp. Khả năng này giúp tăng tốc phản ứng thảm họa bằng cách cung cấp cho người ra quyết định thông tin kịp thời và hữu ích mà không cần chuyên môn kỹ thuật.
• Robot: Trong lĩnh vực Robot, sự tích hợp của CoT và VLMs cho phép robot lên kế hoạch và thực hiện các nhiệm vụ đa bước tốt hơn. Ví dụ, khi một robot được giao nhiệm vụ nhặt một vật, VLM được kích hoạt bởi CoT cho phép nó xác định cốc, xác định điểm cầm tốt nhất, lên kế hoạch cho một đường di chuyển không va chạm và thực hiện chuyển động, tất cả đều “giải thích” từng bước của quá trình. Các dự án như RT-2 chứng minh cách CoT cho phép robot thích nghi tốt hơn với các nhiệm vụ mới và phản ứng với các lệnh phức tạp với logic rõ ràng.
• Giáo dục: Trong lĩnh vực giáo dục, các giáo viên AI như Khanmigo sử dụng CoT để dạy tốt hơn. Đối với một vấn đề toán, nó có thể hướng dẫn học sinh: “Trước tiên, viết xuống phương trình. Tiếp theo, lấy biến số riêng bằng cách trừ 5 từ cả hai phía. Bây giờ, chia cho 2.” Thay vì đưa ra câu trả lời, nó đi qua quá trình, giúp học sinh hiểu các khái niệm từng bước.

Kết luận

Mô hình Ngôn ngữ Hình ảnh (VLMs) cho phép AI giải thích và giải thích dữ liệu hình ảnh bằng cách sử dụng quá trình suy luận bước-by-bước của con người thông qua các quy trình Chain-of-Thought (CoT). Cách tiếp cận này tăng cường niềm tin, khả năng thích nghi và giải quyết vấn đề trên nhiều ngành như y tế, ô tô tự lái, phân tích địa không gian, robot và giáo dục. Bằng cách biến đổi cách AI giải quyết các nhiệm vụ phức tạp và hỗ trợ quá trình ra quyết định, VLMs đang thiết lập một tiêu chuẩn mới cho công nghệ thông minh đáng tin cậy và thực tế.