Google mang Trợ lý Thị giác thời gian thực cho người dùng khiếm thị trên Android

Google ra mắt Guided Vision trong Gemini Live vào ngày 1 tháng 10 năm 2026, một tính năng trợ giúp thị giác thời gian thực, dựa trên giọng nói, được thiết kế cho người khiếm thị, có thị lực yếu hoặc muốn trợ giúp thị giác trực quan. Hiện tính năng này có sẵn trên các thiết bị Android chạy Android 9 trở lên ở các khu vực và ngôn ngữ mà Gemini Live được hỗ trợ.

Google lần đầu tiên giới thiệu tính năng này vào ngày 1 tháng 9 năm 2026, trong September Android Drop, nơi Guided Vision được liệt kê là sẽ sớm có trên các điện thoại chạy Android 9 trở lên ở các quốc gia mà Gemini khả dụng. Bản xem trước này mô tả cùng một mô tả chia sẻ camera và phản hồi giọng nói cho việc tái khung, và kèm theo chú thích cảnh báo rằng tính năng có thể mắc lỗi và không được coi là thiết bị y tế, công cụ hỗ trợ di chuyển, hoặc thay thế cho các hướng dẫn di chuyển an toàn, cũng như không dùng cho việc định vị hay phát hiện chướng ngại vật.

Cách hoạt động của Guided Vision

Trong một phiên Gemini Live, người dùng chia sẻ camera của điện thoại và Gemini cung cấp các mô tả bằng lời nói về môi trường xung quanh, trả lời các câu hỏi chi tiết tiếp theo, và đưa ra các gợi ý bằng lời nói chủ động để tập trung vào bất kỳ đối tượng nào người dùng muốn khám phá. Nếu camera được hướng quá cao, quá gần, hoặc hơi lệch sang một bên, Gemini sẽ phản hồi bằng các lời nhắc tự nhiên để tái khung — yêu cầu người dùng quét chậm sang phải, nghiêng xuống, hoặc lùi lại cho đến khi có ngữ cảnh thị giác rõ ràng cần thiết để trả lời.

Thông báo, do Isha Sheth, Quản lý Sản phẩm Cấp cao cho Gemini Live, viết, mô tả Guided Vision như việc biến Gemini thành một đối tác thị giác giao tiếp, phù hợp với các thói quen hàng ngày với ít ma sát nhất.

Được phát triển cùng Aira và cộng đồng Truy cập

Google cho biết Guided Vision được phát triển thông qua sự hợp tác chặt chẽ với cộng đồng truy cập. Để đào tạo Gemini Live cho ngữ cảnh giao tiếp và thực tế, công ty đã hợp tác với Aira để diễn giải dữ liệu bằng hình ảnh trong tổng cộng hàng chục nghìn giờ. Hơn 1.000 thành viên trong mạng lưới Kiểm thử Đáng tin cậy của Aira đã giúp kiểm tra áp lực và tinh chỉnh mô hình qua các thói quen hàng ngày, và các chuyên gia của Aira đã làm việc trực tiếp với các nhóm của Google như các chuyên gia nội dung để thiết lập và đánh giá các rào chắn an toàn.

Sally Khoo, Phó Giám đốc (Đổi mới) tại SG Enable, cho biết trong thông báo: “Vì các điện thoại tiêu chuẩn thường được thiết kế cho người dùng có thị lực bình thường có thể nhìn thấy màn hình, một sản phẩm như mô tả thị giác thời gian thực của Gemini Live với hướng dẫn camera bằng lời nói chủ động có thể giúp lấp đầy khoảng trống quan trọng trong các công việc hàng ngày tại nhà, từ việc đọc chữ nhỏ đến việc định vị các vật dụng thiết yếu hàng ngày.”

Theo Google, tính năng này phản ánh quá trình kiểm tra và phản hồi rộng rãi từ cộng đồng người khiếm thị và thị lực yếu trên khắp Ấn Độ, Brazil, Singapore, Indonesia, Nhật Bản và nhiều nơi khác, được thu thập để làm cho các mô tả, gợi ý tái khung và câu trả lời trở nên tự nhiên và hữu ích.

Prashant Verma của National Association of the Blind, Ấn Độ, cho biết trong cùng thông báo: “Việc kiểm tra các khả năng này trực tiếp với người dùng khiếm thị và thị lực yếu trên các ngôn ngữ Ấn Độ đảm bảo công nghệ này cung cấp sự hỗ trợ đáng tin cậy và thực tiễn trong cuộc sống hàng ngày.”

Các trường hợp sử dụng hàng ngày đã được ghi nhận

Google mô tả các công việc hàng ngày mà việc xác minh nhanh bằng thị giác quan trọng nhất. Đối với việc đọc chữ nhỏ và văn bản phức tạp, công ty liệt kê các nhãn dinh dưỡng nhỏ trên bao bì thực phẩm, các nút điều khiển thiết bị và chu kỳ máy giặt, và thực đơn in trong các nhà hàng ánh sáng yếu. Đối với việc tìm và định vị các vật thể, họ đưa ra ví dụ như một tai nghe rơi trên sàn và hạt tiêu đen trong tủ gia vị đông đúc. Đối với việc mô tả vật thể và so sánh chi tiết, người dùng có thể hỏi về màu sắc, họa tiết và hình dạng, chẳng hạn kiểm tra xem áo sọc có phù hợp với một chiếc quần hay xác định màu của một chiếc áo khoác cụ thể. Đối với việc khám phá môi trường ngay xung quanh, Guided Vision cung cấp các tổng quan mô tả về không gian chưa quen, bố trí phòng hoặc các vật thể đặt trên bàn.

Google cho biết Guided Vision hỗ trợ các cuộc trò chuyện bằng nhiều ngôn ngữ và rằng, giống như nhiều sáng kiến truy cập, nó cũng cung cấp trợ giúp thị giác thực tiễn cho người cao tuổi, những người có trình độ đọc viết thấp, hoặc bất kỳ ai cố gắng đọc chữ nhỏ trong ánh sáng yếu.

Các đường truy cập, khả dụng và các giới hạn đã nêu

Người dùng có thể truy cập tính năng này thông qua ứng dụng Gemini, phím tắt Truy cập Android, hoặc Google TalkBack. Trong ứng dụng di động Gemini, người dùng mở cài đặt hồ sơ và bật “Use Guided Vision in Live”, sau đó mở Gemini Live và chạm để chia sẻ camera. Trong Cài đặt Android, trong mục Truy cập và sau đó Hỗ trợ Thị giác, người dùng có thể cấu hình phím tắt Truy cập để khởi chạy Guided Vision bằng nút truy cập nổi, cử chỉ vuốt hai ngón tay, hoặc bằng cách nhấn cả hai phím âm lượng. Người dùng chạy Google TalkBack có thể mở menu TalkBack bằng cách chạm ba ngón tay và chọn Guided Vision trực tiếp.

Google khẳng định rằng Guided Vision là một tiện ích hỗ trợ và có thể mắc lỗi. Tính năng này không phải là thiết bị y tế, công cụ hỗ trợ di chuyển, hay thay thế cây gậy trắng, và không được thiết kế cho việc định vị, hướng dẫn di chuyển an toàn, hay phát hiện chướng ngại vật. Người dùng nên tiếp tục dựa vào các công cụ hỗ trợ di chuyển và thực hành di chuyển an toàn đã được thiết lập trong môi trường thực.

Để bắt đầu, Google khuyên bạn cập nhật ứng dụng Gemini và phần mềm hệ thống Android lên phiên bản mới nhất.