Phát Hiện Liên Hệ Mắt Từ Tư Thế Cơ Thể Với Học Máy

Những nhà nghiên cứu từ Pháp và Thụy Sĩ đã phát triển một hệ thống tầm nhìn máy tính có thể ước tính liệu một người có đang nhìn trực tiếp vào camera ‘ego’ của hệ thống AI hay không, chỉ dựa trên cách người đó đang đứng hoặc di chuyển.

Khung khổ mới này sử dụng thông tin rất giảm thiểu để đánh giá này, dưới dạng các điểm khóa ngữ nghĩa (xem hình ảnh dưới đây), thay vì cố gắng phân tích vị trí mắt trong hình ảnh khuôn mặt. Điều này làm cho phương pháp phát hiện kết quả rất nhẹ và linh hoạt, so với các kiến trúc phát hiện đối tượng đòi hỏi nhiều dữ liệu hơn, như YOLO.

Khung khổ mới đánh giá liệu một người trên đường có đang nhìn vào cảm biến thu của AI hay không, chỉ dựa trên sự sắp xếp của cơ thể họ. Ở đây, những người được đánh dấu màu xanh lá cây có khả năng đang nhìn vào camera, trong khi những người được đánh dấu màu đỏ có khả năng đang nhìn đi nơi khác.

Mặc dù công việc này được thúc đẩy bởi sự phát triển của các hệ thống an toàn tốt hơn cho xe tự hành, các tác giả của bài báo mới này thừa nhận rằng nó có thể có ứng dụng rộng hơn trong các ngành công nghiệp khác, khi họ nhận xét ‘thậm chí trong các thành phố thông minh, việc phát hiện liên hệ mắt có thể hữu ích để hiểu rõ hơn về hành vi của người đi bộ, ví dụ như xác định nơi họ tập trung hoặc những biển hiệu công cộng họ đang nhìn vào’.

Để hỗ trợ sự phát triển thêm của hệ thống này và các hệ thống tiếp theo, các nhà nghiên cứu đã biên soạn một bộ dữ liệu mới và toàn diện gọi là LOOK, trực tiếp giải quyết các thách thức cụ thể của việc phát hiện liên hệ mắt trong các tình huống tùy ý như cảnh đường phố được nhìn từ camera của xe tự hành, hoặc cảnh đám đông thông thường mà một robot có thể cần phải điều hướng và nhường đường cho người đi bộ.

Kết quả từ khung khổ, với những người ‘nhìn’ được xác định bằng màu xanh lá cây.

Nghiên cứu này có tiêu đề Liệu Những Người Đi Bộ Có Chú Ý? Phát Hiện Liên Hệ Mắt Trong Tự Nhiên, và đến từ bốn nhà nghiên cứu tại sáng kiến nghiên cứu Visual Intelligence for Transportation (VITA) ở Thụy Sĩ, và một tại Sorbonne Université.

Kiến Trúc

Hầu hết các công việc trước đây trong lĩnh vực này đã tập trung vào sự chú ý của tài xế, sử dụng học máy để phân tích đầu ra của camera hướng về phía tài xế, và dựa vào một tầm nhìn cố định, cố định và gần với tài xế – một điều kiện không thể có trong các nguồn cấp dữ liệu TV công cộng thường có độ phân giải thấp, nơi người dân có thể quá xa để một hệ thống phân tích khuôn mặt có thể giải quyết được sự sắp xếp của mắt, và nơi các che khuất khác (như kính râm) cũng cản trở.

Central hơn cho mục tiêu của dự án, các camera hướng ra ngoài trên xe tự hành sẽ không nhất thiết phải ở trong một kịch bản tối ưu nào. Điều này làm cho thông tin ‘thấp’ về điểm khóa trở nên lý tưởng làm cơ sở cho một khung khổ phân tích tầm nhìn. Các hệ thống xe tự hành cần một cách hiểu rất nhanh và nhạy để biết liệu một người đi bộ – người có thể bước ra từ vỉa hè vào đường của xe – có nhìn thấy xe tự hành hay không. Trong tình huống như vậy, độ trễ có thể là sự khác biệt giữa sự sống và cái chết.

Kiến trúc mô-đun được các nhà nghiên cứu phát triển lấy một hình ảnh (thường) đầy đủ của một người, từ đó các khớp 2D được trích xuất thành một hình dạng cơ bản, hình xương.

Kiến trúc của hệ thống phát hiện liên hệ mắt mới của Pháp/Thụy Sĩ.

Tư thế được chuẩn hóa để loại bỏ thông tin trên trục Y, tạo ra một hình đại diện ‘phẳng’ của tư thế, đưa nó vào sự tương đương với hàng nghìn tư thế đã biết được thuật toán học (đã được ‘phẳng’ hóa), và các lá cờ nhị phân/ nhãn tương ứng (tức là 0: Không Nhìn hoặc 1: Nhìn).

Tư thế được so sánh với kiến thức nội bộ của thuật toán về mức độ tương ứng của tư thế đó với hình ảnh của những người đi bộ khác đã được xác định là ‘nhìn vào camera’ – các chú thích được thực hiện bằng các công cụ trình duyệt tùy chỉnh do các tác giả phát triển cho công nhân Amazon Mechanical Turk tham gia vào việc phát triển bộ dữ liệu LOOK.

Mỗi hình ảnh trong LOOK đã được xem xét bởi bốn công nhân AMT, và chỉ những hình ảnh mà ba trong số bốn người đồng ý về kết quả mới được включ vào bộ sưu tập cuối cùng.

Thông tin về phần đầu, lõi của nhiều công việc trước đây, là một trong những chỉ số không đáng tin cậy nhất của tầm nhìn trong các tình huống đô thị tùy ý, và được tích hợp như một luồng dữ liệu tùy chọn trong kiến trúc khi chất lượng và phạm vi chụp đủ để hỗ trợ một quyết định về việc liệu người đó có đang nhìn vào camera hay không. Trong trường hợp những người rất xa, đây sẽ không phải là dữ liệu hữu ích.

Dữ Liệu

Các nhà nghiên cứu đã suy dẫn LOOK từ một số bộ dữ liệu trước đó không phù hợp với nhiệm vụ này theo mặc định. Chỉ có hai bộ dữ liệu trực tiếp chia sẻ phạm vi của dự án là JAAD và PIE, và mỗi bộ dữ liệu có những hạn chế.

JAAD là một bộ dữ liệu năm 2017 từ Đại học York ở Toronto, chứa 390.000 ví dụ được gắn nhãn của người đi bộ, bao gồm hộp giới hạn và chú thích hành vi. Trong số này, chỉ 17.000 được gắn nhãn là Đang Nhìn Vào Tài Xế (tức là camera ‘ego’). Bộ dữ liệu này có 346 clip 30fps chạy ở 5-10 giây của cảnh quay camera trên xe được ghi lại ở Bắc Mỹ và châu Âu. JAAD có một tỷ lệ lặp lại cao, và tổng số người đi bộ độc nhất chỉ là 686.

PIE gần đây hơn (2019) từ Đại học York tại Toronto, tương tự như JAAD, trong đó nó có cảnh quay trên xe 30fps, lần này được lấy từ sáu giờ lái xe qua trung tâm Toronto, mang lại 700.000 người đi bộ được chú thích và 1.842 người đi bộ độc nhất, chỉ 180 trong số đó đang nhìn vào camera.

Thay vào đó, các nhà nghiên cứu cho bài báo mới này đã biên soạn dữ liệu phù hợp nhất từ ba bộ dữ liệu tự hành trước đó: KITTI, JRDB, và NuScenes, tương ứng từ Viện Công nghệ Karlsruhe ở Đức, Stanford và Đại học Monash ở Úc, và một công ty spin-off trước đây của MIT là Nutonomy.

Việc này đã dẫn đến một tập hợp đa dạng rộng lớn của các cảnh quay từ bốn thành phố – Boston, Singapore, Tübingen và Palo Alto. Với khoảng 8000 quan điểm người đi bộ được gắn nhãn, các tác giả cho rằng LOOK là bộ dữ liệu đa dạng nhất cho việc phát hiện liên hệ mắt ‘trong tự nhiên’.

Đào Tạo và Kết Quả

Trích xuất, đào tạo và đánh giá đều được thực hiện trên một card đồ họa NVIDIA GeForce GTX 1080ti duy nhất với 11gb VRAM, hoạt động trên CPU Intel Core i7-8700 với tốc độ 3,20GHz.

Các tác giả đã tìm thấy rằng không chỉ phương pháp của họ cải thiện trên các baseline hiện tại tốt nhất ít nhất 5%, mà các mô hình được đào tạo trên JAAD cũng tổng quát hóa rất tốt cho dữ liệu không nhìn thấy, một kịch bản được kiểm tra bằng cách trộn lẫn một loạt các bộ dữ liệu.

Vì việc kiểm tra được thực hiện là phức tạp, và phải cung cấp cho các mô hình dựa trên phần đầu (trong khi cách ly và cắt phần đầu không phải là trung tâm của kiến trúc mới), hãy xem bài báo cho kết quả chi tiết.

Kết quả về độ chính xác trung bình (AP) theo tỷ lệ phần trăm và chiều cao hộp giới hạn theo pixel cho việc kiểm tra trên bộ dữ liệu JAAD, với kết quả của các tác giả được đánh dấu đậm.

Các nhà nghiên cứu đã phát hành mã của họ công khai, với bộ dữ liệu có sẵn tại đây, và mã nguồn trên GitHub.

Các tác giả kết thúc với hy vọng rằng công việc của họ sẽ truyền cảm hứng cho các nỗ lực nghiên cứu tiếp theo trong lĩnh vực mà họ mô tả là ‘một chủ đề quan trọng nhưng bị bỏ qua’.

JAAD dataset, với kết quả của các tác giả được đánh dấu đậm.[/caption] Các nhà nghiên cứu đã phát hành mã của họ công khai, với bộ dữ liệu có sẵn tại đây, và mã nguồn tại GitHub. Các tác giả kết thúc với hy vọng rằng công việc của họ sẽ truyền cảm hứng cho các nỗ lực nghiên cứu tiếp theo trong lĩnh vực mà họ mô tả là ‘một chủ đề quan trọng nhưng bị bỏ qua’.