Làm thế nào để giữ cho điện thoại thông minh mát mẻ khi chạy các mô hình học máy

Những nhà nghiên cứu từ Đại học Austin và Carnegie Mellon đã đề xuất một cách mới để chạy các mô hình học máy tính toán phức tạp trên các thiết bị di động như điện thoại thông minh và trên các thiết bị cạnh thấp hơn, mà không kích hoạt giới hạn nhiệt – một cơ chế bảo vệ chung trong các thiết bị chuyên nghiệp và tiêu dùng, được thiết kế để giảm nhiệt độ của thiết bị chủ bằng cách giảm hiệu suất của nó, cho đến khi đạt được nhiệt độ hoạt động chấp nhận được.

Cách tiếp cận mới này có thể giúp các mô hình học máy phức tạp hơn chạy suy luận và các loại nhiệm vụ khác mà không đe dọa đến sự ổn định của thiết bị chủ, chẳng hạn như điện thoại thông minh.

Ý tưởng trung tâm là sử dụng mạng động, nơi trọng số của mô hình có thể được truy cập bởi cả phiên bản “áp lực thấp” và “cường độ đầy đủ” của mô hình học máy cục bộ.

Trong trường hợp hoạt động của mô hình học máy cục bộ nên gây ra nhiệt độ của thiết bị tăng kritically, mô hình sẽ động chuyển sang mô hình ít đòi hỏi hơn cho đến khi nhiệt độ được ổn định, và sau đó chuyển trở lại phiên bản đầy đủ.

Các nhiệm vụ thử nghiệm bao gồm một công việc phân loại hình ảnh và một nhiệm vụ suy luận ngôn ngữ tự nhiên (QNLI) – cả hai đều là loại hoạt động có thể tham gia ứng dụng AI di động. Nguồn: https://arxiv.org/pdf/2206.10849.pdf

Các nhà nghiên cứu đã thực hiện các thử nghiệm chứng minh khái niệm cho các mô hình học máy tính toán và xử lý ngôn ngữ tự nhiên trên điện thoại thông minh Honor V30 Pro 2019 và Raspberry Pi 4B 4GB.

Từ kết quả (cho điện thoại thông minh), chúng ta có thể thấy trong hình ảnh dưới đây nhiệt độ của thiết bị chủ tăng và giảm với việc sử dụng. Các đường đỏ đại diện cho mô hình chạy không có Chuyển đổi động.

Mặc dù kết quả có thể trông khá tương tự, chúng không phải như vậy: điều gì gây ra nhiệt độ dao động cho các đường xanh (tức là sử dụng phương pháp mới) là việc chuyển đổi qua lại giữa các phiên bản mô hình đơn giản và phức tạp hơn. Tại không điểm nào trong hoạt động, giới hạn nhiệt không bao giờ được kích hoạt.

Điều gì gây ra nhiệt độ tăng và giảm trong trường hợp của các đường đỏ là việc kích hoạt tự động của giới hạn nhiệt trong thiết bị, làm giảm hiệu suất của mô hình và tăng độ trễ của nó.

Về mức độ sử dụng của mô hình, chúng ta có thể thấy trong hình ảnh dưới đây rằng độ trễ cho mô hình không được hỗ trợ là đáng kể cao hơn trong khi nó đang được giới hạn nhiệt:

Đồng thời, hình ảnh trên cho thấy gần như không có sự thay đổi về độ trễ cho mô hình được quản lý bởi Chuyển đổi động, vẫn phản hồi trong suốt.

Đối với người dùng cuối, độ trễ cao có thể có nghĩa là thời gian chờ tăng, có thể gây ra việc bỏ qua một nhiệm vụ và không hài lòng với ứng dụng lưu trữ nó.

Trong trường hợp của hệ thống NLP (thay vì tầm nhìn máy tính), thời gian phản hồi cao có thể còn gây khó chịu hơn, vì các nhiệm vụ có thể phụ thuộc vào phản hồi nhanh (chẳng hạn như tự động dịch hoặc tiện ích giúp người dùng khuyết tật).

Đối với các ứng dụng thời gian thực quan trọng – chẳng hạn như thực tế ảo / thực tế tăng cường thời gian thực – độ trễ cao sẽ hiệu quả giết chết tính hữu ích của mô hình.

Các nhà nghiên cứu tuyên bố:

‘Chúng tôi cho rằng giới hạn nhiệt gây ra một mối đe dọa nghiêm trọng đối với các ứng dụng học máy di động nhạy cảm về độ trễ. Ví dụ, trong quá trình kết xuất hình ảnh thời gian thực cho phát trực tuyến video hoặc trò chơi, một sự gia tăng đột ngột của độ trễ xử lý mỗi khung hình sẽ có tác động tiêu cực đáng kể đến trải nghiệm người dùng. Ngoài ra, các hệ điều hành di động hiện đại thường cung cấp các dịch vụ và ứng dụng đặc biệt cho người dùng khiếm thị, chẳng hạn như VoiceOver trên iOS và TalkBack trên Android. ‘

‘Người dùng thường tương tác với điện thoại di động bằng cách dựa hoàn toàn vào giọng nói, vì vậy chất lượng của các dịch vụ này phụ thuộc rất nhiều vào khả năng phản hồi hoặc độ trễ của ứng dụng.’

Biểu đồ thể hiện hiệu suất của BERT w50 d50 không được hỗ trợ (đỏ) và được hỗ trợ bởi Chuyển đổi động (xanh). Lưu ý sự đồng đều của độ trễ trong Chuyển đổi động (xanh).

Bài báo này có tiêu đề Chơi nó mát mẻ: Chuyển đổi động ngăn chặn giới hạn nhiệt, và là một sự hợp tác giữa hai nhà nghiên cứu từ UoA; một từ Carnegie Mellon; và một đại diện cho cả hai tổ chức.

AI Di động Dựa trên CPU

Mặc dù Chuyển đổi động và kiến trúc đa quy mô là một lĩnh vực nghiên cứu đã thiết lập và đang hoạt động, hầu hết các sáng kiến đã tập trung vào các thiết bị tính toán cao cấp hơn, và trọng tâm của nỗ lực tại thời điểm hiện tại được chia giữa tối ưu hóa mạnh mẽ các mạng nơ-ron cục bộ (tức là dựa trên thiết bị) cho mục đích suy luận hơn là đào tạo, và cải thiện phần cứng di động chuyên dụng.

Các thử nghiệm được thực hiện bởi các nhà nghiên cứu được thực hiện trên CPU chứ không phải GPU. Mặc dù sự quan tâm ngày càng tăng trong việc tận dụng tài nguyên GPU cục bộ trong các ứng dụng học máy di động (và thậm chí đào tạo trực tiếp trên thiết bị di động, điều này có thể cải thiện chất lượng của mô hình cuối cùng), GPU thường tiêu thụ nhiều năng lượng hơn, một yếu tố quan trọng trong nỗ lực của AI để trở nên độc lập (từ dịch vụ đám mây) và hữu ích trong một thiết bị có tài nguyên hạn chế.

Thử nghiệm Chia sẻ Trọng số

Các mạng được thử nghiệm cho dự án là mạng có thể thu gọn và DynaBERT, đại diện cho một nhiệm vụ tầm nhìn máy tính và một nhiệm vụ dựa trên NLP.

Mặc dù đã có nhiều sáng kiến để tạo ra các phiên bản của BERT có thể chạy hiệu quả và tiết kiệm trên thiết bị di động, một số nỗ lực đã được chỉ trích là các giải pháp vòng vo, và các nhà nghiên cứu của bài báo mới lưu ý rằng việc sử dụng BERT trong không gian di động là một thách thức, và rằng ‘các mô hình BERT nói chung quá tính toán phức tạp cho điện thoại di động’.

DynaBERT là một sáng kiến của Trung Quốc để tối ưu hóa khuôn khổ NLP / NLU mạnh mẽ của Google vào bối cảnh một môi trường tài nguyên khan hiếm; nhưng ngay cả việc triển khai BERT này, các nhà nghiên cứu đã tìm thấy, cũng rất đòi hỏi.

Mặc dù vậy, trên cả điện thoại thông minh và thiết bị Raspberry PI, các tác giả đã chạy hai thí nghiệm. Trong thí nghiệm tầm nhìn máy tính, một hình ảnh duy nhất được chọn ngẫu nhiên đã được xử lý liên tục và lặp lại trong ResNet50 như một nhiệm vụ phân loại, và có thể chạy ổn định và không kích hoạt giới hạn nhiệt trong toàn bộ giờ chạy của thí nghiệm.

Bài báo tuyên bố:

‘Mặc dù nó có thể hy sinh một số độ chính xác, Chuyển đổi động đề xuất có tốc độ suy luận nhanh hơn. Điều quan trọng nhất là phương pháp Chuyển đổi động của chúng tôi tận hưởng một sự suy luận nhất quán.’

Chạy ResNet50 không được hỗ trợ và với Chuyển đổi động giữa Slimmable ResNet50 x1.0 và phiên bản x0.25 trên một nhiệm vụ phân loại hình ảnh liên tục, trong sáu mươi phút.

Đối với các thử nghiệm NLP, các tác giả đã thiết lập thí nghiệm để chuyển đổi giữa hai mô hình nhỏ nhất trong bộ DynaBERT, nhưng phát hiện ra rằng ở 1,4 lần độ trễ, BERT bị giới hạn ở khoảng 70°. Họ do đó đã thiết lập việc chuyển xuống xảy ra khi nhiệt độ hoạt động đạt 65°.

Thí nghiệm BERT liên quan đến việc cho chạy liên tục trên một cặp câu hỏi / trả lời từ tập dữ liệu ONLI của GLUE.

Độ trễ và sự trao đổi độ chính xác nghiêm trọng hơn với nhiệm vụ BERT tham vọng hơn so với việc thực hiện tầm nhìn máy tính, và độ chính xác đến với chi phí của một nhu cầu kiểm soát nhiệt độ thiết bị nghiêm trọng hơn, để tránh giới hạn nhiệt:

Độ trễ so với độ chính xác cho các thí nghiệm của các nhà nghiên cứu trên hai nhiệm vụ.

Các tác giả quan sát:

‘Chuyển đổi động, nói chung, không thể ngăn chặn các mô hình BERT khỏi giới hạn nhiệt do tính toán phức tạp khổng lồ của mô hình. Tuy nhiên, dưới một số hạn chế, chuyển đổi động vẫn có thể hữu ích khi triển khai mô hình BERT trên điện thoại di động.’

Các tác giả đã tìm thấy rằng các mô hình BERT gây ra nhiệt độ CPU của điện thoại Honor V30 tăng lên 80° trong ít hơn 32 giây, và sẽ kích hoạt giới hạn nhiệt trong ít hơn sáu phút hoạt động. Do đó, các tác giả đã sử dụng chỉ mô hình BERT nửa chiều rộng.

Các thí nghiệm được lặp lại trên thiết lập Raspberry PI, và kỹ thuật này cũng có thể ngăn chặn việc kích hoạt giới hạn nhiệt trong môi trường đó. Tuy nhiên, các tác giả lưu ý rằng Raspberry PI không hoạt động dưới cùng các ràng buộc nhiệt cực đoan như một điện thoại thông minh紧密, và dường như đã thêm một loạt các thí nghiệm này như một minh chứng thêm về hiệu quả của phương pháp trong các môi trường xử lý khiêm tốn.

Được xuất bản lần đầu tiên vào ngày 23 tháng 6 năm 2022.