Tìm kiếm ‘Cú và Thằn lằn’ trong Khán giả của Người quảng cáo

Kể từ khi lĩnh vực quảng cáo trực tuyến được ước tính đã chi 740,3 tỷ USD vào năm 2023, dễ hiểu tại sao các công ty quảng cáo đầu tư nhiều nguồn lực vào lĩnh vực nghiên cứu tầm nhìn máy tính này.

Mặc dù là một ngành công nghiệp khép kín và bảo vệ, thỉnh thoảng họ vẫn xuất bản các nghiên cứu cho thấy công việc sở hữu độc quyền tiên tiến hơn trong nhận dạng khuôn mặt và hướng nhìn mắt – bao gồm cả nhận dạng tuổi tác, quan trọng đối với thống kê phân tích nhân khẩu học:

Ước tính tuổi tác trong một ngữ cảnh quảng cáo trong tự nhiên là điều quan tâm của các nhà quảng cáo có thể nhắm vào một nhóm nhân khẩu học cụ thể. Trong ví dụ thử nghiệm này về ước tính tuổi tác khuôn mặt tự động, tuổi tác của người biểu diễn Bob Dylan được theo dõi qua các năm. Nguồn: https://arxiv.org/pdf/1906.03625

Các nghiên cứu này, hiếm khi xuất hiện trong các kho lưu trữ công khai như Arxiv, sử dụng các tham gia được tuyển dụng hợp pháp làm cơ sở cho phân tích AI nhằm xác định mức độ và cách thức người xem tham gia với một quảng cáo.

Dlib’s Histogram of Oriented Gradients (HoG) thường được sử dụng trong các hệ thống ước tính khuôn mặt. Nguồn: https://www.computer.org/csdl/journal/ta/2017/02/07475863/13rRUNvyarN

Animal Instinct

Trong khía cạnh này, tự nhiên, ngành công nghiệp quảng cáo quan tâm đến việc xác định các kết quả dương tính giả (các trường hợp hệ thống phân tích hiểu lầm hành động của đối tượng) và thiết lập các tiêu chí rõ ràng cho khi người xem quảng cáo của họ không hoàn toàn tham gia với nội dung.

Đối với quảng cáo dựa trên màn hình, các nghiên cứu có xu hướng tập trung vào hai vấn đề trong hai môi trường. Các môi trường là ‘máy tính để bàn’ hoặc ‘di động’, mỗi môi trường có các đặc điểm riêng cần có các giải pháp theo dõi tùy chỉnh; và các vấn đề – từ góc độ của nhà quảng cáo – được đại diện bởi hành vi của cú và thằn lằn – xu hướng của người xem không chú ý đầy đủ đến quảng cáo trước mặt họ.

Ví dụ về hành vi ‘Cú’ và ‘Thằn lằn’ trong một đối tượng của dự án nghiên cứu quảng cáo. Nguồn: https://arxiv.org/pdf/1508.04028

Nếu bạn đang nhìn đi từ quảng cáo dự định với toàn bộ đầu, đây là ‘hành vi cú’; nếu tư thế đầu của bạn là tĩnh nhưng mắt của bạn lảng tránh từ màn hình, đây là ‘hành vi thằn lằn’. Về mặt phân tích và thử nghiệm quảng cáo mới trong điều kiện kiểm soát, những hành động này là rất quan trọng để hệ thống có thể nắm bắt.

Một bài báo mới từ SmartEye’s Affectiva acquisition giải quyết các vấn đề này, cung cấp một kiến trúc tận dụng một số khuôn khổ hiện có để cung cấp một tập hợp tính năng kết hợp và liên kết trên tất cả các điều kiện và phản ứng cần thiết – và để có thể xác định xem người xem có chán, tham gia hoặc cách nào đó xa rời nội dung mà nhà quảng cáo muốn họ xem.

Ví dụ về các tín hiệu phân tâm được phát hiện bởi hệ thống chú ý mới cho các thiết bị khác nhau, hiển thị riêng cho máy tính để bàn và thiết bị di động. Nguồn: https://arxiv.org/pdf/2504.06237

Các tác giả tuyên bố*:

‘Nghiên cứu hạn chế đã đi sâu vào việc theo dõi sự chú ý trong quảng cáo trực tuyến. Trong khi các nghiên cứu này tập trung vào việc ước tính tư thế đầu hoặc hướng nhìn để xác định các trường hợp nhìn đi, chúng bỏ qua các tham số quan trọng như loại thiết bị (máy tính để bàn hoặc di động), vị trí camera tương đối với màn hình và kích thước màn hình. Những yếu tố này ảnh hưởng đáng kể đến việc phát hiện sự chú ý.

‘Trong bài báo này, chúng tôi đề xuất một kiến trúc để phát hiện sự chú ý bao gồm việc phát hiện các yếu tố phân tâm khác nhau, bao gồm cả hành vi cú và thằn lằn của việc nhìn ra ngoài màn hình, nói chuyện, buồn ngủ (qua việc nhai và đóng mắt lâu) và rời khỏi màn hình không được chú ý.

‘Không giống như các phương pháp trước đây, phương pháp của chúng tôi tích hợp các tính năng cụ thể của thiết bị như loại thiết bị, vị trí camera, kích thước màn hình (đối với máy tính để bàn) và hướng camera (đối với thiết bị di động) với ước tính nhìn thô để tăng độ chính xác của việc phát hiện sự chú ý.’

Bài báo mới này có tiêu đề Giám sát sự chú ý của người xem trong quảng cáo trực tuyến, và đến từ bốn nhà nghiên cứu tại Affectiva.

Phương pháp và Dữ liệu

Largely do tính chất bí mật và đóng của các hệ thống như vậy, bài báo mới không so sánh trực tiếp phương pháp của các tác giả với các đối thủ, mà thay vào đó trình bày các phát hiện của nó độc quyền dưới dạng các nghiên cứu ablation; bài báo cũng không tuân theo định dạng thông thường của văn học tầm nhìn máy tính. Do đó, chúng tôi sẽ xem xét nghiên cứu như nó được trình bày.

Các tác giả nhấn mạnh rằng chỉ có một số lượng nghiên cứu hạn chế đã giải quyết việc phát hiện sự chú ý cụ thể trong ngữ cảnh của quảng cáo trực tuyến. Trong AFFDEX SDK, cung cấp nhận dạng khuôn mặt thời gian thực, sự chú ý được suy ra chỉ từ tư thế đầu, với các tham gia được dán nhãn là không chú ý nếu góc đầu của họ vượt quá một ngưỡng xác định.

Một ví dụ từ AFFDEX SDK, một hệ thống Affectiva dựa trên tư thế đầu như một chỉ số của sự chú ý. Nguồn: https://www.youtube.com/watch?v=c2CWb5jHmbY

Trong hợp tác năm 2019 Đo lường tự động sự chú ý thị giác đến nội dung video sử dụng học sâu, một tập dữ liệu gồm khoảng 28.000 tham gia được chú thích cho các hành vi không chú ý khác nhau, bao gồm nhìn đi, đóng mắt, hoặc tham gia vào hoạt động không liên quan, và một mô hình CNN-LSTM được đào tạo để phát hiện sự chú ý từ ngoại hình khuôn mặt theo thời gian.

Từ bài báo năm 2019, một ví dụ minh họa các trạng thái chú ý dự đoán cho người xem xem nội dung video. Nguồn: https://www.jeffcohn.net/wp-content/uploads/2019/07/Attention-13.pdf.pdf

Tuy nhiên, các tác giả quan sát thấy, những nỗ lực trước đây này không tính đến các yếu tố cụ thể của thiết bị, chẳng hạn như liệu tham gia có sử dụng máy tính để bàn hay thiết bị di động; cũng không xem xét kích thước màn hình hoặc vị trí camera. Ngoài ra, hệ thống AFFDEX tập trung chỉ vào việc xác định sự phân tâm, và bỏ qua các nguồn phân tâm khác, trong khi công việc năm 2019 cố gắng phát hiện một tập hợp các hành vi rộng hơn – nhưng việc sử dụng một mạng nơ-ron tích chập đơn (CNN) duy nhất có thể, theo bài báo, không đủ cho nhiệm vụ này.

Các tác giả quan sát thấy rằng một số nghiên cứu phổ biến nhất trong dòng này không được tối ưu hóa cho thử nghiệm quảng cáo, có nhu cầu khác so với các lĩnh vực như lái xe hoặc giáo dục – nơi vị trí và hiệu chỉnh camera thường được cố định trước, thay vào đó dựa trên các thiết lập không hiệu chỉnh, và hoạt động trong phạm vi nhìn giới hạn của máy tính để bàn và thiết bị di động.

Do đó, họ đã tạo ra một kiến trúc để phát hiện sự chú ý của người xem trong quảng cáo trực tuyến, tận dụng hai bộ công cụ thương mại: AFFDEX 2.0 và SmartEye SDK.

Ví dụ về phân tích khuôn mặt từ AFFDEX 2.0. Nguồn: https://arxiv.org/pdf/2202.12059

Các công việc trước đây này trích xuất các tính năng cấp thấp như biểu cảm khuôn mặt, tư thế đầu và hướng nhìn. Những tính năng này sau đó được xử lý để tạo ra các chỉ số cấp cao hơn, bao gồm vị trí nhìn trên màn hình; việc nhai; và nói chuyện.

Hệ thống xác định bốn loại phân tâm: nhìn ra ngoài màn hình; buồn ngủ; nói chuyện; và màn hình không được chú ý. Nó cũng điều chỉnh phân tích nhìn theo thiết bị mà người xem đang sử dụng.

Tập dữ liệu: Nhìn

Các tác giả đã sử dụng bốn tập dữ liệu để cung cấp năng lượng và đánh giá hệ thống phát hiện sự chú ý: ba tập dữ liệu tập trung vào hành vi nhìn, nói chuyện và nhai; và một tập dữ liệu thứ tư được rút ra từ các phiên thử nghiệm quảng cáo thực tế chứa một hỗn hợp các loại phân tâm.

Do các yêu cầu cụ thể của công việc, các tập dữ liệu tùy chỉnh đã được tạo cho từng loại này. Tất cả các tập dữ liệu được thu thập đều được lấy từ một kho lưu trữ độc quyền có hàng triệu phiên ghi lại của người tham gia xem quảng cáo trong môi trường gia đình hoặc nơi làm việc, sử dụng một thiết lập web, với sự đồng ý thông báo – và do các hạn chế của những thỏa thuận đồng ý này, các tác giả tuyên bố rằng các tập dữ liệu cho công việc mới này không thể được công bố công khai.

Để xây dựng tập dữ liệu nhìn, người tham gia được yêu cầu theo dõi một chấm di chuyển trên các điểm khác nhau trên màn hình, bao gồm cả các cạnh của nó, và sau đó nhìn ra khỏi màn hình theo bốn hướng (lên, xuống, trái và phải) với trình tự được lặp lại ba lần. Theo cách này, mối quan hệ giữa việc thu thập và phạm vi được thiết lập:

Ảnh chụp màn hình hiển thị kích thích video nhìn trên (a) máy tính để bàn và (b) thiết bị di động. Các khung hình đầu tiên và thứ ba hiển thị hướng dẫn theo dõi một chấm di chuyển, trong khi các khung hình thứ hai và thứ tư nhắc người tham gia nhìn ra khỏi màn hình.

Các đoạn video di chuyển chấm được dán nhãn là chú ý, và các đoạn video nhìn ra ngoài màn hình được dán nhãn là không chú ý, tạo ra một tập dữ liệu đã được dán nhãn với cả các ví dụ dương và âm.

Mỗi video kéo dài khoảng 160 giây, với các phiên bản riêng biệt được tạo cho nền tảng máy tính để bàn và di động, mỗi phiên bản có độ phân giải 1920×1080 và 608×1080, tương ứng.

Tổng cộng có 609 video được thu thập, bao gồm 322 video trên máy tính để bàn và 287 video trên thiết bị di động. Các nhãn được áp dụng tự động dựa trên nội dung video, và tập dữ liệu chia thành 158 mẫu đào tạo và 451 mẫu thử nghiệm.

Tập dữ liệu: Nói chuyện

Trong ngữ cảnh này, một trong những tiêu chí xác định ‘không chú ý’ là khi một người nói chuyện trong hơn một giây (trường hợp này có thể là một nhận xét nhất thời, hoặc thậm chí là một tiếng ho).

Vì môi trường được kiểm soát không ghi lại hoặc phân tích âm thanh, việc nói chuyện được suy ra bằng cách quan sát chuyển động bên trong của các điểm mốc khuôn mặt được ước tính. Do đó, để phát hiện việc nói chuyện mà không cần âm thanh, các tác giả đã tạo một tập dữ liệu dựa hoàn toàn vào đầu vào trực quan, được rút ra từ kho lưu trữ nội bộ của họ và chia thành hai phần: phần đầu tiên chứa khoảng 5.500 video, mỗi video được dán nhãn thủ công bởi ba người chú thích là nói chuyện hoặc không nói chuyện (trong số này, 4.400 được sử dụng cho đào tạo và xác thực, và 1.100 cho thử nghiệm).

Phần thứ hai bao gồm 16.000 phiên được dán nhãn tự động dựa trên loại phiên: 10.500 tính năng cho người tham gia xem quảng cáo im lặng, và 5.500 cho người tham gia thể hiện ý kiến về các thương hiệu.

Tập dữ liệu: Nhai

Mặc dù một số tập dữ liệu ‘nhai’ tồn tại, bao gồm YawDD và Driver Fatigue, các tác giả khẳng định rằng không có tập dữ liệu nào phù hợp cho các kịch bản thử nghiệm quảng cáo, vì chúng либо chứa nhai giả hoặc chứa các contortion khuôn mặt có thể bị nhầm lẫn với sợ hãi hoặc các hành động không phải nhai khác.

Do đó, các tác giả đã sử dụng 735 video từ bộ sưu tập nội bộ của họ, chọn các phiên có khả năng chứa mở hàm kéo dài hơn một giây. Mỗi video được dán nhãn thủ công bởi ba người chú thích là nhai hoạt động hoặc nhai không hoạt động. Chỉ 2,6% khung hình chứa nhai hoạt động, làm nổi bật sự mất cân bằng lớp, và tập dữ liệu được chia thành 670 mẫu đào tạo và 65 mẫu thử nghiệm.

Tập dữ liệu: Phân tâm

Tập dữ liệu phân tâm cũng được rút ra từ kho lưu trữ thử nghiệm quảng cáo của các tác giả, nơi người tham gia đã xem các quảng cáo thực tế mà không có nhiệm vụ được giao. Tổng cộng 520 phiên (193 trên thiết bị di động và 327 trên môi trường máy tính để bàn) đã được chọn ngẫu nhiên và dán nhãn thủ công bởi ba người chú thích là chú ý hoặc không chú ý.

Hành vi không chú ý bao gồm nhìn ra ngoài màn hình, nói chuyện, buồn ngủ, và màn hình không được chú ý. Các phiên bao gồm các khu vực đa dạng trên toàn thế giới, với các bản ghi trên máy tính để bàn phổ biến hơn do vị trí webcam linh hoạt.

Mô hình chú ý

Mô hình chú ý được đề xuất xử lý các tính năng trực quan cấp thấp, cụ thể là biểu cảm khuôn mặt; tư thế đầu; và hướng nhìn – được trích xuất thông qua AFFDEX 2.0 và SmartEye SDK đã đề cập trước đó.

Các tính năng này sau đó được chuyển đổi thành các chỉ số cấp cao hơn, với mỗi yếu tố phân tâm được xử lý bởi một bộ phân loại nhị phân riêng biệt được đào tạo trên tập dữ liệu của nó để tối ưu hóa và đánh giá độc lập.

Sơ đồ cho hệ thống giám sát được đề xuất.

Mô hình nhìn xác định xem người xem có đang nhìn vào hay nhìn ra khỏi màn hình bằng cách sử dụng tọa độ nhìn được chuẩn hóa, với hiệu chỉnh riêng cho máy tính để bàn và thiết bị di động. Quá trình này được hỗ trợ bởi một máy vector hỗ trợ tuyến tính (SVM), được đào tạo trên các tính năng không gian và thời gian, bao gồm cả một cửa sổ bộ nhớ để làm mịn các chuyển động nhìn nhanh.

Để phát hiện nói chuyện mà không cần âm thanh, hệ thống sử dụng các vùng miệng được cắt và một mạng nơ-ron tích chập 3D được đào tạo trên cả đoạn video hội thoại và không hội thoại. Các nhãn được chỉ định dựa trên loại phiên, với việc làm mịn thời gian giảm thiểu các kết quả dương tính giả có thể xảy ra do các chuyển động miệng ngắn.

Nhai được phát hiện bằng cách sử dụng các hình ảnh khuôn mặt đầy đủ, để bắt được chuyển động khuôn mặt rộng hơn, với một mạng nơ-ron tích chập 3D được đào tạo trên các khung hình được dán nhãn thủ công (mặc dù nhiệm vụ này bị phức tạp bởi tần suất thấp của nhai trong việc xem tự nhiên và sự tương đồng của nó với các biểu cảm khác).

Để lại màn hình được xác định thông qua sự vắng mặt của khuôn mặt hoặc tư thế đầu cực đoan, với dự đoán được thực hiện bởi một cây quyết định.

Trạng thái chú ý cuối cùng được xác định bằng một quy tắc cố định: nếu bất kỳ mô-đun nào phát hiện ra sự không chú ý, người xem sẽ được đánh dấu là không chú ý – một cách tiếp cận ưu tiên độ nhạy, và được điều chỉnh riêng cho các ngữ cảnh máy tính để bàn và di động.

Thử nghiệm

Như đã đề cập trước đó, các thử nghiệm tuân theo phương pháp ablation, nơi các thành phần được loại bỏ và ảnh hưởng của chúng đến kết quả được ghi chú.

Các loại không chú ý được nhận biết khác nhau được xác định trong nghiên cứu.

Mô hình nhìn xác định hành vi nhìn ra ngoài màn hình thông qua ba bước chính: chuẩn hóa các ước tính nhìn thô, tinh chỉnh đầu ra và ước tính kích thước màn hình cho máy tính để bàn.

Để hiểu tầm quan trọng của từng thành phần, các tác giả đã loại bỏ chúng riêng lẻ và đánh giá hiệu suất trên 226 video trên máy tính để bàn và 225 video trên thiết bị di động được rút ra từ hai tập dữ liệu. Kết quả, được đo bằng G-mean và F1 điểm, được hiển thị dưới đây:

Kết quả chỉ ra hiệu suất của mô hình nhìn đầy đủ, cùng với các phiên bản có từng bước xử lý riêng lẻ được loại bỏ.

Trong mọi trường hợp, hiệu suất đều giảm khi một bước được bỏ qua. Chuẩn hóa tỏ ra đặc biệt có giá trị trên máy tính để bàn, nơi vị trí camera thay đổi nhiều hơn so với trên thiết bị di động.

Nghiên cứu cũng đánh giá cách các tính năng trực quan dự đoán hướng camera di động: vị trí khuôn mặt, tư thế đầu và hướng nhìn đạt 0,75, 0,74 và 0,60, trong khi sự kết hợp của chúng đạt 0,91, nhấn mạnh – theo các tác giả – lợi thế của việc tích hợp nhiều tín hiệu.

Mô hình phát hiện nói chuyện được đào tạo trên khoảng cách môi dọc, đạt được ROC-AUC là 0,97 trên tập dữ liệu thử nghiệm được dán nhãn thủ công và 0,96 trên tập dữ liệu lớn hơn được dán nhãn tự động, cho thấy hiệu suất nhất quán trên cả hai.

Mô hình phát hiện nhai đạt được ROC-AUC là 96,6% khi sử dụng tỷ lệ khía cạnh miệng alone, cải thiện lên 97,5% khi kết hợp với dự đoán đơn vị hành động từ AFFDEX 2.0.

Mô hình phát hiện để lại màn hình phân loại các khoảnh khắc là không chú ý khi cả AFFDEX 2.0 và SmartEye đều không phát hiện khuôn mặt trong hơn một giây. Để đánh giá tính hợp lệ của điều này, các tác giả đã chú thích thủ công tất cả các sự kiện không có khuôn mặt trong tập dữ liệu phân tâm thực, xác định nguyên nhân cơ bản của mỗi sự kiện kích hoạt. Các trường hợp mơ hồ (như tắc nghẽn camera hoặc biến dạng video) được loại khỏi phân tích.

Như thể hiện trong bảng kết quả dưới đây, chỉ 27% sự kiện kích hoạt ‘không có khuôn mặt’ là do người dùng rời khỏi màn hình.

Các lý do đa dạng được thu thập về lý do tại sao khuôn mặt không được tìm thấy, trong một số trường hợp.

Bài báo tuyên bố:

‘Mặc dù màn hình không được chú ý chỉ chiếm 27% số lần kích hoạt tín hiệu không có khuôn mặt, nhưng nó được kích hoạt vì các lý do khác cho thấy sự không chú ý, chẳng hạn như người tham gia nhìn ra ngoài màn hình với một góc cực đoan, thực hiện quá nhiều chuyển động, hoặc che khuôn mặt đáng kể bằng vật thể / tay.’

Trong thử nghiệm định lượng cuối cùng, các tác giả đã đánh giá cách thêm dần các tín hiệu phân tâm khác nhau – nhìn ra ngoài màn hình (thông qua nhìn và tư thế đầu), buồn ngủ, nói chuyện và màn hình không được chú ý – ảnh hưởng đến hiệu suất tổng thể của mô hình chú ý của họ.

Thử nghiệm được thực hiện trên hai tập dữ liệu: tập dữ liệu phân tâm thực và một tập con của tập dữ liệu nhìn. Điểm G-mean và F1 được sử dụng để đo hiệu suất (mặc dù buồn ngủ và nói chuyện được loại khỏi phân tích tập dữ liệu nhìn do sự liên quan hạn chế trong ngữ cảnh này).

Như thể hiện dưới đây, việc phát hiện sự chú ý được cải thiện một cách nhất quán khi thêm nhiều loại phân tâm, với nhìn ra ngoài màn hình, loại phân tâm phổ biến nhất, cung cấp baseline mạnh nhất.

Ảnh hưởng của việc thêm các tín hiệu phân tâm khác nhau vào kiến trúc.

Về những kết quả này, bài báo tuyên bố:

‘Từ kết quả, chúng ta có thể kết luận đầu tiên rằng việc tích hợp tất cả các tín hiệu phân tâm góp phần vào việc phát hiện sự chú ý được cải thiện.

‘Thứ hai, sự cải thiện trong việc phát hiện sự chú ý là nhất quán trên cả thiết bị máy tính để bàn và di động. Thứ ba, các phiên di động trong tập dữ liệu thực cho thấy sự di chuyển đầu đáng kể khi nhìn ra ngoài, điều này dễ dàng được phát hiện, dẫn đến hiệu suất cao hơn trên thiết bị di động so với máy tính để bàn. Thứ tư, việc thêm tín hiệu buồn ngủ có sự cải thiện tương đối nhỏ so với các tín hiệu khác, vì nó thường hiếm khi xảy ra.

‘Cuối cùng, tín hiệu màn hình không được chú ý có sự cải thiện tương đối lớn hơn trên thiết bị di động so với máy tính để bàn, vì thiết bị di động có thể dễ dàng bị bỏ lại.’

Các tác giả cũng so sánh mô hình của họ với AFFDEX 1.0, một hệ thống trước đó được sử dụng trong thử nghiệm quảng cáo – và ngay cả mô hình hiện tại của họ dựa trên tư thế đầu cũng vượt trội so với AFFDEX 1.0 trên cả hai loại thiết bị:

‘Sự cải thiện này là kết quả của việc tích hợp các chuyển động đầu trong cả hai hướng yaw và pitch, cũng như việc chuẩn hóa tư thế đầu để tính đến các thay đổi nhỏ. Các chuyển động đầu rõ ràng trong tập dữ liệu di động thực đã khiến mô hình đầu của chúng tôi hoạt động tương tự như AFFDEX 1.0.’

Các tác giả kết thúc bài báo với một vòng thử nghiệm định tính (có thể là một chút hình thức).

Các đầu ra mẫu từ mô hình chú ý trên máy tính để bàn và thiết bị di động, với mỗi hàng trình bày các ví dụ về dương tính và âm tính giả cho các loại phân tâm khác nhau.

Các tác giả tuyên bố:

‘Kết quả cho thấy mô hình của chúng tôi phát hiện hiệu quả các yếu tố phân tâm khác nhau trong các thiết lập không được kiểm soát. Tuy nhiên, nó có thể thỉnh thoảng tạo ra các dương tính giả trong một số trường hợp biên, chẳng hạn như nghiêng đầu nghiêm trọng trong khi vẫn duy trì sự chú ý vào màn hình, một số che miệng, mắt mờ quá mức hoặc hình ảnh khuôn mặt tối quá mức. ‘

Kết luận

Mặc dù kết quả đại diện cho một bước tiến có ý nghĩa nhưng được đo lường trong công việc trước đó, giá trị sâu sắc của nghiên cứu nằm ở cái nhìn thoáng qua mà nó cung cấp về sự thúc đẩy liên tục để truy cập vào trạng thái nội bộ của người xem. Mặc dù dữ liệu được thu thập với sự đồng ý, phương pháp này chỉ ra các khuôn khổ tương lai có thể mở rộng ra ngoài các thiết lập nghiên cứu thị trường có cấu trúc.

Đây là một kết luận khá hoang mang và chỉ được củng cố bởi tính chất khép kín, hạn chế và bảo vệ ghen ghét của dòng nghiên cứu này.

* Sự chuyển đổi của tôi các trích dẫn nội tuyến của tác giả thành siêu liên kết.

Được xuất bản lần đầu vào thứ Tư, ngày 9 tháng 4 năm 2025