Hướng tới Viết tự động Khoa học

Sáng nay, khi lướt qua các phần Khoa học Máy tính trên Arxiv, như tôi thường làm mỗi sáng, tôi đã gặp một bài báo gần đây từ Đại học Liên bang Ceara ở Brazil, cung cấp một khuôn khổ Xử lý Ngôn ngữ Tự nhiên mới để tự động hóa việc tóm tắt và trích xuất dữ liệu cốt lõi từ các bài báo khoa học.

vì đây基本 là những gì tôi làm mỗi ngày, bài báo này đã khiến tôi nhớ đến một bình luận trên một luồng viết của Reddit đầu năm nay – một dự đoán rằng viết khoa học sẽ là một trong những công việc báo chí đầu tiên bị máy học thay thế.

Hãy để tôi rõ ràng – tôi tin chắc rằng nhà văn khoa học tự động đang đến, và tất cả các thách thức mà tôi nêu ra trong bài viết này đều có thể giải quyết được, hoặc sẽ được giải quyết. Khi có thể, tôi đưa ra các ví dụ cho điều này. Ngoài ra, tôi không đề cập đến việc liệu các trí tuệ nhân tạo viết khoa học hiện tại hoặc trong tương lai gần có thể viết một cách mạch lạc; dựa trên mức độ quan tâm hiện tại trong lĩnh vực này của Xử lý Ngôn ngữ Tự nhiên, tôi giả định rằng thách thức này sẽ được giải quyết.

Thay vào đó, tôi đang hỏi liệu một trí tuệ nhân tạo viết khoa học có thể xác định các câu chuyện khoa học liên quan theo các kết quả mong muốn (rất đa dạng) của các nhà xuất bản.

Tôi không nghĩ nó sẽ xảy ra ngay lập tức; dựa trên việc lướt qua các tiêu đề và / hoặc bản sao của khoảng 2000 bài báo khoa học mới về học máy mỗi tuần, tôi có một quan điểm hoài nghi hơn về mức độ mà các bài báo học thuật có thể được phân tích thuật toán, cả cho mục đích lập chỉ mục học thuật và báo chí khoa học. Như thường lệ, đó là những con người đáng thương đang cản trở công việc.

Yêu cầu cho Nhà văn Khoa học Tự động

Hãy xem xét thách thức của việc tự động hóa báo cáo khoa học về nghiên cứu học thuật mới nhất. Để giữ cho nó công bằng, chúng ta sẽ hạn chế nó chủ yếu trong các danh mục Khoa học Máy tính của miền Arxiv rất phổ biến và không có tường lửa, từ Đại học Cornell, vốn có một số tính năng hệ thống và khuôn mẫu mà có thể được kết nối vào một đường ống trích xuất dữ liệu.

Hãy giả sử cũng rằng nhiệm vụ tại tay, như với bài báo mới từ Brazil, là lặp qua các tiêu đề, tóm tắt, siêu dữ liệu và (nếu được chứng minh) nội dung của các bài báo khoa học mới để tìm các hằng số, tham số đáng tin cậy, token và thông tin lĩnh vực có thể giảm thiểu.

Đây, sau tất cả, là nguyên tắc mà các khuôn khổ mới mới đang được áp dụng trong các lĩnh vực như báo cáo động đất, viết thể thao, báo chí tài chính và phủ sóng sức khỏe, và một điểm xuất phát hợp lý cho nhà báo khoa học được hỗ trợ bởi trí tuệ nhân tạo.

Quy trình làm việc của đề xuất mới của Brazil. Bài báo khoa học PDF được chuyển đổi thành văn bản thuần UTF-8 (mặc dù điều này sẽ loại bỏ các nhấn mạnh nghiêng có thể có ý nghĩa ngữ nghĩa), và các phần bài báo được dán nhãn và trích xuất trước khi được truyền qua để lọc văn bản. Văn bản được deconstruct thành câu như khung dữ liệu, và các khung dữ liệu được hợp nhất trước khi xác định token và tạo ra hai ma trận doc-token Nguồn: https://arxiv.org/ftp/arxiv/papers/2107/2107.14638.pdf

Làm phức tạp Khuôn mẫu

Một lớp đồng bộ hóa và quy chuẩn hóa khuyến khích là Arxiv áp dụng một khuôn mẫu khá tốt cho các bản gửi, và cung cấp hướng dẫn chi tiết cho các tác giả gửi bài. Do đó, các bài báo thường tuân thủ các phần của giao thức áp dụng cho công việc được mô tả.

Vì vậy, hệ thống tiền xử lý AI cho nhà văn khoa học tự động có thể coi các phần như các miền con: tóm tắt, giới thiệu, liên quan / công việc trước, phương pháp / dữ liệu, kết quả / phát hiện, nghiên cứu loại bỏ, thảo luận, kết luận.

Tuy nhiên, trên thực tế, một số phần này có thể bị thiếu, đổi tên hoặc chứa nội dung không thuộc về phần đó. Hơn nữa, các tác giả sẽ tự nhiên bao gồm các tiêu đề và tiêu đề con không tuân thủ khuôn mẫu. Do đó, sẽ thuộc về NLP / NLU để xác định nội dung liên quan đến phần từ ngữ cảnh.

Đầu vào cho Rắc rối

Một hệ thống phân cấp tiêu đề là một cách dễ dàng cho các hệ thống NLP để phân loại ban đầu các khối nội dung. Nhiều bài báo Arxiv được xuất từ Microsoft Word (như được chứng minh trong các tệp PDF Arxiv bị xử lý sai mà để lại ‘Microsoft Word’ trong tiêu đề – xem hình dưới). Nếu bạn sử dụng tiêu đề phần trong Word, xuất sang PDF sẽ tái tạo chúng thành tiêu đề phân cấp hữu ích cho các quá trình trích xuất dữ liệu của một máy báo.

Tuy nhiên, điều này giả định rằng các tác giả thực sự sử dụng các tính năng này trong Word, hoặc các khung tạo tài liệu khác như TeX và các dẫn xuất (hiếm khi được cung cấp dưới dạng định dạng thay thế bản địa trong các bản gửi Arxiv, với hầu hết các bản gửi chỉ giới hạn ở PDF và, thỉnh thoảng, PostScript thậm chí còn không rõ ràng hơn).

Dựa trên nhiều năm đọc các bài báo Arxiv, tôi đã lưu ý rằng hầu hết chúng không chứa bất kỳ siêu dữ liệu cấu trúc có thể giải thích được, với tiêu đề được báo cáo trong trình đọc (tức là trình duyệt web hoặc trình đọc PDF) là tiêu đề đầy đủ (bao gồm cả phần mở rộng) của tài liệu chính nó.

Trong trường hợp này, khả năng giải thích ngữ nghĩa của bài báo bị hạn chế, và một hệ thống nhà văn khoa học dựa trên AI sẽ cần phải liên kết lại nó với siêu dữ liệu liên quan của nó tại miền Arxiv một cách lập trình. Quy ước Arxiv quy định rằng siêu dữ liệu cơ bản cũng được chèn ngang trên trang 1 của một bản gửi PDF (xem hình dưới). Thật không may – không chỉ vì đây là nơi duy nhất bạn có thể tìm thấy ngày xuất bản hoặc số phiên bản – nó thường bị loại bỏ.

Nhiều tác giả không sử dụng bất kỳ phong cách nào, hoặc chỉ sử dụng phong cách H1 (tiêu đề / tiêu đề cao nhất), khiến NLU phải trích xuất tiêu đề từ ngữ cảnh (có thể không quá khó), hoặc bằng cách phân tích số tham chiếu bao gồm tiêu đề trong đường dẫn tài liệu (tức là https://arxiv.org/pdf/2110.00168.pdf) và tận dụng siêu dữ liệu dựa trên mạng cho bản gửi.

Mặc dù điều sau sẽ không giải quyết các tiêu đề bị thiếu, nhưng ít nhất nó sẽ xác định phần Khoa học Máy tính mà bản gửi áp dụng, và cung cấp thông tin ngày và phiên bản.

GluedText tại ParagraphReturns

Với PDF và Postscript là các định dạng Arxiv phổ biến nhất được gửi bởi các tác giả, hệ thống NLP sẽ cần một quy trình để tách các từ cuối dòng từ các từ đầu dòng tiếp theo mà chúng bị ‘đính kèm’ vào dưới các phương pháp tối ưu hóa mặc định của định dạng PDF.

Tách (và loại bỏ gạch nối) từ có thể được thực hiện trong Perl và nhiều quy trình đệ quy đơn giản khác, mặc dù một cách tiếp cận dựa trên Python có thể ít tốn thời gian hơn và phù hợp hơn với khuôn khổ ML. Adobe, người tạo ra định dạng PDF, cũng đã phát triển một hệ thống chuyển đổi được hỗ trợ bởi AI có tên Liquid Mode, có khả năng ‘chuyển dòng’ văn bản được nướng trong các tệp PDF, mặc dù việc triển khai nó ngoài không gian di động đã chứng minh là chậm.

Ngôn ngữ Anh nghèo

Tiếng Anh vẫn là tiêu chuẩn khoa học toàn cầu để gửi bài báo khoa học, mặc dù điều này là một vấn đề gây tranh cãi. Do đó, đôi khi các bài báo thú vị và đáng chú ý chứa tiêu chuẩn tiếng Anh đáng kinh ngạc, từ các nhà nghiên cứu không nói tiếng Anh. Nếu việc sử dụng tiếng Anh thành thạo được bao gồm như một thước đo giá trị khi một hệ thống máy đánh giá công việc, thì không chỉ những câu chuyện hay sẽ bị mất, mà những sản phẩm đầu ra thấp hơn sẽ được đánh giá cao hơn chỉ vì chúng nói rất ít rất tốt.

Các hệ thống NLP không linh hoạt trong khía cạnh này có thể sẽ gặp thêm một lớp khó khăn trong việc trích xuất dữ liệu, ngoại trừ trong các khoa học nghiêm ngặt và tham số hóa cao, như hóa học và vật lý lý thuyết, nơi các biểu đồ và bảng đều thống nhất trên các cộng đồng khoa học toàn cầu. Mặc dù các bài báo về học máy thường có công thức, nhưng những công thức này có thể không đại diện cho giá trị xác định của bản gửi trong sự vắng mặt của sự đồng thuận khoa học đã được thiết lập về phương pháp luận mà các khoa học cũ hơn tận hưởng.

Lựa chọn: Xác định Yêu cầu Khán giả

Chúng ta sẽ quay lại nhiều vấn đề của việc phân hủy các bài báo khoa học kỳ lạ thành các điểm dữ liệu rời rạc. Bây giờ, hãy xem xét khán giả và mục tiêu của chúng, vì những điều này sẽ rất quan trọng để giúp nhà văn khoa học AI sàng lọc qua hàng nghìn bài báo mỗi tuần. Dự đoán thành công của các câu chuyện tin tức tiềm năng đã là một lĩnh vực hoạt động trong học máy.

Nếu, ví dụ, lưu lượng truy cập khoa học lớn là mục tiêu duy nhất tại một trang web nơi viết khoa học chỉ là một phần của một đề xuất báo chí rộng lớn hơn (như trường hợp của phần khoa học của Daily Mail), một AI có thể được yêu cầu xác định các chủ đề có lưu lượng truy cập cao nhất và tối ưu hóa lựa chọn của nó theo hướng đó. Quá trình này sẽ có khả năng ưu tiên (so với các loại trái cây treo thấp khác) các chủ đề như robot, drone, deepfake, quyền riêng tư và lỗ hổng bảo mật.

Theo trạng thái hiện tại của nghệ thuật trong các hệ thống đề xuất, việc thu hoạch cấp cao này có khả năng dẫn đến ‘bong bóng lọc’ vấn đề cho nhà văn khoa học AI của chúng ta, vì thuật toán dành sự chú ý ngày càng tăng cho một loạt các bài báo khoa học spurious có các từ khóa và cụm từ tần số cao ‘mong muốn’ trên các chủ đề này (lại một lần, vì có tiền để kiếm được trong chúng, cả về lưu lượng truy cập, đối với các tổ chức tin tức, và tài trợ, cho các bộ phận học thuật), trong khi bỏ qua một số ‘trứng Phục sinh’ (xem dưới) có thể được tìm thấy trong nhiều góc ít lui tới của Arxiv.

Một và Xong!

Vật liệu tin tức khoa học tốt có thể đến từ những nơi kỳ lạ và không mong đợi, và từ các lĩnh vực và chủ đề trước đây không có kết quả. Để làm cho nhà văn khoa học AI của chúng ta bối rối hơn, nguồn của một ‘hit’ ngoài đường (chẳng hạn như máy chủ Discord, bộ phận nghiên cứu học thuật hoặc công ty khởi nghiệp) sẽ thường không bao giờ tạo ra tài liệu có thể hành động một lần nữa, trong khi tiếp tục đầu ra một dòng thông tin ồn ào và có giá trị thấp hơn.

Cái mà một kiến trúc học máy lặp lại có thể suy ra từ điều này? Đó là hàng ngàn nguồn tin ‘dư’ trước đó mà nó đã xác định và loại trừ bây giờ sẽ được ưu tiên (mặc dù việc làm như vậy sẽ tạo ra một tỷ lệ tín hiệu trên nhiễu không thể quản lý, xem xét khối lượng lớn các bài báo được phát hành mỗi năm)? Đó là chủ đề chính đáng được ưu tiên hơn nguồn tin mà nó đến (mà trong trường hợp của một chủ đề phổ biến, đó là một hành động dư thừa)..?

Hơn nữa, hệ thống có thể học rằng nó cần di chuyển lên hoặc xuống trong phân cấp độ phức tạp của dữ liệu để tìm kiếm các mẫu – nếu thực sự có – những gì ông cố báo chí của tôi gọi là ‘mũi tin tức’, và định nghĩa tính năng đáng chú ý như một chất lượng lang thang và trừu tượng mà không thể được dự đoán chính xác dựa trên nguồn gốc duy nhất, và có thể được dự kiến sẽ biến đổi hàng ngày.

Xác định Sự thất bại của Giả thuyết

Do áp lực hạn ngạch, các bộ phận học thuật đôi khi sẽ xuất bản các công việc mà giả thuyết trung tâm đã thất bại hoàn toàn (hoặc gần như hoàn toàn) trong thử nghiệm, ngay cả khi phương pháp và phát hiện của dự án vẫn đáng quan tâm theo cách riêng của chúng.

Các thất vọng như vậy thường không được báo hiệu trong tóm tắt; trong những trường hợp tồi tệ nhất, các giả thuyết đã được chứng minh là có thể chỉ được nhận ra bằng cách đọc các biểu đồ kết quả. Điều này không chỉ đòi hỏi phải suy diễn một sự hiểu biết chi tiết về phương pháp từ thông tin hạn chế mà bài báo có thể cung cấp, mà còn đòi hỏi các thuật toán giải thích đồ thị tinh vi có thể giải thích có ý nghĩa mọi thứ, từ biểu đồ tròn đến biểu đồ phân tán, trong ngữ cảnh.

Một hệ thống NLP dựa trên AI đặt niềm tin vào tóm tắt nhưng không thể giải thích biểu đồ và bảng có thể sẽ rất hào hứng với một bài báo mới, khi đọc lần đầu. Thật không may, các ví dụ trước về ‘thất bại ẩn’ trong các bài báo học thuật là (về mục đích đào tạo) khó tổng quát hóa thành mẫu, vì ‘tội ác học thuật’ này chủ yếu là một tội lỗi của việc bỏ qua hoặc giảm nhẹ, và do đó khó nắm bắt.

Trong một trường hợp cực đoan, AI viết của chúng ta có thể cần tìm và kiểm tra dữ liệu kho (tức là từ GitHub), hoặc phân tích bất kỳ tài liệu bổ sung có sẵn, để hiểu những gì kết quả biểu thị về mục tiêu của các tác giả. Do đó, một hệ thống học máy sẽ cần phải đi qua nhiều nguồn và định dạng không được lập bản đồ, khiến việc tự động hóa các quy trình xác minh trở thành một thách thức kiến trúc.

Các kịch bản ‘Hộp trắng’

Một số tuyên bố đáng kinh ngạc nhất được đưa ra trong các bài báo an ninh tập trung vào AI đòi hỏi phải có quyền truy cập và cơ sở hạ tầng nguồn vô cùng đặc biệt và không thực tế – ‘tấn công hộp trắng’. Mặc dù điều này hữu ích cho việc ngoại suy các điểm yếu trước đây chưa biết trong các kiến trúc của các hệ thống AI, nhưng nó hầu như không bao giờ đại diện cho một bề mặt tấn công có thể khai thác được. Do đó, nhà văn khoa học AI sẽ cần một bộ phận phát hiện lừa đảo khá tốt để phân hủy các tuyên bố về an ninh thành xác suất cho việc triển khai hiệu quả.

Nhà văn khoa học tự động sẽ cần một quy trình NLU có khả năng để phân biệt các đề cập ‘hộp trắng’ vào một ngữ cảnh có ý nghĩa (tức là để phân biệt các đề cập từ các ý nghĩa cốt lõi của bài báo), và khả năng suy luận phương pháp ‘hộp trắng’ trong các trường hợp không có cụm từ ‘hộp trắng’ nào xuất hiện trong bài báo.

Các ‘Gotchas’ khác

Các nơi khác mà sự không khả thi và thất bại của giả thuyết có thể bị chôn vùi là trong các nghiên cứu loại bỏ, những nghiên cứu này có hệ thống loại bỏ các yếu tố chính của một công thức hoặc phương pháp mới để xem liệu kết quả có bị ảnh hưởng tiêu cực hay không, hoặc liệu một ‘phát hiện cốt lõi’ có khả năng chống lại sự suy giảm. Trên thực tế, các bài báo bao gồm các nghiên cứu loại bỏ thường khá tự tin vào các phát hiện của chúng, mặc dù một đọc kỹ có thể thường xuyên tiết lộ một ‘bluff’. Trong nghiên cứu AI, bluff này thường là quá拟 hợp, trong đó một hệ thống học máy hoạt động xuất sắc trên dữ liệu nghiên cứu ban đầu, nhưng không thể tổng quát hóa sang dữ liệu mới, hoặc hoạt động dưới các hạn chế không thể tái tạo khác.

Một phần tiêu đề khác có ích cho việc trích xuất hệ thống là Giới hạn. Đây là phần đầu tiên mà bất kỳ nhà văn khoa học nào (AI hoặc con người) nên nhảy đến, vì nó có thể chứa thông tin vô hiệu hóa toàn bộ giả thuyết của bài báo, và việc nhảy đến nó có thể tiết kiệm hàng giờ làm việc (ít nhất, đối với con người). Một kịch bản tồi tệ nhất ở đây là một bài báo thực sự có một phần Giới hạn, nhưng các ‘sự thật thỏa hiệp’ được bao gồm ở nơi khác trong công việc, và không ở đây (hoặc được trình bày không đầy đủ ở đây).

Tiếp theo là Công việc trước. Điều này xảy ra sớm trong khuôn mẫu Arxiv, và thường tiết lộ rằng bài báo hiện tại chỉ đại diện cho một bước tiến nhỏ so với một dự án đổi mới hơn, thường từ 12-18 tháng trước. Tại giai đoạn này, AI viết sẽ cần khả năng thiết lập xem công việc trước đó có đạt được động lực; liệu vẫn còn một câu chuyện ở đây? Liệu công việc trước đó có xứng đáng được chú ý nhưng đã trượt qua sự chú ý của công chúng vào thời điểm xuất bản? Hay bài báo mới chỉ là một bài viết sau cho một dự án trước đó đã được đề cập rộng rãi?

Đánh giá Re-Treads và ‘Tính mới’

Ngoài việc sửa lỗi trong một phiên bản trước, phiên bản 2 của một bài báo thường đại diện cho rất ít hơn là các tác giả đang cố gắng thu hút sự chú ý mà họ không nhận được khi phiên bản 1 được xuất bản. Tuy nhiên, thường xuyên, một bài báo thực sự xứng đáng được chú ý lần thứ hai, vì sự chú ý của truyền thông có thể đã bị phân tâm ở thời điểm xuất bản ban đầu, hoặc công việc đã bị che khuất bởi lưu lượng cao của các bản gửi trong các kỳ hạn hội nghị và hội thảo (chẳng hạn như mùa thu và cuối đông).

Một tính năng hữu ích tại Arxiv để phân biệt một bản chạy lại là thẻ [CẬP NHẬT] được附 vào các tiêu đề bản gửi. Hệ thống ‘khuyến nghị’ nội bộ của AI viết sẽ cần xem xét cẩn thận liệu [CẬP NHẬT] có nghĩa là ‘Đã chơi’ hay không, đặc biệt là vì nó có thể (giả sử) đánh giá lại bài báo nhanh hơn so với một nhà văn khoa học bị áp lực, nhưng nó có một lợi thế đáng kể so với con người, nhờ một quy ước đặt tên có khả năng tồn tại, ít nhất là trên Arxiv.

Arxiv cũng cung cấp thông tin trên trang tóm tắt về việc liệu bài báo có được xác định là có ‘sự chồng chéo đáng kể’ của văn bản với một bài báo khác (thường bởi cùng một tác giả), và điều này cũng có thể được phân tích thành trạng thái ‘bản sao / chạy lại’ bởi một hệ thống AI viết trong trường hợp không có thẻ [CẬP NHẬT].

Xác định Sự khuếch tán

Giống như hầu hết các nhà báo, nhà văn khoa học AI dự kiến của chúng tôi đang tìm kiếm tin tức chưa được báo cáo hoặc chưa được báo cáo, để thêm giá trị vào dòng nội dung mà nó hỗ trợ. Trong hầu hết các trường hợp, việc báo cáo lại các đột phá khoa học lần đầu tiên được giới thiệu trên các nền tảng lớn như TechCrunch, The Verge và EurekaAlert et al là vô nghĩa, vì những nền tảng lớn này hỗ trợ nội dung của họ với các máy công cụ tuyên truyền đầy đủ, hầu như đảm bảo sự bão hòa của truyền thông cho bài báo.

Vì vậy, AI viết của chúng tôi phải xác định xem câu chuyện có đủ mới để đáng theo đuổi.

Cách dễ nhất, về lý thuyết, sẽ là xác định các liên kết nhập gần đây đến các trang nghiên cứu cốt lõi (tóm tắt, PDF, phần tin tức của trang web bộ phận học thuật, v.v.). Generally, các khuôn khổ có thể cung cấp thông tin liên kết nhập cập nhật không phải là mã nguồn mở hoặc thấp chi phí, nhưng các nhà xuất bản lớn có thể chịu được chi phí SaaS như một phần của khuôn khổ đánh giá mới.

Giả sử có quyền truy cập như vậy, AI viết của chúng tôi sẽ phải đối mặt với vấn đề rằng một số lượng lớn các tổ chức báo chí khoa học không trích dẫn các bài báo họ đang viết về, ngay cả trong những trường hợp thông tin đó có sẵn miễn phí. Sau tất cả, một tổ chức muốn các báo cáo thứ cấp liên kết đến họ, chứ không phải đến nguồn.

Vì vậy, AI viết của chúng tôi sẽ cần trích xuất các từ khóa hành động từ một bài báo và thực hiện các tìm kiếm bị giới hạn thời gian để thiết lập nơi, nếu có, câu chuyện đã bị phá vỡ – và sau đó đánh giá xem bất kỳ sự khuếch tán trước đó có thể bị loại bỏ hay không, hoặc liệu câu chuyện đã kết thúc.

Đôi khi, các bài báo cung cấp tài liệu video bổ sung trên YouTube, nơi số lượng xem có thể phục vụ như một chỉ số khuếch tán. Ngoài ra, AI của chúng tôi có thể trích xuất hình ảnh từ bài báo và thực hiện các tìm kiếm hình ảnh hệ thống để thiết lập xem, nếu và khi nào, bất kỳ hình ảnh nào đã được xuất bản lại.

Trứng Phục sinh

Đôi khi một bài báo ‘khô’ tiết lộ các phát hiện có ý nghĩa và đáng chú ý, nhưng những phát hiện này bị giảm nhẹ (hoặc thậm chí bị bỏ qua hoặc không được công nhận) bởi các tác giả, và sẽ chỉ được tiết lộ bằng cách đọc toàn bộ bài báo và làm toán.

Trong một số trường hợp, tôi tin rằng, điều này là vì các tác giả lo lắng hơn về việc được đón nhận trong học thuật hơn là công chúng nói chung, có thể vì họ cảm thấy (không phải lúc nào cũng sai) rằng các khái niệm cốt lõi liên quan không thể được đơn giản hóa đủ cho tiêu dùng chung, mặc dù nỗ lực sáo rỗng của các bộ phận PR của họ.

Nhưng cũng thường xuyên, các tác giả có thể giảm nhẹ hoặc không nhìn thấy hoặc không thừa nhận ý nghĩa của công việc của họ, hoạt động chính thức dưới ‘khoảng cách khoa học’. Đôi khi những ‘trứng Phục sinh’ này không phải là chỉ số tích cực cho công việc, như đã đề cập trước đó, và có thể bị che giấu một cách tinh vi trong các bảng phức tạp của các phát hiện.

Beyond Arxiv

Nên xem xét rằng việc xác định các bài báo về khoa học máy tính thành các token và thực thể rời rạc sẽ dễ dàng hơn nhiều trên một miền như Arxiv, cung cấp một số ‘móc’ nhất quán và khuôn mẫu để phân tích, và không yêu cầu đăng nhập cho hầu hết các chức năng.

Không tất cả các quyền truy cập vào xuất bản khoa học đều là nguồn mở, và vẫn còn phải xem liệu nhà văn khoa học AI của chúng tôi có thể hoặc sẽ sử dụng Sci-Hub để tránh các tường lửa; để sử dụng các trang web lưu trữ để tránh các tường lửa; và liệu có thực tế hay không để xây dựng các kiến trúc khai thác miền tương tự cho một loạt các nền tảng xuất bản khoa học khác, nhiều trong số đó có khả năng chống lại việc thăm dò hệ thống.

Nên xem xét thêm rằng ngay cả Arxiv cũng có giới hạn tốc độ có thể làm chậm các quy trình đánh giá tin tức của một AI viết xuống đến tốc độ ‘con người’.

Nhà văn Khoa học ‘Xã hội’ AI

Ngoài lĩnh vực mở và có thể truy cập của Arxiv và các nền tảng xuất bản khoa học ‘mở’ tương tự, ngay cả việc truy cập vào một bài báo mới thú vị cũng có thể là một thách thức, liên quan đến việc tìm kênh liên hệ của một tác giả và tiếp cận họ để yêu cầu đọc công việc, và thậm chí để nhận được trích dẫn (trong những trường hợp áp lực thời gian không phải là yếu tố quyết định – một trường hợp hiếm đối với các nhà báo khoa học con người những ngày này).

Điều này có thể đòi hỏi phải tự động đi qua các miền khoa học và tạo tài khoản (bạn cần đăng nhập để tiết lộ địa chỉ email của tác giả của một bài báo, ngay cả trên Arxiv). Hầu hết thời gian, LinkedIn là cách nhanh nhất để có được phản hồi, nhưng các hệ thống AI hiện bị cấm liên hệ với thành viên.

Về cách các nhà nghiên cứu sẽ phản ứng với các yêu cầu email từ một nhà văn khoa học AI – tốt, giống như thế giới viết lách của con người, nó có thể phụ thuộc vào ảnh hưởng của tổ chức. Nếu một nhà văn AI được hỗ trợ từ Wired liên hệ với một tác giả muốn phổ biến công việc của mình, thì hợp lý khi giả định rằng nó có thể không gặp phải phản ứng thù địch.

Trong hầu hết các trường hợp, có thể tưởng tượng rằng tác giả sẽ hy vọng rằng những trao đổi bán tự động này cuối cùng sẽ đưa một con người vào vòng lặp, nhưng không nằm ngoài khả năng rằng các cuộc phỏng vấn VOIP theo dõi có thể được hỗ trợ bởi một AI, ít nhất là trong những trường hợp tính khả thi của bài viết được dự đoán là dưới một ngưỡng nhất định, và nơi tổ chức có đủ động lực để thu hút sự tham gia của con người vào một cuộc trò chuyện với một ‘nhà nghiên cứu AI’.

Xác định Tin tức với AI

Nhiều nguyên tắc và thách thức được phác thảo ở đây áp dụng cho khả năng tự động hóa trên các lĩnh vực báo chí khác, và, như nó luôn luôn được, việc xác định một câu chuyện tiềm năng là thách thức cốt lõi. Hầu hết các nhà báo con người sẽ đồng ý rằng việc viết thực sự câu chuyện chỉ là 10% cuối cùng của nỗ lực, và rằng vào thời điểm bàn phím đang gõ, công việc hầu như đã được thực hiện.

Thách thức chính, sau đó, là để phát triển các hệ thống AI có thể phát hiện, điều tra và xác thực một câu chuyện, dựa trên nhiều phức tạp của trò chơi tin tức, và đi qua một loạt các nền tảng đã được củng cố chống lại việc thăm dò, con người hoặc khác.

Trong trường hợp của báo cáo khoa học, các tác giả của các bài báo mới có một chương trình tự phục vụ sâu sắc như bất kỳ nguồn chính nào của một câu chuyện tin tức, và việc phá vỡ đầu ra của họ sẽ đòi hỏi phải nhúng kiến thức trước về động lực xã hội, tâm lý và kinh tế. Do đó, một nhà văn khoa học tự động sẽ cần nhiều hơn các quy trình NLP giảm thiểu để thiết lập nơi tin tức đang ở ngày hôm nay, trừ khi lĩnh vực tin tức đặc biệt được phân lớp, như trường hợp của cổ phiếu, số liệu dịch bệnh, kết quả thể thao, hoạt động địa chấn và các nguồn tin tức thống kê thuần túy khác.