Laboratorium Agen: Tim Riset Virtual oleh AMD dan Johns Hopkins

Sementara semua orang berbicara tentang agen AI dan otomatisasi, AMD dan Universitas Johns Hopkins telah bekerja pada peningkatan cara kerja sama antara manusia dan AI dalam penelitian. Kerangka kerja sumber terbuka baru mereka, Laboratorium Agen, adalah reimagining lengkap tentang bagaimana penelitian ilmiah dapat dipercepat melalui kerja sama antara manusia dan AI.

Setelah melihat berbagai kerangka kerja penelitian AI, Laboratorium Agen menonjol karena pendekatan praktisnya. Alih-alih mencoba menggantikan peneliti manusia (seperti banyak solusi yang ada), itu fokus pada meningkatkan kemampuan mereka dengan menangani aspek-aspek penelitian yang memakan waktu sementara menjaga manusia tetap di kursi pengemudi.

Inovasi inti di sini sederhana tapi kuat: Daripada mengejar penelitian yang sepenuhnya otonom (yang sering menghasilkan hasil yang dipertanyakan), Laboratorium Agen menciptakan laboratorium virtual di mana beberapa agen AI khusus bekerja sama, masing-masing menangani aspek-aspek yang berbeda dari proses penelitian sambil tetap terikat pada bimbingan manusia.

Menguraikan Laboratorium Virtual

Bayangkan Laboratorium Agen sebagai tim penelitian yang terkoordinasi dengan baik, tetapi dengan agen AI yang memainkan peran khusus. Sama seperti laboratorium penelitian nyata, masing-masing agen memiliki tanggung jawab dan keahlian khusus:

• Agen PhD menangani tinjauan literatur dan perencanaan penelitian
• Agen postdoc membantu memperbaiki pendekatan eksperimental
• Agen Insinyur ML menangani implementasi teknis
• Agen Profesor mengevaluasi dan menilai hasil penelitian

Apa yang membuat sistem ini sangat menarik adalah alur kerjanya. Tidak seperti alat AI tradisional yang beroperasi dalam isolasi, Laboratorium Agen menciptakan lingkungan kolaboratif di mana agen-agen ini berinteraksi dan membangun atas karya satu sama lain.

Prosesnya mengikuti kemajuan penelitian alami:

1. Tinjauan Literatur: Agen PhD mencari makalah akademis menggunakan API arXiv, mengumpulkan dan mengorganisir penelitian yang relevan
2. Perencanaan Formulasi: Agen PhD dan postdoc bekerja sama untuk membuat rencana penelitian yang terperinci
3. Implementasi: Agen Insinyur ML menulis dan menguji kode
4. Analisis & Dokumentasi: Tim bekerja sama untuk menafsirkan hasil dan menghasilkan laporan yang komprehensif

Tapi di mana ini menjadi sangat praktis: Kerangka kerja ini fleksibel dalam hal komputasi, yang berarti peneliti dapat mengalokasikan sumber daya berdasarkan akses mereka ke kekuatan komputasi dan keterbatasan anggaran. Ini membuatnya menjadi alat yang dirancang untuk lingkungan penelitian dunia nyata.

Schmidgall et al.

Faktor Manusia: Di Mana AI Bertemu dengan Keahlian

Sementara Laboratorium Agen memiliki kemampuan otomatisasi yang mengesankan, keajaiban sebenarnya terjadi dalam apa yang mereka sebut “mode co-pilot.” Dalam pengaturan ini, peneliti dapat memberikan umpan balik pada setiap tahap proses, menciptakan kolaborasi yang sebenarnya antara keahlian manusia dan bantuan AI.

Data umpan balik co-pilot mengungkapkan beberapa wawasan yang menarik. Dalam mode otonom, makalah yang dihasilkan oleh Laboratorium Agen memiliki skor rata-rata 3,8/10 dalam evaluasi manusia. Tetapi ketika peneliti terlibat dalam mode co-pilot, skor tersebut melompat ke 4,38/10. Apa yang sangat menarik adalah di mana perbaikan ini muncul – makalah tersebut memiliki skor yang jauh lebih tinggi dalam kejelasan (+0,23) dan presentasi (+0,33).

Tapi di mana kenyataan check: bahkan dengan keterlibatan manusia, makalah tersebut masih memiliki skor sekitar 1,45 poin di bawah rata-rata makalah yang diterima NeurIPS (yang berada di 5,85). Ini bukanlah kegagalan, tetapi ini adalah pembelajaran yang penting tentang bagaimana AI dan keahlian manusia perlu melengkapi satu sama lain.

Evaluasi mengungkapkan sesuatu yang menarik lainnya: peninjau AI secara konsisten menilai makalah sekitar 2,3 poin lebih tinggi daripada peninjau manusia. Celah ini menyoroti mengapa pengawasan manusia tetap penting dalam evaluasi penelitian.

Schmidgall et al.

Menguraikan Angka-angka

Apa yang benar-benar penting dalam lingkungan penelitian? Biaya dan kinerja. Pendekatan Laboratorium Agen untuk membandingkan model mengungkapkan beberapa keuntungan efisiensi yang mengejutkan dalam hal ini.

GPT-4o muncul sebagai juara kecepatan, menyelesaikan alur kerja seluruhnya dalam hanya 1.165,4 detik – itu 3,2x lebih cepat daripada o1-mini dan 5,3x lebih cepat daripada o1-preview. Tetapi apa yang lebih penting adalah bahwa itu hanya memakan biaya $2,33 per makalah. Dibandingkan dengan metode penelitian otonom sebelumnya yang memakan biaya sekitar $15, kita melihat penurunan biaya sebesar 84%.

Melihat kinerja model:

• o1-preview memiliki skor tertinggi dalam kegunaan dan kejelasan
• o1-mini mencapai skor kualitas eksperimental terbaik
• GPT-4o tertinggal dalam metrik tetapi memimpin dalam efisiensi biaya

Implikasi dunia nyata di sini sangat signifikan.

Peneliti sekarang dapat memilih pendekatan mereka berdasarkan kebutuhan spesifik mereka:

• Butuh prototipe cepat? GPT-4o menawarkan kecepatan dan efisiensi biaya
• Memprioritaskan kualitas eksperimental? o1-mini mungkin menjadi pilihan terbaik
• Mencari output yang paling rapi? o1-preview menunjukkan janji

Fleksibilitas ini berarti tim penelitian dapat menyesuaikan kerangka kerja dengan sumber daya dan kebutuhan mereka, bukan terkunci dalam solusi satu ukuran.

Bab Baru dalam Penelitian

Setelah melihat kemampuan dan hasil Laboratorium Agen, saya yakin bahwa kita sedang melihat pergeseran signifikan dalam cara penelitian akan dilakukan. Tetapi ini bukanlah narasi penggantian yang sering mendominasi headline – ini adalah sesuatu yang jauh lebih halus dan kuat.

Sementara makalah Laboratorium Agen belum mencapai standar konferensi teratas secara mandiri, mereka menciptakan paradigma baru untuk percepatan penelitian. Bayangkan memiliki tim asisten penelitian AI yang tidak pernah tidur, masing-masing mengkhususkan diri dalam aspek-aspek yang berbeda dari proses ilmiah.

Implikasi untuk peneliti sangat mendalam:

• Waktu yang dihabiskan untuk tinjauan literatur dan coding dasar dapat diarahkan ke ideasi kreatif
• Gagasan penelitian yang mungkin telah disimpan karena keterbatasan sumber daya menjadi layak
• Kemampuan untuk merancang dan menguji hipotesis dengan cepat dapat menyebabkan temuan yang lebih cepat

Keterbatasan saat ini, seperti celah antara skor tinjauan AI dan manusia, adalah peluang. Setiap iterasi dari sistem ini membawa kita lebih dekat ke kolaborasi penelitian yang lebih canggih antara manusia dan AI.

Menghadap ke depan, saya melihat tiga perkembangan kunci yang dapat mengubah penemuan ilmiah:

1. Polanya kolaborasi antara manusia dan AI yang lebih canggih akan muncul ketika peneliti belajar menggunakan alat ini secara efektif
2. Hemat biaya dan waktu dapat mendemokratisasikan penelitian, memungkinkan laboratorium yang lebih kecil dan lembaga untuk mengejar proyek yang lebih ambisius
3. Kemampuan prototipe yang cepat dapat menyebabkan pendekatan penelitian yang lebih eksperimental

Kunci untuk memaksimalkan potensi ini? Memahami bahwa Laboratorium Agen dan kerangka kerja serupa adalah alat untuk penguatan, bukan otomatisasi. Masa depan penelitian tidak tentang memilih antara keahlian manusia dan kemampuan AI – ini tentang menemukan cara inovatif untuk menggabungkan keduanya.