Perpustakaan Neural Tangent Baru Dari Google Memberikan Ilmuwan Data “Pandangan Tak Tercapai” Ke Dalam Model

Google telah merancang sebuah perpustakaan sumber terbuka baru yang dimaksudkan untuk membuka kotak hitam pembelajaran mesin dan memberikan insinyur lebih banyak wawasan tentang bagaimana sistem pembelajaran mesin mereka beroperasi. Seperti dilaporkan oleh VentureBeat, tim peneliti Google mengatakan bahwa perpustakaan ini dapat memberikan “pandangan tak tercapai” tentang bagaimana model pembelajaran mesin beroperasi.

Jaringan neural beroperasi melalui neuron yang mengandung fungsi matematika yang mengubah data dengan berbagai cara. Neuron dalam jaringan dihubungkan bersama dalam lapisan, dan jaringan neural memiliki kedalaman dan lebar. Kedalaman jaringan neural dikendalikan oleh berapa banyak lapisan yang dimilikinya, dan lapisan yang berbeda dari jaringan menyesuaikan koneksi antara neuron, mempengaruhi bagaimana data ditangani saat bergerak antara lapisan. Jumlah neuron dalam lapisan adalah lebar lapisan. Menurut insinyur peneliti Google, Roman Novak, dan ilmuwan peneliti senior di Google, Samuel S. Schoenholz, lebar model sangat terkait dengan perilaku teratur dan dapat diulang. Dalam sebuah posting blog, dua peneliti menjelaskan bahwa membuat jaringan neural lebih lebar membuat perilakunya lebih teratur dan lebih mudah diinterpretasikan.

Terdapat jenis model pembelajaran mesin lain yang disebut proses Gaussian. Proses Gaussian adalah proses stokastik yang dapat direpresentasikan sebagai distribusi normal multivariat. Dengan proses Gaussian, setiap set/kombinasi linier variabel akan didistribusikan secara normal. Ini berarti bahwa adalah mungkin untuk merepresentasikan interaksi yang sangat kompleks antara variabel sebagai persamaan aljabar linier yang dapat diinterpretasikan, dan oleh karena itu, adalah mungkin untuk mempelajari perilaku AI melalui lensa ini. Bagaimana model pembelajaran mesin terkait dengan proses Gaussian? Model pembelajaran mesin yang memiliki lebar tak terhingga akan konvergen pada proses Gaussian.

Namun, sementara adalah mungkin untuk menginterpretasikan model pembelajaran mesin melalui lensa proses Gaussian, ini memerlukan pengambilan limit lebar tak terhingga dari model. Ini adalah serangkaian perhitungan yang kompleks yang harus dilakukan untuk setiap arsitektur terpisah. Untuk membuat perhitungan ini lebih mudah dan lebih cepat, tim peneliti Google merancang Neural Tangents. Neural Tangents memungkinkan seorang ilmuwan data untuk menggunakan hanya beberapa baris kode dan melatih beberapa jaringan lebar tak terhingga sekaligus. Beberapa jaringan neural sering dilatih pada dataset yang sama dan prediksi mereka dirata-rata, untuk mendapatkan prediksi yang lebih robust dan kebal terhadap masalah yang mungkin terjadi pada model individu. Teknik seperti ini disebut pembelajaran ensemble. Salah satu kelemahan dari pembelajaran ensemble adalah bahwa ini sering kali memerlukan biaya komputasi yang besar. Namun, ketika jaringan yang memiliki lebar tak terhingga dilatih, ensemble dijelaskan oleh proses Gaussian dan varians serta mean dapat dihitung.

Tiga arsitektur jaringan neural lebar tak terhingga yang berbeda dibandingkan sebagai tes, dan hasil perbandingan dipublikasikan dalam posting blog. Secara umum, hasil jaringan ensemble yang digerakkan oleh proses Gaussian mirip dengan kinerja jaringan neural biasa, lebar terhingga:

Seperti yang dijelaskan tim peneliti dalam sebuah posting blog:

“Kami melihat bahwa, meniru jaringan neural terhingga, jaringan lebar tak terhingga mengikuti hierarki kinerja yang sama dengan jaringan terhubung penuh yang berkinerja lebih buruk daripada jaringan konvolusional, yang pada gilirannya berkinerja lebih buruk daripada jaringan residual lebar. Namun, tidak seperti pelatihan biasa, dinamika pembelajaran model ini sepenuhnya dapat dijejak dalam bentuk tertutup, yang memungkinkan [wawasan baru] tentang perilakunya.”

Pengeluaran Neural Tangents tampaknya bertepatan dengan TensorFlow Dev Summit. Dev summit melihat insinyur pembelajaran mesin yang menggunakan platform TensorFlow Google berkumpul. Pengumuman Neural Tangents juga datang tidak lama setelah TensorFlow Quantum diumumkan.

Neural Tangents telah tersedia melalui GitHub dan ada notebook dan tutorial Google Colaboratory yang dapat diakses oleh mereka yang tertarik.