Perpustakaan Neural Tangent Baru Dari Google Memberikan Ilmuwan Data “Pandangan Yang Tidak Pernah Terjadi Sebelumnya” Ke Dalam Model

Google (GOOGL ) telah merancang sebuah perpustakaan sumber terbuka yang dimaksudkan untuk membuka kotak hitam pembelajaran mesin dan memberikan insinyur lebih banyak wawasan tentang bagaimana sistem pembelajaran mesin mereka beroperasi. Seperti yang dilaporkan oleh VentureBeat, tim peneliti Google mengatakan bahwa perpustakaan ini dapat memberikan “pandangan yang tidak pernah terjadi sebelumnya” tentang bagaimana model pembelajaran mesin beroperasi.

Jaringan saraf beroperasi melalui neuron yang mengandung fungsi matematika yang mengubah data dalam berbagai cara. Neuron dalam jaringan dihubungkan bersama dalam lapisan, dan jaringan saraf memiliki kedalaman dan lebar. Kedalaman jaringan saraf dikendalikan oleh berapa banyak lapisan yang dimilikinya, dan lapisan yang berbeda dari jaringan menyesuaikan koneksi antara neuron, mempengaruhi bagaimana data diproses saat bergerak antara lapisan. Jumlah neuron dalam lapisan adalah lebar lapisan. Menurut insinyur peneliti Google, Roman Novak, dan ilmuwan peneliti senior di Google, Samuel S. Schoenholz, lebar model sangat terkait dengan perilaku yang teratur dan dapat diulang. Dalam sebuah posting blog, dua peneliti menjelaskan bahwa membuat jaringan saraf lebih lebar membuat perilakunya lebih teratur dan lebih mudah diinterpretasikan.

Ada jenis model pembelajaran mesin yang berbeda yang disebut proses Gaussian. Proses Gaussian adalah proses stokastik yang dapat direpresentasikan sebagai distribusi normal multivariat. Dengan proses Gaussian, setiap kombinasi linier variabel akan memiliki distribusi normal. Ini berarti bahwa interaksi yang sangat kompleks antara variabel dapat direpresentasikan sebagai persamaan aljabar linier yang dapat diinterpretasikan, dan oleh karena itu, perilaku AI dapat dipelajari melalui lensa ini. Bagaimana model pembelajaran mesin terkait dengan proses Gaussian? Model pembelajaran mesin yang memiliki lebar tak terhingga akan konvergen ke proses Gaussian.

Namun, meskipun memungkinkan untuk menginterpretasikan model pembelajaran mesin melalui lensa proses Gaussian, ini memerlukan pengambilan batas lebar tak terhingga dari model. Ini adalah serangkaian perhitungan yang kompleks yang harus dilakukan untuk setiap arsitektur yang terpisah. Untuk membuat perhitungan ini lebih mudah dan lebih cepat, tim peneliti Google merancang Neural Tangents. Neural Tangents memungkinkan seorang ilmuwan data untuk menggunakan hanya beberapa baris kode dan melatih beberapa jaringan saraf tak terhingga sekaligus. Beberapa jaringan saraf sering dilatih pada dataset yang sama dan prediksi mereka dirata-rata, untuk mendapatkan prediksi yang lebih robust dan kebal terhadap masalah yang mungkin terjadi pada model individu. Teknik seperti ini disebut pembelajaran ensemble. Salah satu kelemahan dari pembelajaran ensemble adalah bahwa ini sering kali memerlukan biaya komputasi yang tinggi. Namun, ketika jaringan yang tak terhingga lebarnya dilatih, ensemble tersebut digambarkan oleh proses Gaussian dan varians serta mean dapat dihitung.

Tiga arsitektur jaringan saraf tak terhingga yang berbeda dibandingkan sebagai tes, dan hasil perbandingan tersebut dipublikasikan dalam posting blog. Secara umum, hasil ensemble jaringan yang digerakkan oleh proses Gaussian serupa dengan kinerja jaringan saraf biasa:

Seperti yang dijelaskan oleh tim peneliti dalam sebuah posting blog:

“Kami melihat bahwa, meniru jaringan saraf terhingga, jaringan saraf tak terhingga mengikuti hierarki kinerja yang serupa, dengan jaringan yang terhubung sepenuhnya memiliki kinerja yang lebih buruk daripada jaringan konvolusional, yang pada gilirannya memiliki kinerja yang lebih buruk daripada jaringan residu yang lebar. Namun, tidak seperti pelatihan biasa, dinamika pembelajaran model ini sepenuhnya dapat dihitung dalam bentuk tertutup, yang memungkinkan wawasan baru tentang perilaku mereka.”

Peluncuran Neural Tangents tampaknya bertepatan dengan TensorFlow Dev Summit. Dev summit melihat insinyur pembelajaran mesin yang menggunakan platform TensorFlow Google berkumpul bersama. Pengumuman Neural Tangents juga datang tidak lama setelah TensorFlow Quantum diumumkan.

Neural Tangents telah tersedia melalui GitHub dan ada notebook Google Colaboratory dan tutorial yang dapat diakses oleh mereka yang tertarik.