Pustaka Tangen Neural Baru Dari Google Memberikan Para Ilmuwan Data Wawasan yang “Belum pernah Ada Sebelumnya” Ke Dalam Model

Google telah merancang perpustakaan sumber terbuka baru yang dimaksudkan untuk membuka kotak hitam pembelajaran mesin dan memberikan lebih banyak wawasan kepada para insinyur tentang cara kerja sistem pembelajaran mesin mereka. Seperti dilansir VentureBeat, tim peneliti Google mengatakan bahwa library tersebut dapat memberikan wawasan yang “belum pernah ada sebelumnya” tentang cara kerja model pembelajaran mesin.

Jaringan saraf beroperasi melalui neuron yang berisi fungsi matematika yang mengubah data dengan berbagai cara. Neuron dalam jaringan digabungkan dalam lapisan, dan jaringan saraf memiliki kedalaman dan lebar. Kedalaman jaringan saraf dikendalikan oleh berapa banyak lapisan yang dimiliki, dan lapisan jaringan yang berbeda menyesuaikan koneksi antar neuron, memengaruhi cara data ditangani saat bergerak antar lapisan. Jumlah neuron pada layer adalah lebar layer. Menurut insinyur riset Google Roman Novak dan ilmuwan riset senior di Google, Samuel S. Schoenholz, lebar model berkorelasi erat dengan perilaku reguler dan berulang. Dalam postingan blog, kedua peneliti tersebut menjelaskan bahwa membuat jaringan saraf lebih luas membuat perilakunya lebih teratur dan lebih mudah ditafsirkan.

Ada berbagai jenis model pembelajaran mesin yang disebut proses Gaussian. Proses Gaussian adalah proses stokastik yang dapat direpresentasikan sebagai distribusi normal multivariat. Dengan proses Gaussian, setiap himpunan/kombinasi linier terbatas dari variabel-variabel akan terdistribusi secara normal. Ini berarti interaksi yang luar biasa kompleks antara variabel dapat direpresentasikan sebagai persamaan aljabar linier yang dapat ditafsirkan, dan oleh karena itu perilaku AI dapat dipelajari melalui lensa ini. Bagaimana tepatnya model pembelajaran mesin terkait dengan proses Gaussian? Model pembelajaran mesin yang lebarnya tak terhingga menyatu pada proses Gaussian.

Namun, meskipun mungkin untuk menginterpretasikan model pembelajaran mesin melalui lensa proses Gaussian, diperlukan penurunan batas lebar model yang tak terbatas. Ini adalah serangkaian perhitungan rumit yang harus dilakukan untuk setiap arsitektur terpisah. Untuk membuat perhitungan ini lebih mudah dan lebih cepat, tim riset Google merancang Tangen Neural. Neural Tangents memungkinkan data scientist untuk menggunakan hanya beberapa baris kode dan melatih beberapa jaringan dengan lebar tak terbatas sekaligus. Beberapa jaringan saraf sering dilatih pada kumpulan data yang sama dan prediksinya dirata-ratakan, untuk mendapatkan prediksi yang lebih kuat yang kebal terhadap masalah yang mungkin terjadi pada model individu mana pun. Teknik seperti itu disebut pembelajaran ansambel. Salah satu kelemahan dari pembelajaran ansambel adalah seringkali mahal secara komputasi. Namun ketika jaringan yang sangat luas dilatih, ansambel tersebut dijelaskan oleh proses Gaussian dan varian serta rata-rata dapat dihitung.

Tiga arsitektur jaringan saraf lebar tak terbatas yang berbeda dibandingkan sebagai pengujian, dan hasil perbandingan dipublikasikan di posting blog. Secara umum, hasil jaringan ansambel yang didorong oleh proses Gaussian serupa dengan kinerja jaringan saraf terbatas biasa:

Seperti yang dijelaskan tim peneliti dalam posting blog:

“Kami melihat bahwa, meniru jaringan saraf hingga, jaringan dengan lebar tak terbatas mengikuti hierarki kinerja yang sama dengan jaringan yang terhubung penuh berkinerja lebih buruk daripada jaringan konvolusional, yang pada gilirannya berkinerja lebih buruk daripada jaringan sisa yang luas. Namun, tidak seperti pelatihan reguler, dinamika pembelajaran model ini sepenuhnya dapat dilacak dalam bentuk tertutup, yang memungkinkan wawasan [baru] ke dalam perilaku mereka.”

Pelepasan Neural Tangents tampaknya bertepatan dengan TensorFlow Dev Summit. KTT pengembang mempertemukan para insinyur pembelajaran mesin yang memanfaatkan platform TensorFlow Google. Pengumuman Neural Tangents juga datang tidak lama setelah TensorFlow Quantum diumumkan.

Neural Tangents telah tersedia melalui GitHub dan ada buku catatan dan tutorial Kolaborasi Google yang dapat diakses oleh mereka yang tertarik.