Di Balik Microsoft’s Phi-3 Mini: Model AI Ringan yang Melampaui Kemampuannya

Microsoft (MSFT ) baru-baru ini meluncurkan model bahasa ringan terbarunya yang disebut Phi-3 Mini, memulai seri tiga model AI kompak yang dirancang untuk memberikan kinerja terdepan sambil cukup kecil untuk berjalan efisien pada perangkat dengan sumber daya terbatas. Dengan hanya 3,8 miliar parameter, Phi-3 Mini adalah sebagian kecil dari ukuran raksasa AI seperti GPT-4, namun ia berjanji untuk menyaingi kemampuan mereka di banyak area kunci.

Pengembangan Phi-3 Mini mewakili tonggak penting dalam upaya untuk mendemokratisasi kemampuan AI canggih dengan membuatnya dapat diakses pada berbagai perangkat keras. Ukuran kecilnya memungkinkan untuk diterapkan secara lokal pada smartphone, tablet, dan perangkat edge lainnya, mengatasi masalah keterlambatan dan keamanan yang terkait dengan model berbasis awan. Ini membuka kemungkinan baru untuk pengalaman cerdas pada perangkat di berbagai domain, dari asisten virtual dan AI percakapan hingga asisten pengkodean dan tugas pemahaman bahasa.

Di Balik Layar: Arsitektur dan Pelatihan

Di intinya, Phi-3 Mini adalah model dekoder transformer yang dibangun atas arsitektur serupa dengan model Llama-2 sumber terbuka. Ini memiliki 32 lapisan, 3072 dimensi tersembunyi, dan 32 kepala perhatian, dengan panjang konteks default 4.000 token. Microsoft juga memperkenalkan versi konteks panjang yang disebut Phi-3 Mini-128K, yang memperpanjang panjang konteks hingga 128.000 token menggunakan teknik seperti LongRope.

Apa yang membedakan Phi-3 Mini adalah metode pelatihannya. Alih-alih hanya mengandalkan kekuatan besar dataset dan daya komputasi, Microsoft telah fokus pada mengkurasi dataset pelatihan berkualitas tinggi yang padat dengan penalaran. Data ini terdiri dari data web yang telah disaring secara ketat, serta data sintetis yang dihasilkan oleh model bahasa yang lebih besar.

Proses pelatihan mengikuti pendekatan dua fase. Pada fase pertama, model ini diberi paparan berbagai sumber web yang bertujuan mengajarkan pengetahuan umum dan pemahaman bahasa. Fase kedua menggabungkan data web yang lebih disaring dengan data sintetis yang dirancang untuk memberikan keterampilan penalaran logis dan keahlian domain khusus.

Microsoft menyebut pendekatan ini sebagai “rezim data optimal”, yang berbeda dari “rezim komputasi optimal” atau “rezim pelatihan berlebihan” yang digunakan oleh banyak model bahasa besar. Tujuannya adalah untuk mengkalibrasi data pelatihan untuk mencocokkan skala model, memberikan tingkat pengetahuan dan kemampuan penalaran yang tepat sambil meninggalkan kapasitas yang cukup untuk kemampuan lain.

Pendekatan data-sentris ini telah membayar, karena Phi-3 Mini mencapai kinerja luar biasa pada berbagai benchmark akademis, sering kali menyaingi atau melampaui model yang jauh lebih besar. Misalnya, ia mencetak 69% pada benchmark MMLU untuk pembelajaran dan pemahaman multitugas, dan 8,38 pada benchmark MT-bench untuk penalaran matematika – hasil yang setara dengan model seperti Mixtral 8x7B dan GPT-3.5.

Keamanan dan Ketangguhan

Bersama dengan kinerjanya yang mengesankan, Microsoft telah menempatkan penekanan kuat pada keamanan dan ketangguhan dalam pengembangan Phi-3 Mini. Model ini telah menjalani proses pelatihan pasca-pelatihan yang ketat yang melibatkan pelatihan halus yang diawasi (SFT) dan optimasi preferensi langsung (DPO).

Tahap SFT menggunakan data yang sangat tercurasi dari berbagai domain, termasuk matematika, pengkodean, penalaran, percakapan, identitas model, dan keamanan. Ini membantu memperkuat kemampuan model dalam area-area tersebut sambil memberikan identitas yang kuat dan perilaku etis.

Tahap DPO, di sisi lain, fokus pada mengarahkan model menjauhi perilaku yang tidak diinginkan dengan menggunakan respons yang ditolak sebagai contoh negatif. Proses ini mencakup data format percakapan, tugas penalaran, dan upaya AI yang bertanggung jawab (RAI), memastikan bahwa Phi-3 Mini mematuhi prinsip-prinsip AI etis dan tepercaya dari Microsoft.

Untuk lebih meningkatkan profil keamanannya, Phi-3 Mini telah dikenakan pengujian ekstensif dan pengujian otomatis melintasi puluhan kategori kerusakan RAI. Tim merah independen di Microsoft secara iteratif memeriksa model, mengidentifikasi area untuk perbaikan, yang kemudian ditangani melalui dataset yang dikurasi dan pelatihan ulang.

Pendekatan multi-pronged ini telah secara signifikan mengurangi insiden respons berbahaya, ketidakakuratan faktual, dan bias, seperti yang ditunjukkan oleh benchmark RAI internal Microsoft. Misalnya, model ini menunjukkan tingkat cacat yang rendah untuk kontinuitas konten berbahaya (0,75%) dan ringkasan (10%), serta tingkat ketidakberakaran yang rendah (0,603), menunjukkan bahwa responsnya sangat berakar pada konteks yang diberikan.

Aplikasi dan Kasus Penggunaan

Dengan kinerja yang mengesankan dan langkah-langkah keamanan yang tangguh, Phi-3 Mini sangat cocok untuk berbagai aplikasi, terutama dalam lingkungan dengan sumber daya terbatas dan skenario yang terikat dengan keterlambatan.

Salah satu prospek paling menarik adalah penerapan asisten virtual cerdas dan AI percakapan langsung pada perangkat mobile. Dengan berjalan secara lokal, asisten ini dapat memberikan respons instan tanpa memerlukan koneksi jaringan, sambil memastikan bahwa data sensitif tetap berada pada perangkat, mengatasi kekhawatiran privasi.

Kemampuan penalaran yang kuat dari Phi-3 Mini juga membuatnya menjadi aset berharga untuk bantuan pengkodean dan pemecahan masalah matematika. Pengembang dan siswa dapat memanfaatkan penyelesaian kode pada perangkat, deteksi bug, dan penjelasan, mempermudah proses pengembangan dan pembelajaran.

Di luar aplikasi ini, kemampuan model yang serba guna membuka peluang dalam area seperti pemahaman bahasa, ringkasan teks, dan menjawab pertanyaan. Ukuran kecil dan efisiensinya membuatnya menjadi pilihan menarik untuk memasukkan kemampuan AI ke dalam berbagai perangkat dan sistem, dari peralatan rumah tangga cerdas hingga sistem otomasi industri.

Menghadap Masa Depan: Phi-3 Kecil dan Phi-3 Sedang

Sementara Phi-3 Mini merupakan pencapaian luar biasa dalam dirinya sendiri, Microsoft memiliki rencana yang lebih besar untuk keluarga Phi-3. Perusahaan ini telah mempratinjau dua model yang lebih besar, Phi-3 Kecil (7 miliar parameter) dan Phi-3 Sedang (14 miliar parameter), keduanya diharapkan untuk mendorong batas kinerja model bahasa kompak.

Phi-3 Kecil, misalnya, menggunakan tokenizer yang lebih maju (tiktoken) dan mekanisme perhatian grup-kueri, serta lapisan perhatian blocksparse yang baru, untuk mengoptimalkan jejak memori sambil mempertahankan kinerja pengambilan konteks panjang. Ini juga menggabungkan 10% tambahan data multibahasa, meningkatkan kemampuannya dalam pemahaman dan generasi bahasa di berbagai bahasa.

Phi-3 Sedang, di sisi lain, mewakili langkah besar dalam skala, dengan 40 lapisan, 40 kepala perhatian, dan dimensi penyematan 5.120. Sementara Microsoft mencatat bahwa beberapa benchmark mungkin memerlukan penyempurnaan lebih lanjut dari campuran data pelatihan untuk memanfaatkan sepenuhnya kapasitas yang meningkat, hasil awal menjanjikan, dengan perbaikan signifikan atas Phi-3 Kecil pada tugas seperti MMLU, TriviaQA, dan HumanEval.

Batasan dan Arah Masa Depan

Meskipun kemampuannya yang mengesankan, Phi-3 Mini, seperti semua model bahasa, tidak tanpa batasan. Salah satu kelemahan paling mencolok adalah kapasitasnya yang relatif terbatas untuk menyimpan pengetahuan faktual, seperti yang dibuktikan oleh kinerjanya yang lebih rendah pada benchmark seperti TriviaQA.

Namun, Microsoft percaya bahwa batasan ini dapat dimitigasi dengan melengkapi model dengan kemampuan mesin pencari, memungkinkan untuk mengambil dan menalar informasi relevan secara on-demand. Pendekatan ini ditunjukkan dalam Hugging Face Chat-UI, di mana Phi-3 Mini dapat menggunakan pencarian untuk meningkatkan responsnya.

Area lain untuk perbaikan adalah kemampuan multibahasa model. Sementara Phi-3 Kecil telah mengambil langkah awal dengan menggabungkan data multibahasa tambahan, pekerjaan lebih lanjut diperlukan untuk sepenuhnya membuka potensi model kompak ini untuk aplikasi lintas bahasa.

Menghadap ke depan, Microsoft berkomitmen untuk terus maju dalam mengembangkan keluarga model Phi, mengatasi batasannya dan memperluas kemampuannya. Ini mungkin melibatkan penyempurnaan lebih lanjut pada data pelatihan dan metodologi, serta eksplorasi arsitektur dan teknik baru yang secara khusus dirancang untuk model bahasa kompak dengan kinerja tinggi.

Kesimpulan

Phi-3 Mini dari Microsoft mewakili lompatan besar dalam mendemokratisasi kemampuan AI canggih. Dengan memberikan kinerja terdepan dalam paket yang kompak dan efisien, ia membuka kemungkinan baru untuk pengalaman cerdas pada perangkat di berbagai aplikasi.

Pendekatan pelatihan inovatif, yang menekankan data berkualitas tinggi dan padat dengan penalaran daripada kekuatan komputasi murni, telah terbukti menjadi permainan ganti, memungkinkan Phi-3 Mini untuk melampaui kelasnya. Digabungkan dengan langkah-langkah keamanan yang tangguh dan upaya pengembangan yang berkelanjutan, keluarga model Phi siap untuk memainkan peran kunci dalam membentuk masa depan sistem cerdas, membuat AI lebih mudah diakses, efisien, dan tepercaya dari sebelumnya.

Ketika industri teknologi terus mendorong batas apa yang mungkin dengan AI, komitmen Microsoft terhadap model ringan dan berkinerja tinggi seperti Phi-3 Mini mewakili perubahan menyegarkan dari kebijaksanaan konvensional “lebih besar adalah lebih baik.” Dengan menunjukkan bahwa ukuran bukanlah segalanya, Phi-3 Mini memiliki potensi untuk menginspirasi gelombang inovasi baru yang fokus pada memaksimalkan nilai dan dampak AI melalui pengkurasi data cerdas, desain model yang terpikir, dan praktik pengembangan yang bertanggung jawab.