Watermarking LLM, yang mengintegrasikan sinyal yang tidak terlihat namun dapat dideteksi dalam output model untuk mengidentifikasi teks yang dihasilkan oleh LLM, sangat penting untuk mencegah penyalahgunaan model bahasa besar. Teknik watermarking ini terutama dibagi menjadi dua kategori: Keluarga KGW dan Keluarga Christ. Keluarga KGW memodifikasi logit yang dihasilkan oleh LLM untuk menciptakan output yang memiliki watermark dengan mengkategorikan kosakata menjadi daftar hijau dan daftar merah berdasarkan token sebelumnya. Bias diperkenalkan ke logit token daftar hijau selama generasi teks, memfavoritkan token-token tersebut dalam teks yang dihasilkan. Sebuah metrik statistik kemudian dihitung dari proporsi kata hijau, dan ambang batas ditetapkan untuk membedakan antara teks yang memiliki watermark dan tidak memiliki watermark. Peningkatan pada metode KGW termasuk partisi daftar yang ditingkatkan, manipulasi logit yang lebih baik, kapasitas informasi watermark yang meningkat, ketahanan terhadap serangan penghapusan watermark, dan kemampuan untuk mendeteksi watermark secara publik.

Sebaliknya, Keluarga Christ mengubah proses sampling selama generasi teks LLM, mengintegrasikan watermark dengan mengubah cara token dipilih. Kedua keluarga watermarking ini bertujuan untuk menyeimbangkan deteksi watermark dengan kualitas teks, mengatasi tantangan seperti kekuatan dalam pengaturan entropi yang bervariasi, meningkatkan kapasitas informasi watermark, dan melindungi terhadap upaya penghapusan. Penelitian terbaru telah berfokus pada peningkatan partisi daftar dan manipulasi logit), meningkatkan kapasitas informasi watermark, mengembangkan metode untuk melawan penghapusan watermark, dan memungkinkan deteksi publik. Pada akhirnya, watermarking LLM sangat penting untuk penggunaan etis dan bertanggung jawab dari model bahasa besar, menyediakan metode untuk melacak dan memverifikasi teks yang dihasilkan oleh LLM. Keluarga KGW dan Christ menawarkan dua pendekatan yang berbeda, masing-masing dengan kekuatan dan aplikasi unik, terus berkembang melalui penelitian dan inovasi yang berkelanjutan.

Karena kemampuan kerangka kerja watermarking LLM untuk mengintegrasikan sinyal yang dapat dideteksi secara algoritmik dalam output model untuk mengidentifikasi teks yang dihasilkan oleh kerangka kerja LLM memainkan peran penting dalam mitigasi risiko yang terkait dengan penyalahgunaan model bahasa besar. Namun, ada banyak kerangka kerja watermarking LLM di pasar saat ini, masing-masing dengan perspektif dan prosedur evaluasi yang berbeda, sehingga membuatnya sulit bagi peneliti untuk bereksperimen dengan kerangka kerja ini dengan mudah. Untuk mengatasi masalah ini, MarkLLM, sebuah toolkit open-source untuk watermarking, menawarkan kerangka kerja yang dapat diperluas dan seragam untuk mengimplementasikan algoritma watermarking LLM sambil menyediakan antarmuka pengguna yang ramah untuk memastikan kemudahan penggunaan dan akses. Selain itu, kerangka kerja MarkLLM mendukung visualisasi otomatis dari mekanisme kerangka kerja ini, sehingga meningkatkan kemudahan pemahaman model-model ini. Kerangka kerja MarkLLM menawarkan rangkaian komprehensif dari 12 alat yang mencakup tiga perspektif serta dua pipeline evaluasi otomatis untuk mengevaluasi kinerjanya. Artikel ini bertujuan untuk membahas kerangka kerja MarkLLM secara mendalam, dan kami menjelajahi mekanisme, metodologi, arsitektur kerangka kerja ini bersama dengan perbandingannya dengan kerangka kerja state-of-the-art. Jadi, mari kita mulai.

MarkLLM: Sebuah Toolkit Watermarking LLM

Munculnya kerangka kerja model bahasa besar seperti LLaMA, GPT-4, ChatGPT, dan lain-lain telah secara signifikan meningkatkan kemampuan model AI untuk melakukan tugas-tugas tertentu, termasuk penulisan kreatif, pemahaman konten, pengambilan bentuk, dan banyak lagi. Namun, bersama dengan manfaat luar biasa yang terkait dengan kemampuan luar biasa model bahasa besar saat ini, beberapa risiko telah muncul, termasuk penulisan paper akademis hantu, berita palsu dan gambar yang dihasilkan LLM, dan impersonasi individu, untuk menyebutkan beberapa. Mengingat risiko yang terkait dengan masalah-masalah ini, sangat penting untuk mengembangkan metode yang dapat membedakan antara konten yang dihasilkan LLM dan konten manusia, sebuah persyaratan utama untuk memastikan keaslian komunikasi digital dan mencegah penyebaran informasi yang salah. Selama beberapa tahun terakhir, watermarking LLM telah direkomendasikan sebagai salah satu solusi yang menjanjikan untuk membedakan konten yang dihasilkan LLM dari konten manusia, dan dengan mengintegrasikan fitur-fitur yang berbeda selama proses generasi teks, output LLM dapat diidentifikasi secara unik menggunakan detektor khusus. Namun, karena proliferasi dan algoritma yang relatif kompleks dari kerangka kerja watermarking LLM, serta diversifikasi metrik evaluasi dan perspektif, telah membuatnya sangat sulit untuk bereksperimen dengan kerangka kerja ini.

Untuk menjembatani kesenjangan saat ini, kerangka kerja MarkLLM berusaha membuat kontribusi berikut. MarkLLM menawarkan antarmuka yang konsisten dan ramah pengguna untuk memuat algoritma, menghasilkan teks yang memiliki watermark, melakukan proses deteksi, dan mengumpulkan data untuk visualisasi. Ini menyediakan solusi visualisasi khusus untuk kedua keluarga algoritma watermarking utama, memungkinkan pengguna untuk melihat bagaimana algoritma yang berbeda bekerja di bawah konfigurasi yang berbeda dengan contoh-contoh dunia nyata. Toolkit ini mencakup modul evaluasi komprehensif dengan 12 alat yang menangani deteksi, kekuatan, dan dampak kualitas teks. Selain itu, ini fitur dua jenis pipeline evaluasi otomatis yang mendukung kustomisasi pengguna dari dataset, model, metrik evaluasi, dan serangan, memfasilitasi penilaian yang fleksibel dan menyeluruh. Dirancang dengan arsitektur modular yang longgar, MarkLLM meningkatkan skalabilitas dan fleksibilitas. Pilihan desain ini mendukung integrasi algoritma baru, teknik visualisasi inovatif, dan perluasan toolkit evaluasi oleh pengembang di masa depan.

Banyak algoritma watermarking telah diajukan, namun pendekatan implementasi unik mereka sering memprioritaskan persyaratan tertentu atas standarisasi, menyebabkan beberapa masalah

1. Kurangnya Standarisasi dalam Desain Kelas: Ini memerlukan upaya yang signifikan untuk mengoptimalkan atau memperluas metode yang ada karena desain kelas yang tidak cukup standar.
2. Kurangnya Keseragaman dalam Antarmuka Pemanggilan Tingkat Atas: Antarmuka yang tidak konsisten membuat pemrosesan batch dan replikasi algoritma yang berbeda menjadi sulit dan memakan waktu.
3. Masalah Standar Kode: Tantangan termasuk kebutuhan untuk memodifikasi pengaturan di seluruh segmen kode dan dokumentasi yang tidak konsisten, mempersulit kustomisasi dan penggunaan yang efektif. Nilai yang dikodekan secara keras dan penanganan kesalahan yang tidak konsisten lebih lanjut menghambat upaya adaptasi dan debugging.

Untuk mengatasi masalah-masalah ini, toolkit kami menawarkan kerangka kerja implementasi yang seragam yang memungkinkan panggilan algoritma state-of-the-art yang berbeda di bawah konfigurasi yang fleksibel. Selain itu, struktur kelas yang dirancang dengan hati-hati membuka jalan bagi ekstensi di masa depan. Gambar berikut menunjukkan desain dari kerangka kerja implementasi yang seragam ini.

Karena desain kerangka kerja yang distributif, sangat mudah bagi pengembang untuk menambahkan antarmuka tingkat atas tambahan ke kelas algoritma watermarking tertentu tanpa khawatir mempengaruhi algoritma lain.

MarkLLM: Arsitektur dan Metodologi

Teknik watermarking LLM terutama dibagi menjadi dua kategori: Keluarga KGW dan Keluarga Christ. Keluarga KGW memodifikasi logit yang dihasilkan oleh LLM untuk menciptakan output yang memiliki watermark dengan mengkategorikan kosakata menjadi daftar hijau dan daftar merah berdasarkan token sebelumnya. Bias diperkenalkan ke logit token daftar hijau selama generasi teks, memfavoritkan token-token tersebut dalam teks yang dihasilkan. Sebuah metrik statistik kemudian dihitung dari proporsi kata hijau, dan ambang batas ditetapkan untuk membedakan antara teks yang memiliki watermark dan tidak memiliki watermark. Peningkatan pada metode KGW termasuk partisi daftar yang ditingkatkan, manipulasi logit yang lebih baik, kapasitas informasi watermark yang meningkat, ketahanan terhadap serangan penghapusan watermark, dan kemampuan untuk mendeteksi watermark secara publik.

Sebaliknya, Keluarga Christ mengubah proses sampling selama generasi teks LLM, mengintegrasikan watermark dengan mengubah cara token dipilih. Kedua keluarga watermarking ini bertujuan untuk menyeimbangkan deteksi watermark dengan kualitas teks, mengatasi tantangan seperti kekuatan dalam pengaturan entropi yang bervariasi, meningkatkan kapasitas informasi watermark, dan melindungi terhadap upaya penghapusan. Penelitian terbaru telah berfokus pada peningkatan partisi daftar dan manipulasi logit), meningkatkan kapasitas informasi watermark, mengembangkan metode untuk melawan penghapusan watermark, dan memungkinkan deteksi publik. Pada akhirnya, watermarking LLM sangat penting untuk penggunaan etis dan bertanggung jawab dari model bahasa besar, menyediakan metode untuk melacak dan memverifikasi teks yang dihasilkan oleh LLM. Keluarga KGW dan Christ menawarkan dua pendekatan yang berbeda, masing-masing dengan kekuatan dan aplikasi unik, terus berkembang melalui penelitian dan inovasi yang berkelanjutan.

Evaluasi Komprehensif Otomatis

Mengevaluasi algoritma watermarking LLM adalah tugas yang kompleks. Pertama, ini memerlukan pertimbangan dari berbagai aspek, termasuk deteksi watermark, kekuatan terhadap manipulasi, dan dampak pada kualitas teks. Kedua, evaluasi dari setiap perspektif mungkin memerlukan metrik, skenario serangan, dan tugas yang berbeda. Selain itu, melakukan evaluasi biasanya melibatkan beberapa langkah, seperti pemilihan model dan dataset, generasi teks yang memiliki watermark, pemrosesan pasca, deteksi watermark, manipulasi teks, dan perhitungan metrik. Untuk memfasilitasi evaluasi yang nyaman dan menyeluruh dari algoritma watermarking LLM, MarkLLM menawarkan dua belas alat yang ramah pengguna, termasuk berbagai kalkulator metrik dan penyerang yang mencakup tiga perspektif evaluasi yang disebutkan sebelumnya. Selain itu, MarkLLM menyediakan dua jenis pipeline demo otomatis, yang modulnya dapat dikustomisasi dan disusun secara fleksibel, memungkinkan konfigurasi dan penggunaan yang mudah.

Untuk aspek deteksi, sebagian besar algoritma watermarking pada akhirnya memerlukan spesifikasi ambang batas untuk membedakan antara teks yang memiliki watermark dan tidak memiliki watermark. Kami menyediakan kalkulator tingkat keberhasilan dasar menggunakan ambang batas tetap. Selain itu, untuk meminimalkan dampak pemilihan ambang batas pada deteksi, kami juga menawarkan kalkulator yang mendukung pemilihan ambang batas dinamis. Alat ini dapat menentukan ambang batas yang menghasilkan skor F1 terbaik atau memilih ambang batas berdasarkan tingkat positif palsu (FPR) target yang ditentukan pengguna.

Untuk aspek kekuatan, MarkLLM menawarkan tiga serangan manipulasi teks tingkat kata: penghapusan kata acak pada rasio tertentu, penggantian sinonim acak menggunakan WordNet sebagai set sinonim, dan penggantian sinonim yang sadar konteks menggunakan BERT sebagai model embedding. Selain itu, dua serangan manipulasi teks tingkat dokumen disediakan: memparafrasekan konteks melalui OpenAI API atau model Dipper. Untuk aspek kualitas teks, MarkLLM menawarkan dua alat analisis langsung: kalkulator perplexity untuk mengukur kelancaran dan kalkulator keanekaragaman untuk mengevaluasi variabilitas teks. Untuk menganalisis dampak watermarking pada utilitas teks dalam tugas turunan tertentu, kami menyediakan kalkulator BLEU untuk tugas terjemahan mesin dan penghakim lulus/tidak lulus untuk tugas generasi kode. Selain itu, mengingat metode saat ini untuk membandingkan kualitas teks yang memiliki watermark dan tidak memiliki watermark, yang termasuk menggunakan LLM yang lebih kuat untuk penilaian, MarkLLM juga menawarkan diskriminator GPT, menggunakan GPT-4 untuk membandingkan kualitas teks.

Pipeline Evaluasi

Untuk memfasilitasi evaluasi otomatis dari algoritma watermarking LLM, MarkLLM menyediakan dua pipeline evaluasi: satu untuk menilai deteksi watermark dengan dan tanpa serangan, dan lainnya untuk menganalisis dampak algoritma ini pada kualitas teks. Mengikuti proses ini, kami telah mengimplementasikan dua pipeline: WMDetect3 dan UWMDetect4. Perbedaan utama antara keduanya terletak pada fase generasi teks. Yang pertama memerlukan penggunaan metode generate_watermarked_text dari algoritma watermarking, sedangkan yang kedua bergantung pada parameter text_source untuk menentukan apakah untuk langsung mengambil teks alami dari dataset atau untuk memanggil metode generate_unwatermarked_text.

Untuk menilai dampak watermarking pada kualitas teks, pasangan teks yang memiliki watermark dan tidak memiliki watermark dihasilkan. Teks, bersama dengan input lain yang diperlukan, kemudian diproses dan dimasukkan ke dalam analisis kualitas teks yang ditunjuk untuk menghasilkan hasil analisis dan perbandingan yang rinci. Mengikuti proses ini, kami telah mengimplementasikan tiga pipeline untuk skenario evaluasi yang berbeda:

1. DirectQual.5: Pipeline ini secara khusus dirancang untuk menganalisis kualitas teks dengan membandingkan langsung karakteristik teks yang memiliki watermark dengan karakteristik teks yang tidak memiliki watermark. Ini mengevaluasi metrik seperti perplexity (PPL) dan log diversitas, tanpa memerlukan teks referensi eksternal.
2. RefQual.6: Pipeline ini mengevaluasi kualitas teks dengan membandingkan teks yang memiliki watermark dan tidak memiliki watermark dengan teks referensi yang sama. Ini mengukur derajat kesamaan atau deviasi dari teks referensi, membuatnya ideal untuk skenario yang memerlukan tugas turunan tertentu untuk menilai kualitas teks, seperti terjemahan mesin dan generasi kode.
3. ExDisQual.7: Pipeline ini menggunakan penilai eksternal, seperti GPT-4 (OpenAI, 2023), untuk menilai kualitas teks yang memiliki watermark dan tidak memiliki watermark. Diskriminator menilai teks berdasarkan deskripsi tugas yang disediakan pengguna, mengidentifikasi kemungkinan degradasi atau pelestarian kualitas karena watermarking. Metode ini sangat berharga ketika analisis AI yang canggih dari efek watermarking yang halus diperlukan.

MarkLLM: Eksperimen dan Hasil

Untuk menilai kinerjanya, kerangka kerja MarkLLM melakukan evaluasi pada sembilan algoritma yang berbeda, dan menilai dampak, kekuatan, dan deteksi mereka pada kualitas teks.

Tabel di atas berisi hasil evaluasi penilaian deteksi dari sembilan algoritma yang didukung di MarkLLM. Penyesuaian ambang batas dinamis digunakan untuk menilai deteksi watermark, dengan tiga pengaturan yang disediakan: di bawah FPR target 10%, di bawah FPR target 1%, dan di bawah kondisi untuk skor F1 optimal. 200 teks yang memiliki watermark dihasilkan, sedangkan 200 teks yang tidak memiliki watermark berfungsi sebagai contoh negatif. Kami menyediakan TPR dan skor F1 di bawah penyesuaian ambang batas dinamis untuk FPR 10% dan 1%, bersama dengan TPR, TNR, FPR, FNR, P, R, F1, ACC pada kinerja optimal. Tabel berikut berisi hasil evaluasi penilaian kekuatan dari sembilan algoritma yang didukung di MarkLLM. Untuk setiap serangan, 200 teks yang memiliki watermark dihasilkan dan kemudian dimanipulasi, dengan 200 teks yang tidak memiliki watermark sebagai contoh negatif. Kami melaporkan TPR dan skor F1 pada kinerja optimal di bawah setiap keadaan.

Pemikiran Akhir

Dalam artikel ini, kami telah membahas tentang MarkLLM, sebuah toolkit open-source untuk watermarking yang menawarkan kerangka kerja yang dapat diperluas dan seragam untuk mengimplementasikan algoritma watermarking LLM sambil menyediakan antarmuka pengguna yang ramah untuk memastikan kemudahan penggunaan dan akses. Selain itu, kerangka kerja MarkLLM mendukung visualisasi otomatis dari mekanisme kerangka kerja ini, sehingga meningkatkan kemudahan pemahaman model-model ini. Kerangka kerja MarkLLM menawarkan rangkaian komprehensif dari 12 alat yang mencakup tiga perspektif serta dua pipeline evaluasi otomatis untuk mengevaluasi kinerjanya.