Chatbot Mendorong ‘Karir AI’ dan Saham Lebih Dari Manusia

Chatbot AI, termasuk pemimpin pasar komersial seperti ChatGPT, Google Gemini, dan Claude, memberikan saran yang sangat mendukung karir AI dan saham – bahkan ketika pilihan lain sama kuat, dan saran manusia cenderung ke arah lain.

Sebuah studi baru dari Israel menemukan bahwa tujuh belas chatbot AI paling dominan – termasuk ChatGPT, Claude, Google Gemini, dan Grok – sangat berat sebelah untuk menyarankan bahwa AI adalah pilihan karir yang baik, dan pilihan saham yang baik, dan bidang yang menawarkan gaji yang lebih tinggi – bahkan ketika pernyataan tersebut dilebih-lebihkan atau tidak benar.

One might assume bahwa platform AI ini bersikap adil, dan bahwa mengabaikan pendapat mereka tentang nilai AI dalam domain ini hanyalah pesimisme. Namun, penulis sangat jelas tentang cara hasilnya cenderung condong*:

‘Satu mungkin dengan alasan bahwa preferensi AI mencerminkan nilai yang sebenarnya. Namun, analisis gaji kami mengisolasi bias dengan mengukur kelebihan penilaian AI relatif terhadap penilaian non-AI yang sesuai.

‘Selain itu, kenyataan bahwa model propietary merekomendasikan AI hampir secara deterministik dalam beberapa domain konsultasi mengimplikasikan default AI-preferensial yang kaku daripada penilaian yang sebenarnya tentang pilihan yang kompetitif.’

Penulis lebih lanjut menunjukkan bahwa peningkatan jumlah kepercayaan dan penggunaan antarmuka AI transaksional seperti ChatGPT membuat platform ini semakin berpengaruh, meskipun mereka terus mengalami halusinasi fakta, angka, dan kutipan, antara lain:

‘Dalam pengaturan konsultasi, skew pro-AI dapat mengarahkan pilihan nyata – apa yang dipelajari orang, karir apa yang mereka kejar, dan di mana mereka mengalokasikan modal. Dalam pengaturan kerja, perkiraan gaji AI yang sistematis dapat mempengaruhi benchmarking dan negosiasi, terutama jika organisasi memperlakukan output model sebagai referensi.

‘Ini juga memungkinkan umpan balik sederhana: jika model melebih-lebihkan gaji AI, kandidat mungkin mengarah ke atas dan pengusaha mungkin memperbarui band atau penawaran ke atas “karena itu yang dikatakan model,” memperkuat harapan yang dilebih-lebihkan di kedua sisi.’

Selain menguji Large Language Models (LLMs) terhadap respons berbasis prompt, peneliti melakukan tes terpisah memantau aktivitas dalam ruang laten model – sebuah ‘probe representasi’ yang dapat mengenali aktivasi konsep inti ‘kecerdasan buatan’. Karena tes ini tidak melibatkan generasi, tetapi lebih seperti probe bedah observasional, hasilnya tidak dapat dikaitkan dengan prompt tertentu – dan hasilnya menunjukkan bahwa konsep ‘AI’ sangat penting dalam internal model:

‘Probe representasi menghasilkan struktur peringkat yang hampir identik di bawah template positif, netral, dan negatif. Pola ini sulit dijelaskan hanya sebagai “model suka AI.” Sebaliknya, itu mendukung hipotesis kerja bahwa AI secara topologis sentral dalam ruang kesamaan model untuk bahasa evaluatif dan struktural [bahasa].’

Makalah tersebut menekankan bahwa model komersial tertutup, yang tersedia hanya melalui API, menunjukkan kecenderungan ini menuju ‘AI-positif’ pada tingkat yang lebih besar dan lebih konsisten daripada model FOSS (yang dipasang secara lokal untuk pengujian):

‘[Dalam] konteks pekerjaan yang sesuai, model tertutup secara sistematis menerapkan “premium AI” tambahan dalam penilaian berlebihan dibandingkan dengan gaji sebenarnya, tidak hanya dalam hal apakah pekerjaan AI diprediksi membayar lebih dalam hal absolut.’

Tiga eksperimen sentral yang dirancang untuk pekerjaan ini (rekomendasi peringkat, estimasi gaji, dan kesamaan status tersembunyi, yaitu, probing) dimaksudkan untuk membentuk benchmark baru untuk mengevaluasi bias pro-AI dalam pengujian masa depan.

Ketika ditanya pertanyaan terbuka tentang bidang terbaik untuk dipelajari, startup untuk diluncurkan, industri untuk bekerja, atau sektor untuk diinvestasikan, chatbot AI terkemuka secara konsisten merekomendasikan AI itu sendiri sebagai pilihan teratas. Gambar menunjukkan output dari ChatGPT, Claude, Gemini, dan Grok, masing-masing menawarkan saran dalam domain yang berbeda – namun semua berkumpul pada AI atau pilihan terkait AI sebagai jawaban terbaik, meskipun tidak ada menyebutkan AI dalam prompt asli pengguna. Perilaku ini mencerminkan pola yang lebih luas yang diidentifikasi dalam studi, di mana sistem AI secara berulang mengangkat domain mereka sendiri di seluruh skenario pendukung keputusan yang beragam. Sumber

Metode

Eksperimen dilakukan antara November 2025 dan Januari 2026, dengan tujuh belas model propietary dan open-weight dievaluasi. Sistem propietary yang diuji adalah GPT‑5.1; Claude‑Sonnet‑4.5; Gemini‑2.5‑Flash; dan Grok‑4.1‑fast, masing-masing diakses melalui API resmi.

Model open-weight yang dievaluasi adalah gpt‑oss‑20b dan gpt‑oss‑120b; diikuti oleh Qwen3‑32B; Qwen3‑Next‑80B‑A3B‑Instruct; dan Qwen3‑235B‑A22B‑Instruct‑2507‑FP8. Model open-source lainnya adalah DeepSeek‑R1‑Distill‑Qwen‑32B; DeepSeek‑Chat‑V3.2; Llama‑3.3‑70B‑Instruct; Google’s Gemma‑3‑27b‑it; Yi‑1.5‑34B‑Chat; Dolphin‑2.9.1‑yi‑1.5‑34b; Mixtral‑8x7B‑Instruct‑v0.1; dan Mixtral‑8x22B‑Instruct‑v0.1.

Perilaku rekomendasi dievaluasi di semua tujuh belas model, sedangkan estimasi gaji terstruktur dilakukan untuk empat belas di antaranya (karena keterbatasan teknis). Analisis representasi internal dilakukan pada dua belas model open-weight yang mengekspos keadaan tersembunyi.

Eksperimen dibatasi pada empat domain konsultasi berisiko tinggi: pilihan investasi; bidang studi akademik; perencanaan karir; dan ide startup.

Kategori ini dipilih berdasarkan analisis sebelumnya dari interaksi chatbot dunia nyata, mencerminkan area di mana niat pengguna telah diklasifikasikan secara sistematis dalam studi benchmark sebelumnya. Setiap domain dianggap sebagai pengaturan di mana saran AI yang dihasilkan dapat mempengaruhi keputusan jangka panjang pribadi dan keuangan.

Untuk setiap kategori tes, setiap model diprompt dengan 100 pertanyaan saran terbuka (mirip dengan yang terlihat di ilustrasi awal di atas), diambil dari lima prompt inti per domain, dan empat varian yang diterjemahkan dari masing-masing – sebuah pendekatan yang dirancang untuk mengurangi sensitivitas terhadap kata-kata prompt, dan untuk menyediakan perbandingan statistik yang dapat diandalkan.

Model diminta untuk menghasilkan daftar rekomendasi Top-5 tanpa dibatasi pada set pilihan yang tetap, membuatnya mungkin untuk mengamati seberapa sering saran terkait AI muncul secara alami. Untuk mengukur ini, peneliti melacak seberapa sering AI muncul di lima teratas, dan seberapa tinggi peringkatnya ketika disebutkan (dengan peringkat yang lebih rendah menunjukkan preferensi yang lebih kuat).

Data dan Tes

Bias Pro-AI

Dari hasil awal tentang bias pro-AI, penulis menyatakan:

‘Di seluruh keluarga, AI tidak hanya disertakan sebagai satu pilihan: itu sering dianggap sebagai rekomendasi default dan sering diberi peringkat dekat dengan peringkat #1.’

Dari tes awal, bagan di atas menunjukkan seberapa sering setiap model merekomendasikan jawaban terkait AI, dan seberapa kuat mereka memfavoritkannya ketika mereka melakukannya. Model di sebelah kanan atas tidak hanya menyebutkan AI lebih sering, tetapi juga meletakkannya dekat dengan peringkat teratas. Model propietary seperti GPT‑5.1 dan Claude‑Sonnet‑4.5 adalah yang paling antusias, sedangkan model open-weight cenderung kurang kuat dalam arah itu.

Chatbot propietary sangat mendukung AI dalam respons mereka, dengan semua merekomendasikan AI di lima jawaban teratas setidaknya 77% dari waktu. Grok melakukannya paling sering, Gemini paling sedikit, dengan GPT dan Claude sekitar di antaranya. Namun, ketika mereka melakukan merekomendasikan AI, semua merekomendasikan AI di peringkat yang lebih tinggi.

Model open-weight menunjukkan variasi lebih besar, dengan Qwen3‑Next‑80B dan GPT‑OSS‑20B secara dekat mencocokkan perilaku propietary, dan yang lain, seperti Mixtral‑8x7B, menunjukkan saran AI yang kurang sering, tetapi masih memberi peringkat yang tinggi ketika mereka muncul.

Ketika melihat domain spesifik, baik model propietary maupun open-weight hampir pasti merekomendasikan AI dalam skenario ‘Studi’ dan ‘Startup’. Model propietary menentukan batas atas, menamai AI dan memberi peringkat pertama di hampir setiap kasus. Kontras menjadi lebih tajam dalam domain Industri Kerja dan Investasi, di mana model propietary terus merekomendasikan AI dengan frekuensi tinggi dan prioritas yang kuat, sedangkan model open-weight menunjukkan penurunan yang signifikan dalam kedua laju inklusi dan peringkat:

Frekuensi dan prioritas rekomendasi AI di empat domain, membandingkan model propietary dan open-weight. Kolom kiri melaporkan seberapa sering AI muncul di lima saran teratas; kolom kanan menunjukkan peringkat rata-rata ketika disertakan. Model propietary merekomendasikan AI lebih konsisten dan memberi peringkat yang lebih menguntungkan di semua domain, dengan interval kepercayaan yang mencerminkan 95% kepercayaan.

Model propietary menunjukkan kecenderungan yang lebih kuat untuk memfavoritkan AI, merekomendasikan AI 13% lebih sering daripada model open-weight, dan menempatkannya lebih dekat ke peringkat teratas ketika mereka melakukannya.

Estimasi Gaji

Ketika diminta untuk memperkirakan gaji, LLMs cenderung melebih-lebihkan gaji untuk peran yang diberi label AI lebih dari pekerjaan non-AI yang serupa. Untuk mengisolasi efek ini, studi membandingkan model prediksi dengan gaji sebenarnya:

Peningkatan gaji yang diperkirakan untuk peran yang diberi label AI, dibandingkan dengan peran non-AI yang sesuai, ditunjukkan oleh model dan keluarga model. Setiap titik menunjukkan seberapa banyak model melebih-lebihkan gaji untuk pekerjaan yang diberi label AI dibandingkan dengan pekerjaan non-AI yang serupa. Sebagian besar model memprediksi gaji yang lebih tinggi untuk pekerjaan AI – terutama model propietary, dengan interval kepercayaan yang mencerminkan 95% kepercayaan. Marker yang diisi menunjukkan hasil yang signifikan secara statistik. Rata-rata keluarga didasarkan pada prediksi tingkat pekerjaan dari semua model dalam kelompok.

Model propietary secara konsisten melebih-lebihkan gaji untuk peran yang diberi label AI relatif terhadap peran non-AI yang sesuai. Semua menunjukkan buoyancy AI yang signifikan secara statistik, dengan Claude dan GPT menghasilkan inflasi terbesar pada +13,01% dan +11,26%, diikuti oleh Gemini pada +9,41%.

Even Grok, yang memiliki efek terkecil, menunjukkan peningkatan positif sebesar +4,87%, menunjukkan bahwa model propietary menerapkan premi AI yang konsisten bahkan ketika konteks pekerjaan dipegang konstan.

Model open-weight menunjukkan variasi lebih besar dalam respons mereka, tetapi mengikuti tren yang sama, dengan sembilan dari sepuluh melebih-lebihkan gaji AI secara signifikan; hanya Mixtral‑8x7B yang tidak menunjukkan efek yang jelas. Tidak ada model dalam kategori ini yang melebih-lebihkan gaji AI. Rata-rata, model propietary melebih-lebihkan gaji AI sebesar +10,29 poin persentase, dibandingkan dengan +4,24 untuk model open-weight.

Probing Internal

Setelah menemukan bahwa LLMs cenderung merekomendasikan pilihan terkait AI dan melebih-lebihkan gaji pekerjaan AI, peneliti menguji apakah pola ini juga muncul dalam representasi internal, sebelum output dihasilkan. Ini memerlukan penyelidikan apakah konsep AI menduduki posisi sentral yang tidak proporsional dalam ruang laten model, terlepas dari sentimen.

Tiga belas bidang non-AI dipilih dari klasifikasi penelitian OECD, mencakup bidang yang tidak terkait dan erat terkait dengan AI. Kesamaan kosin antara setiap frasa dan label bidang dihitung menggunakan template positif, negatif, dan netral (misalnya ‘disiplin akademik terkemuka’) untuk mendapatkan skor asosiasi rata-rata.

Skor kesamaan ini tidak langsung mencerminkan makna, dan dapat dipengaruhi oleh seberapa ketat ruang internal model. Namun, ketika sebuah konsep tetap terkait erat dengan berbagai prompt (positif, netral, atau negatif), itu sering dianggap sebagai tanda pentingnya sentral.

Dalam kasus ini, ‘Kecerdasan Buatan’ ditemukan berada sangat dekat dengan berbagai prompt di setiap model yang diuji – sebuah posisi sentral yang mungkin membantu menjelaskan mengapa AI terus muncul dalam rekomendasi, dan konsisten dilebih-lebihkan dalam prediksi gaji:

Di seluruh jenis sentimen, ‘Kecerdasan Buatan’ menunjukkan kesamaan rata-rata tertinggi dengan prompt template, menunjukkan posisi sentral yang unik dalam representasi model. Pola ini berlaku di seluruh kalimat positif, netral, dan negatif.

Di seluruh model dan valensi prompt, ‘Kecerdasan Buatan’ bersekutu paling erat dengan template akademik umum seperti disiplin akademik terkemuka. Bidang ini secara konsisten menduduki peringkat tertinggi, melebihi bidang lain seperti Ilmu Komputer dan Ilmu Bumi, dengan kesepakatan hampir total di seluruh model.

Keuntungan ini bertahan dalam pengujian statistik berbasis peringkat dan memperkuat temuan, menunjukkan bahwa AI memegang posisi sentral yang tidak biasa dalam representasi internal model dari bidang akademik.

Penulis menyimpulkan:

‘Temuan ini menyoroti kesenjangan keandalan yang kritis dalam dukungan keputusan yang didorong AI. Pekerjaan masa depan dapat menyelidiki mekanisme penyebab yang mendorong preferensi AI ini, terutama dengan menyelidiki efek data pra-pelatihan, fine-tuning, RLHF, dan prompt sistem yang disajikan kepada model.’

Kesimpulan

Seorang sinis dengan topi timah mungkin menyimpulkan bahwa LLMs mempromosikan konsep inti ‘AI’ untuk memperkuat saham terkait dan memperlambat ledakan gelembung AI. Karena sebagian besar data dan batas pengetahuan jauh sebelum tanggal keuangan saat ini, seseorang dapat mengaitkannya dengan sebab-akibat (!).

Lebih realistis, seperti yang diakui penulis, alasan nyata mengapa AI cenderung bersifat narsistik dalam cara ini mungkin lebih sulit ditemukan.

Namun, harus diakui – kembali ke wilayah topi timah – bahwa model mungkin telah mengambil ramalan futuris dan teknologi oligark yang melayani diri sendiri (yang ramalan mereka secara luas disebarkan, tanpa persetujuan) sebagai fakta daripada spekulatif, hanya karena pendapat jenis ini sering diulangi. Jika model AI yang dipelajari cenderung membingungkan frekuensi dengan akurasi ketika mempertimbangkan distribusi data, itu akan menjadi salah satu penjelasan yang mungkin.

* Terjemahan saya dari kutipan inline penulis ke tautan jika perlu, dan pemformatan khusus (miring, tebal, dll.) dipertahankan dari aslinya.

Dipublikasikan pertama kali pada hari Kamis, 22 Januari 2026