Dlaczego AI nie może po prostu przyznać, że nie zna odpowiedzi?

Duże modele językowe często podają pewne odpowiedzi, nawet gdy pytanie nie może być odpowiedzi. Nowe badania pokazują, że te modele często rozpoznają problem wewnętrznie, ale nadal udzielają odpowiedzi, narażając na jaw ukrytą lukę między tym, co wiedzą, a tym, co mówią.

Ktoś, kto spędził rozsądną ilość czasu z wiodącym dużym modelem językowym, takim jak ChatGPT lub Qwen, miał okazję doświadczyć sytuacji, w których model podaje błędną odpowiedź (co może mieć lub nie mieć katastrofalnych konsekwencji, w zależności od tego, jak bardzo na niego polegałeś) – i gdy błąd stał się oczywisty, model jedynie przeprosił.

Dlaczego wiodące LLM mają takie trudności w przyznawaniu, że nie znają odpowiedzi na pytanie, jest to mały, ale rosnący obszar badań. Odpowiedź “pewna, ale błędna” może być szczególnie szkodliwa w przypadku wysoko ocenzurowanego i filtrowanego interfejsu API, takiego jak ChatGPT, ponieważ takie modele agresywnie blokują dane wejściowe lub wyjściowe, które naruszają reguły.

To może dać użytkownikowi fałszywe wrażenie, że model jest decyzyjny i kardynalny, podczas gdy w rzeczywistości odmowa pochodziła z tradycyjnego heurystycznego lub opartego na liście blokowania filtra, zaprojektowanego w celu ograniczenia ekspozycji prawnego gospodarza na wszelkie koszty, a nie z jakichkolwiek spostrzeżeń AI.

… (reszta treści)