KI und Survey-Forschung: Eine überraschende Zusammenarbeit

Eine kürzlich durchgeführte Studie von einem Team von Professoren und Doktoranden der Politikwissenschaft und Informatik an der BYU hat das Potenzial von künstlicher Intelligenz (KI) als Ersatz für menschliche Befragte in survey-ähnlicher Forschung untersucht. Das Team testete die Genauigkeit von programmierten Algorithmen eines GPT-3-Sprachmodells, das die komplexen Beziehungen zwischen menschlichen Ideen, Einstellungen und soziokulturellen Kontexten verschiedener Subpopulationen imitiert.

Künstliche Persönlichkeiten und Wahlmuster

In einem Experiment erstellten die Forscher künstliche Persönlichkeiten, indem sie der KI bestimmte Merkmale zuordneten, wie Rasse, Alter, Ideologie und Religiosität. Sie testeten dann, ob diese künstlichen Persönlichkeiten auf die gleiche Weise wählen würden wie Menschen bei den US-Präsidentschaftswahlen 2012, 2016 und 2020. Durch die Verwendung der American National Election Studies (ANES) als Vergleichsdatenbank für menschliche Probanden entdeckten sie eine hohe Übereinstimmung zwischen KI- und menschlichen Wahlmustern.

David Wingate, Professor für Informatik an der BYU und Co-Autor der Studie, äußerte sich überrascht über die Ergebnisse:

“Es ist besonders interessant, weil das Modell nicht für Politikwissenschaft ausgebildet wurde – es wurde einfach auf eine Hundert Milliarden Wörter von Texten trainiert, die aus dem Internet heruntergeladen wurden. Aber die konsistenten Informationen, die wir zurückbekamen, waren so eng mit dem verbunden, wie Menschen wirklich gewählt haben.”

Interview-ähnliche Umfragen und zukünftige Anwendungen

In einem weiteren Experiment konditionierten die Forscher künstliche Persönlichkeiten, um Antworten aus einer Liste von Optionen in einer interview-ähnlichen Umfrage anzubieten, wiederum unter Verwendung der ANES als menschliche Stichprobe. Sie fanden eine hohe Ähnlichkeit zwischen den nuancierten Mustern in menschlichen und KI-Antworten.

Die Ergebnisse der Studie bieten aufregende Perspektiven für Forscher, Marketer und Meinungsforscher. KI kann verwendet werden, um bessere Umfragefragen zu erstellen, sie zu verfeinern, um sie zugänglicher und repräsentativer zu machen, und sogar Populationen zu simulieren, die schwer zu erreichen sind. Sie kann auch verwendet werden, um Umfragen, Slogans und Werbesprüche zu testen, bevor Fokusgruppen durchgeführt werden.

Der Politikwissenschaftler der BYU, Ethan Busby, kommentierte:

“Es ersetzt nicht die Menschen, sondern hilft uns, Menschen effektiver zu studieren. Es geht darum, unsere Fähigkeit zu erweitern, anstatt sie zu ersetzen. Es kann uns helfen, unsere Arbeit mit Menschen effizienter zu gestalten, indem wir unsere Umfragen und unsere Botschaften vorab testen.”

Ethische Fragen und zukünftige Forschung

Da große Sprachmodelle weiter voranschreiten, ergeben sich zahlreiche Fragen zu ihren Anwendungen und Auswirkungen. Welche Populationen werden von dieser Technologie profitieren, und welche werden negativ beeinflusst? Wie können wir uns vor Betrügern und Betrügerinnen schützen, die KI manipulieren könnten, um komplexere Phishing-Scams zu erstellen?

Während viele dieser Fragen unbeantwortet bleiben, bietet die Studie einen Satz von Kriterien, die zukünftige Forscher verwenden können, um die Genauigkeit von KI-Modellen für verschiedene Themenbereiche zu bestimmen.

Wingate erkennt die potenziellen positiven und negativen Konsequenzen der KI-Entwicklung an:

“Wir werden positive Vorteile sehen, weil es neue Fähigkeiten freisetzen wird. Wir werden auch negative Dinge sehen, weil sometimes Computermodelle ungenau sind und sometimes sie voreingenommen sind. Es wird weiterhin die Gesellschaft durcheinanderbringen.”

Busby betont, dass die Befragung künstlicher Persönlichkeiten die Notwendigkeit, echte Menschen zu befragen, nicht ersetzen sollte, und ruft dazu auf, dass Akademiker und Experten zusammenarbeiten, um die ethischen Grenzen der KI-Befragung in der sozialwissenschaftlichen Forschung zu definieren.