KI-Systeme bevorzugen möglicherweise menschliche Sprache anstelle von numerischen Daten

Neue Forschung der Columbia Engineering legt nahe, dass künstliche Intelligenz (KI)-Systeme menschliche Sprache bevorzugen anstelle von numerischen Daten wie 1en und 0en. Die neue Studie stammt von Professor Hod Lipson und dem PhD-Studenten Boyuan Chen und zeigt, dass KI-Systeme höhere Leistungsgrade erreichen könnten, wenn sie mit menschlicher Sprache programmiert werden.

In einem Vergleichsideal fanden die Forscher heraus, dass ein neuronales Netzwerk, das mit Sprachdateien trainiert wurde, höhere Leistungsgrade bei der Erkennung von Objekten erreichte im Vergleich zu einem anderen Netzwerk, das mit einfachen binären Eingaben programmiert wurde.

Lipson ist Professor für Innovation und Mitglied des Data Science Institute der Columbia-Universität.

“Um zu verstehen, warum diese Entdeckung wichtig ist, ist es hilfreich, zu verstehen, wie neuronale Netze normalerweise programmiert werden und warum die Verwendung der menschlichen Stimme ein radikales Experiment ist”, sagte er.

Die Verwendung binärer Zahlen ist kompakt und präzise, während menschliche Sprache komplexer und nicht-binär ist, wenn sie in einer digitalen Datei erfasst wird. Programmierer weichen normalerweise nicht von den Zahlen ab, wenn sie ein neuronales Netzwerk entwickeln, da es sehr effizient ist.

Das Team begann mit dieser Forschung, nachdem sie dachten, dass neuronale Netze ihr volles Potenzial nicht erreichen, und sie glaubten, dass sie schneller und besser sein könnten, wenn sie mit der menschlichen Stimme und bestimmten Wörtern trainiert würden.

Das Training der Netze

Wenn KI-Forscher ein neues maschinelles Lernalgorithmus testen, trainieren sie normalerweise ein neuronales Netzwerk, um bestimmte Objekte und Tiere in einer Sammlung von Fotografien zu erkennen.

Das Team, das aus Chen, Lipson, Yu Li und Susan Raghupathi bestand, richtete ein kontrolliertes Experiment ein, um ihre Hypothese zu testen, und erstellte zwei neue neuronale Netze. Sie trainierten sie, um 10 verschiedene Arten von Objekten unter 50.000 Fotografien, sogenannten “Trainingsbildern”, zu erkennen.

Eines der KI-Systeme wurde auf traditionelle Weise mit numerischen Werten trainiert, während das experimentelle neuronale Netzwerk auf eine andere Weise trainiert wurde. Es erhielt eine Datentabelle mit Zeilen, die ein Foto eines Tieres oder Objekts enthielten, und die zweite Spalte enthielt eine menschliche Stimme-Audio-Datei, die das Wort für das Tier oder Objekt aussprach. Es waren keine 1en und 0en bei dem experimentellen Netzwerk beteiligt.

Beide KI-Systeme wurden insgesamt 15 Stunden trainiert. Die Ergebnisse zeigten, dass das ursprüngliche Netzwerk mit einer Reihe von 1en und 0en antwortete, während das experimentelle neuronale Netzwerk eine Stimme produzierte, die offensichtlich versuchte, “zu sagen”, was das Objekt auf dem Bild war. Obwohl die ursprüngliche Stimme nicht verständlich war, erreichte sie schließlich einen Punkt, an dem sie größtenteils korrekt war.

Die beiden Netze funktionierten gleich gut und identifizierten das Tier oder Objekt zu 92% korrekt. Die Forscher entschieden sich, das Experiment ein zweites Mal durchzuführen, aber diesmal mit weniger Fotografien.

Das traditionelle Netzwerk funktionierte schlecht aufgrund der knappen Daten, wie erwartet, und sank auf etwa 35% Genauigkeit. Das experimentelle Netzwerk funktionierte jedoch doppelt so gut und erreichte 70% Genauigkeit, trotz der knappen Daten.

https://www.youtube.com/watch?v=Iq2YjHCAPRQ

Überraschende Ergebnisse

Beim nächsten Versuch verwendeten die Forscher schwierigere Bilder, wie ein korruptes Bild eines Hundes. Selbst mit den schwierigeren Bildern war das mit der Stimme trainierte neuronale Netzwerk etwa 50% der Zeit korrekt, während das traditionelle Netzwerk nur 20% korrekt war.

Boyuan Chen ist der Leitforscher der Studie.

“Unsere Ergebnisse widersprechen direkt der Art und Weise, wie viele Experten über Computer und Zahlen denken; es ist eine gängige Annahme, dass binäre Eingaben eine effizientere Möglichkeit sind, Informationen an eine Maschine zu übermitteln, als Audio-Streams mit ähnlicher Informationsdichte”, erklärte Chen. “Tatsächlich, als wir diese Forschung auf einer großen KI-Konferenz einreichten, lehnte ein anonymer Gutachter unsere Arbeit einfach deshalb ab, weil er unsere Ergebnisse als ‘zu überraschend und nicht intuitiv’ empfand.”

“Wenn man bedenkt, dass die menschliche Sprache über Zehntausende von Jahren hinweg einem Optimierungsprozess unterzogen wurde, dann ist es nur logisch, dass unsere gesprochenen Wörter ein gutes Gleichgewicht zwischen Rauschen und Signal gefunden haben”, sagte Lipson. “Daher ist es, wenn man es aus der Perspektive der Shannon-Entropie betrachtet, nur logisch, dass ein neuronales Netzwerk, das mit menschlicher Sprache trainiert wurde, ein neuronales Netzwerk, das mit einfachen 1en und 0en trainiert wurde, übertrifft.”

Die Studie wird auf der International Conference on Learning Representations am 3. Mai 2021 präsentiert.

“Wir sollten über alternative und bessere Methoden nachdenken, um KI-Systeme zu trainieren, anstatt größere Datensätze zu sammeln”, sagte Chen. “Wenn wir überdenken, wie wir Trainingsdaten der Maschine präsentieren, könnten wir als Lehrer eine bessere Arbeit leisten.”

“Eine der größten Geheimnisse der menschlichen Evolution ist, wie unsere Vorfahren Sprache erworben haben und wie Kinder so mühelos sprechen lernen”, fügt Lipson hinzu. “Wenn menschliche Kleinkinder am besten mit wiederholter mündlicher Anweisung lernen, dann könnten vielleicht auch KI-Systeme so lernen.”