Annie Chechitelli, Chief Product Officer bei Turnitin – Interview-Serie

Annie Chechitelli ist die Chief Product Officer bei Turnitin, wo sie die Turnitin-Suite von Anwendungen leitet, einschließlich akademischer Integrität, Noten und Feedback sowie Bewertungsfähigkeiten.

Turnitin ist ein globaler Unternehmen, das sich der Integrität der Bildung und der Verbesserung der Lernergebnisse widmet. Seit 25 Jahren arbeitet Turnitin mit Bildungseinrichtungen zusammen, um Ehrlichkeit, Konsistenz und Fairness in allen Fächern und Bewertungsarten zu fördern. Turnitin-Produkte werden von Bildungseinrichtungen und Zertifizierungs- und Lizenzprogrammen verwendet, um die Integrität zu wahren und die Lernleistung zu verbessern, und von Studenten und Fachleuten, um ihre beste, originale Arbeit zu leisten.

Wie hat die Einführung von AI-Schreibtools wie ChatGPT die akademische Integrität beeinflusst?

Die weltweite Zugänglichkeit von ChatGPT hat neue potenzielle Ausgänge für akademisches Fehlverhalten geschaffen, einschließlich AI-generierter Texte, Plagiate und Paraphrasen, in einem Maß, das nur weiter wächst. Für Lehrer ist es immer schwieriger, zwischen AI- und menschlich generierten Inhalten zu unterscheiden. Daher geht es bei der Sicherstellung, dass Studenten ihre beste, originale Arbeit leisten, weit über die Erkennung hinaus. Lehrer benötigen die Fähigkeit, vor dem Auftreten von Fehlverhalten einzugreifen, um die akademische Integrität und ethische Schreibpraktiken zu stärken. AI wird nicht verschwinden, und das neue Zeitalter der akademischen Integrität erfordert ein umfassendes Verständnis von Studenten und Lehrern darüber, wie AI verantwortungsvoll zur Unterstützung des menschlichen Lernens und der Entscheidungsfindung eingesetzt werden kann.

Bei Turnitin sind wir dazu verpflichtet, Studenten und Lehrern zu helfen, die Rolle von AI im Bildungswesen zu verstehen, einschließlich der Identifizierung von Fehlverhalten und der Bewertung, wie AI am besten in den Unterricht integriert werden kann. Wenn Bildungseinrichtungen und Lehrer AI-Schreiben im Bildungswesen nur durch die Identifizierung von AI-Schreiben in Studentenarbeiten betrachten, verpassen sie das gesamte Bild, da AI auch das Lernen unterstützen kann. Diese Technologie hat die Fähigkeit, menschliche Ideen zu ergänzen und ein besseres Verständnis komplexer Themen zu fördern, wenn sie richtig eingesetzt wird. AI selbst ist keine Bedrohung für das originale Denken oder die akademische Integrität, solange Studenten wissen, wie sie die Tools ethisch einsetzen. Es ist die Verantwortung der Lehrer, ihren Studenten die erforderliche Anleitung zu geben, um die Tools verantwortungsvoll zu nutzen – eine Fähigkeit, die ihnen auch in ihrer zukünftigen Berufslaufbahn helfen wird.

Welche spezifischen Herausforderungen stellen sich Lehrern bei der Erkennung von AI-generierten und paraphrasierten Inhalten?

Die Nutzung von AI durch Studenten in der Hochschulbildung übertrifft die Nutzung durch Lehrer. Turnitin hat mit Tyton Partners* zusammengearbeitet und festgestellt, dass 59% der befragten Studenten angaben, AI-Schreibtools mindestens einmal im Monat zu verwenden, während es bei Administratoren 40% und bei Lehrern 36% waren. Ein Mangel an Vertrautheit mit diesen Tools lässt Lehrer im Dunkeln über die Fähigkeiten und Grenzen von AI.

Darüber hinaus geht es bei der Nutzung von AI nicht mehr nur um AI-generierte Inhalte. AI-Paraphrasierung hat sich durchgesetzt und ist die neueste Methode, um die Erkennung zu vermeiden. Lehrer benötigen UnterstützungsTools, die mit den neuesten Fortschritten von AI Schritt halten und Einblicke in den Arbeitsablauf und die Denkprozesse der Studenten geben.

Diese Funktionen sind nicht dazu gedacht, die professionelle Entscheidungskompetenz der Lehrer zu ersetzen, sondern vielmehr, um zusätzliche Erkenntnisse zu liefern, um zu einer Entscheidung zu gelangen. Berichte wie unsere liefern Datenpunkte und Ressourcen, um den Prozess der Arbeit mit Studenten zu unterstützen, nicht um Fehlverhalten festzustellen.

Stattdessen sind unsere AI-Schreib- und Paraphrasierungstools darauf ausgelegt, Lehrern zu helfen, konstruktive Gespräche mit Studenten über die Bedeutung ethischer Schreibpraktiken und die richtige Verwendung von Paraphrasierungstechniken zu führen.

Wir entwickeln auch eine neue Lösung für das Schreiben von Studenten, um sowohl Lehrern als auch Studenten die Authentizität ihrer Arbeit zu gewährleisten, indem wir uns auf den “Beweis des Prozesses” konzentrieren. In Kombination mit unseren bestehenden Plagiat- und AI-Überprüfungen zielen wir darauf ab, Lehrern Vertrauen und Einblicke zu geben, ohne sie zu belasten, und Studenten die Gewissheit zu geben, dass ihre harte Arbeit nicht allein durch eine Note beurteilt wird. Dieses Produkt wird von einer Auswahl von Universitäten später in diesem Jahr verwendet werden.

*Turnitin war Partner bei der Durchführung der Tyton-Studie “Time for Class 2024: Unlocking Access to Effective Digital Teaching & Learning”.

Können Sie erklären, wie Turnitins neue AI-Paraphrasierungserkennungsfunktion funktioniert?

AI-Paraphrasierung bezeichnet den Prozess der Verwendung von AI-Technologie, um Texte umzuschreiben, während die ursprüngliche Bedeutung beibehalten wird. Diese AI-gesteuerten Tools, auch Textspinner genannt, analysieren den Eingabetext und generieren alternative Versionen, die dieselbe Information mit anderen Worten oder Satzstrukturen vermitteln. Das Ziel ist es, AI-generierte Texte unerkannt zu lassen.

Turnitins AI-Paraphrasierungserkennungsfunktion identifiziert jedoch Fälle, in denen AI-Paraphrasierung möglicherweise verwendet wurde, um AI-generierte Texte in eingereichten Inhalten zu modifizieren, und hilft so Herausgebern und Lehrern, die Integrität von Forschungsschreiben und authentischen Lernerfahrungen für Studenten zu gewährleisten.

Innerhalb der Plattform hebt der AI-Schreibbericht die Textsegmente hervor, die das Modell vorhersagt, dass sie wahrscheinlich von einem AI-Tool geschrieben wurden. Separat hebt es auch AI-generierte Texte hervor, die möglicherweise mithilfe eines AI-Paraphrasierungstools modifiziert wurden, damit Lehrer und Herausgeber die Nuancen der Erkennung verstehen können.

Wie haben Ihre vorherigen Rollen bei AWS und Amazon (AMZN ), insbesondere im Bereich Bildungstechnologie und digitale Inhaltsverteilung, Ihre Herangehensweise an die Entwicklung und Verbesserung von Turnitins AI-Paraphrasierungserkennungsfunktion beeinflusst?

Im Laufe meiner Karriere habe ich mich immer auf eine kundenorientierte Mentalität konzentriert: ständige Evolution, Reaktion auf den Markt und Identifizierung von Kundenbedürfnissen und -feedback. Diese Mentalität habe ich in meine Rolle bei Turnitin mitgebracht und sie ist das Herzstück unserer Produktentwicklungsstrategie.

Technologie hat sich immer schnell verändert, und das gilt auch für AI. Nach dem Launch unseres AI-Schreibdetektors hörte Turnitin von Lehrern auf der ganzen Welt, dass Studenten versuchten, die Erkennung durch die Verwendung von Paraphrasierungstools zu umgehen. Studenten und Forscher könnten AI-Paraphrasierung verwendet haben, um AI-generierte Inhalte, einschließlich Inhalte, die von Sprachmodellen wie ChatGPT produziert wurden, zu modifizieren, um die Erkennung durch AI-Erkennungssoftware zu vermeiden.

Daher entwickelten wir unser AI-Paraphrasierungstool im Juli 2023, um dieses Problem anzugehen, indem wir Fälle identifizieren, in denen AI-Paraphrasierung möglicherweise verwendet wurde, um AI-generierte Texte in eingereichten Inhalten zu modifizieren. Unser Ziel ist es, Herausgebern und Lehrern zu helfen, die Integrität von Forschungsschreiben und authentischen Lernerfahrungen für Studenten zu gewährleisten, insbesondere vor dem Schuljahr 2024-2025.

Wie kann Turnitin Originality Institutionen dabei helfen, hohe Standards akademischer Integrität zu wahren, trotz des Aufkommens von AI-Schreiben und Vertragsbetrug?

Turnitin Originality hat einen völlig neuen Standard für akademische Integrität für Studenten und Lehrer gesetzt. Es geht über Plagiate hinaus und behandelt neue und sich ändernde Formen von Fehlverhalten, wie AI-Schreiben, Vertragsbetrug und Paraphrasierung, und bietet Lehrern klare, handhabbare Daten für die Verfolgung der Studentenleistung über ihre Kohorte und die Bewertung potenzieller Fehlverhaltensprobleme.

Studenten erhalten auch Unterstützung durch Echtzeit-Formativ-Feedback zu ihrer Arbeit. Originality vergleicht Textähnlichkeit, Grammatik und Zitate, während Studenten arbeiten, und hilft ihnen, Korrekturen vorzunehmen und unbeabsichtigtes Plagiat vor der endgültigen Einreichung zu vermeiden.

Welches Feedback haben Sie von Lehrern und Institutionen über die Effektivität von Turnitins AI-Schreib- und Paraphrasierungserkennungstools erhalten?

Kürzlich sprach Turnitin mit Dr. Leslie Layne, einer Associate Professorin an der University of Lynchburg, Virginia (USA). Layne hat 76 Freshman-Schreibkurse unterrichtet und seit Beginn ihrer Tätigkeit an der Universität im Herbst 2004 Turnitin verwendet.

Bei der Betrachtung der Herausforderungen vor der Einführung effizienter AI-Schreiberkennungstools erinnert sich Layne daran, “Es war wirklich zeitaufwändig, Texte in Online-Detektoren zu kopieren und einzufügen.” Dieser Prozess war zwar notwendig, aber weit entfernt von effizient und 100% genau, was die Notwendigkeit für zuverlässigere Lösungen unterstreicht. Die Einführung von Turnitins AI-Schreibdetektor war ein Game-Changer, der Konsistenz und einen dringend benötigten Ease-of-Process bot.

„Das Korrigieren von Aufsätzen dauert Zeit. Ich bin sehr fein abgestimmt auf die Zeit, die es braucht, um das zu erledigen, was ich erledigen muss, also war ich absolut begeistert, als ich hörte, dass Turnitin AI-Schreiberkennung integrieren würde, weil dann alles an einem Ort ist“, sagte Layne.

Ein zentrales Thema in Laynes Ansatz ist die konstruktive Verwendung von AI im Bildungswesen. Anstatt AI als Bedrohung für die akademische Integrität zu sehen, spricht sie sich für die Integration von AI in den Lernprozess aus. “Ich unterrichte mit AI in meinem Freshman-Schreibkurs, also lasse ich die Studenten in fast jedem Kurs ChatGPT verwenden”, erklärt sie. Dieser hands-on-Ansatz mit AI ermöglicht es Studenten, die Fähigkeiten zu erwerben, um diese Tools effektiv und ethisch zu nutzen.

Wie integriert sich die Draft Coach™-Funktion in Turnitins andere Tools, um Studenten bei der Erstellung von Originalarbeit und der Verbesserung ihrer Schreibfähigkeiten zu unterstützen?

Die Draft Coach™-Funktion ist Teil des Originality-Produkts. Wie Originality unterstützt Draft Coach Lehrer bei der Wahrung der akademischen Integrität, bietet Draft Coach Studenten Anleitung, wie sie ihre akademischen Schreib- und Forschungsfähigkeiten verbessern können. Sofortiges Feedback zu Textähnlichkeit, Grammatik und Paraphrasierung hilft ihnen, unbeabsichtigtes Plagiat zu vermeiden.

Welche Rolle sehen Sie AI in der Zukunft der akademischen Integrität spielen, und wie bereitet sich Turnitin auf potenzielle neue Herausforderungen vor?

AI-Schreibtools haben das Potenzial, unser Leben einfacher zu machen, einschließlich der Verbesserung und Anpassung von Inhalten, der Überbrückung von Sprachbarrieren, der Steigerung der Produktivität und der Unterstützung bei der Ideenfindung. Bevor jedoch jemand von den Vorteilen dieser Tools profitieren kann, muss er verstehen, wie man sie verantwortungsvoll und ethisch einsetzt. Der Klassenraum kann Teil der Lösung sein. Er ist ein sicherer Raum, in dem Studenten lernen, experimentieren und wachsen können. Der Hörsaal kann als großartiger Trainingsplatz für Studenten dienen, um die ethischen Grenzen von AI zu verstehen, sicher zu experimentieren, zwischen Fakten und ungenauen Informationen zu unterscheiden und kritische Denkfähigkeiten zu stärken.

Um Lehrern und Institutionen bei der Bewältigung der neuen Realität zu helfen, benötigen sie vertrauenswürdige Partner wie Turnitin, die ihre Bedürfnisse und die ihrer Studenten verstehen. Tatsächlich begann Turnitin zwei Jahre vor der öffentlichen Einführung von ChatGPT damit, an einem Tool zu arbeiten, das Lehrern Transparenz über die Verwendung von AI-Schreiben gibt, damit sie Studenten anleiten können, AI verantwortungsvoll zu nutzen und die akademische Integrität zu unterstützen.

Wenn AI sich weiterentwickelt, werden auch Turnitins Produkte sich weiterentwickeln. Neue Funktionen können leicht in bestehende Produkte und Arbeitsabläufe integriert werden, um die Benutzerfreundlichkeit zu erleichtern und den Lernpfad zu verkürzen. Wir stellen regelmäßig aktualisierte Ressourcen für Studenten, Lehrer und Institutionen bereit, um ihnen zu helfen, diese neue Technologie und die satzbezogene Erkennungsdaten zu meistern.

Schließlich haben viele unserer Mitarbeiter eine Bildungsgrundlage, die sicherstellt, dass unsere Produkte pädagogisch solide sind. Ohne ihre Erkenntnisse könnten wir nicht den sich ändernden Bedürfnissen von Lehrern und Administratoren gerecht werden. Mit all diesen Aspekten im Blick wird unsere bevorstehende “Beweis des Prozesses”-Lösung, die in bestehende Turnitin-Arbeitsabläufe integriert wird, sowohl Lehrern als auch Studenten die Authentizität ihrer Arbeit gewährleisten.

Welchen Rat würden Sie Lehrern und Institutionen geben, die ihre akademischen Integritätsrichtlinien angesichts der sich entwickelnden AI-Technologien verbessern möchten?

Meine Meinung zu akademischen Richtlinien ist, dass die Existenz mehrerer AI-Richtlinien auf verschiedenen institutionellen Ebenen eine Möglichkeit ist, situative Nuancen zu berücksichtigen. Zum Beispiel kann eine AI-Richtlinie für einen Kreativ-Schreibkurs nicht der beste Ansatz für die potenzielle Verwendung von AI in einer Forschungsarbeit sein. Auf der Ebene der Institution sollten akademische Integritätsrichtlinien breit angelegt und auf die Darstellung der Arbeit und die Zitierung von Quellen fokussiert sein. Dies verhindert vorsätzliches Plagiat und gibt Raum für Nuancen, die mit der einzigartigen Situation verbunden sind.

Überall ist es wichtig, über einen einzelnen Erkennungsprozentsatz hinauszugehen. Unsere Tools sind dazu gedacht, Institutionen und Lehrern zu unterstützen, nicht sie vollständig zu ersetzen. Lehrer kennen ihre Studenten am besten und sollten jede AI-Erkennung nutzen, um konstruktive Gespräche über die angemessene Verwendung von AI und kritische Denkfähigkeiten zu fördern.

Um Lehrern bestmöglich zu unterstützen, bietet Turnitin auch eine umfangreiche Bibliothek von Ressourcen und ein umfangreiches Lehrernetzwerk, um Institutionen bei der Entwicklung ihrer Richtlinien zu helfen, einschließlich einer leicht zugänglichen Anleitung, die detaillierte Einblicke in die Überprüfung und Revision bestehender akademischer Integritätsrichtlinien zur Bekämpfung von AI-Bedrohungen bietet, die kostenlos online zum Download verfügbar ist.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Turnitin besuchen.