Onderzoekers voeren een census uit van Wikipedia-bots

Onderzoekers van het Stevens Institute of Technology (SIT) hebben onlangs een analyse afgerond van alle Wikipedia-bots die werken aan het onderhoud en de verbetering van de massive online encyclopedie. Volgens TechXplore kunnen de resultaten van het onderzoek mogelijk de manier informeren waarop bots worden gebruikt om commerciële toepassingen te ontwikkelen in gebieden zoals microchipontwerp en klantenservice.

Toen Wikipedia voor het eerst in 2001 werd gelanceerd, had het ongeveer 13.000 artikelen. Als we 18 jaar later kijken, is Wikipedia een enorme hoeveelheid informatie met meer dan 40 miljoen artikelen, bijgedragen door meer dan 500 miljoen maandelijkse gebruikers. Om al deze artikelen te onderhouden, maakt Wikipedia gebruik van 137.000 vrijwillige redacteuren en een grote groep bots, aangedreven door eenvoudige AI-programma’s. Deze bots zijn verantwoordelijk voor het repareren van tags, gebroken links, het corrigeren van typefouten, het elimineren van ongewenste invoeren en meer.

Het onderzoeksteam gebruikte computeralgoritmen om de bots te classificeren op basis van de functies die ze uitvoerden. De onderzoekers konden een analyse uitvoeren van hoe AI-programma’s en mensen interacteren bij het uitvoeren van grote projecten zoals het onderhouden van een grote repository van gegevens zoals Wikipedia. Het begrijpen van de manier waarop mensen en bots interacteren is een belangrijk aandachtspunt voor het veld van Human-Computer Interaction, en daarom werd de studie onlangs gepubliceerd in de Proceeding of the ACM of Human-Computer Interaction.

Jeffrey Nickerson, een van de auteurs van de studie en een professor aan de School of Business van (SIT), legde uit dat AI enorme veranderingen teweegbrengt in de manier waarop kennis wordt geproduceerd en onderhouden en dat Wikipedia’s omvang en alomtegenwoordigheid het tot een uitstekende plek maken om deze veranderingen te bestuderen. Nickerson legde aan TechXplore uit dat het in de toekomst waarschijnlijk is dat we allemaal naast AI zullen werken in een of andere capaciteit en dat het daarom belangrijk is om te begrijpen hoe bots de beslissingen van mensen beïnvloeden en hoe bots tot meer effectieve tools kunnen worden gemaakt.

Wikipedia was een geweldige casestudy voor de onderzoekers vanwege de gedetailleerde record-keeping en transparantie. Het onderzoeksteam gebruikte automatische classificatie-algoritmen om labels toe te wijzen aan bots en een kaart te ontwikkelen die aangaf hoe bots met elkaar interacteren op Wikipedia. Bepaalde clusters van functies konden worden geanalyseerd en de bots die deze functies uitvoerden konden worden gelabeld met beschrijvingen zoals “Advisor” of “Fixer”. Fixers zorgen voor het herstellen van vandalisme en het repareren van gebroken links, terwijl Advisors tips geven aan redacteuren en nieuwe taken suggereren. Er waren ook “Connectors” die verantwoordelijk zijn voor het tot stand brengen van links tussen verschillende bronnen of pagina’s.

De onderzoekers ontdekten dat Wikipedia-bots negen hoofdrollen op de site speelden en dat deze bots ongeveer 10% van alle Wikipedia-activiteit vertegenwoordigden. Bovendien vertegenwoordigen bots op bepaalde subsecties van de site, zoals de Wikidata-platform, ongeveer 88% van de activiteit van de site. De meeste activiteit wordt uitgevoerd door ongeveer 1200 fixer-bots die de site repareren en verantwoordelijk zijn voor meer dan 80 miljoen bewerkingen. In tegenstelling tot de advisor-bots, die minder talrijk zijn, helpen ze de interacties van mensen met de site vorm te geven, door te bepalen welke soorten bewerkingen worden gemaakt en welke soorten functies worden gemaakt.

Één manier waarop Wikipedia de kracht van bots benut, is door nieuwe leden van de gemeenschap te begroeten. Wanneer mensen zich aansluiten bij online gemeenschappen, zijn ze meer geneigd om actieve leden te blijven als ze worden begroet door andere leden van de gemeenschap. Dit lijkt zelfs waar te zijn als de gemeenschapslid die hen begroet een bot is. Bots moedigen gemeenschapsleden aan om te blijven en bij te dragen aan de gemeenschap door fouten aan te wijzen, zolang ze maar beleefd zijn over deze correcties. Zoals Nickerson aan TechXplore uitlegde:

“Mensen hebben er geen bezwaar tegen om door bots te worden bekritiseerd, zolang ze maar beleefd zijn over het doen. De transparantie en feedbackmechanismen van Wikipedia helpen mensen om bots te accepteren als legitieme leden van de gemeenschap.”

Naarmate bots steeds belangrijker worden voor het onderhoud van groeiende online gemeenschappen, kan het bestuderen van hoe Wikipedia bots heeft benut, andere bedrijven en entiteiten helpen om bots te creëren die human users helpen en prosociale activiteit aanmoedigen. Zowel de successen als de mislukkingen van Wikipedia met bots moeten kritisch worden onderzocht.

“Door Wikipedia te bestuderen, kunnen we ons voorbereiden op de toekomst en leren om AI-hulpmiddelen te bouwen die zowel onze productiviteit als de kwaliteit van ons werk verbeteren,” zei Nickerson.