Forskere utvikler verktøy som kan omdanne ligninger til illustrasjoner

Forskere ved Carnegie Mellon University har utviklet et verktøy som kan omdanne abstraksjoner i matematikk til illustrasjoner og diagrammer gjennom programvare.

Prosessen fungerer ved at brukerne skriver inn vanlige matematiske uttrykk som deretter omdannes til illustrasjoner av programvaren. En av de viktigste utviklingene i dette prosjektet er at uttrykkene ikke behøver å være grunnleggende funksjoner, som i tilfelle med en grafisk regner. I stedet kan de være komplekse relasjoner fra ulike felt innen matematikk.

Penrose

Verktøyet ble kalt Penrose av forskerne, inspirert av matematikeren og fysikeren Roger Penrose, som er kjent for å bruke komplekse matematiske og vitenskapelige ideer gjennom diagrammer og tegninger.

Penrose vil bli presentert av forskerne på SIGGRAPH 2020-konferansen om datagrafikk og interaktive teknologier. Konferansen vil finne sted virtuelt i år på grunn av COVID-19-pandemien.

Keenan Crane er en assistentprofessor i datavitenskap og robotikk.

“Noen matematikere har en evne til å tegne vakre diagrammer for hånd, men de forsvinner så snart tavlen er slettet,” sa Crane. “Vi ønsker å gjøre denne uttrykkskraften tilgjengelig for alle.”

Diagrammer brukes ikke like mye i teknisk kommunikasjon, på grunn av den store mengden høykvalifisert og kjedelig arbeid som kreves for å produsere dem. For å komme rundt dette, tillater Penrose-verktøyet at eksperter kan kode trinnene i systemet, og andre brukere kan deretter få tilgang til dette ved å bruke matematisk språk. All dette betyr at datamaskinen gjør mesteparten av arbeidet.

Katherine Ye er en ph.d.-student i datavitenskap-avdelingen.

“Vi startet med å spørre: ‘Hvordan oversetter folk matematiske ideer til bilder i hodet?’ ” sa Ye. “Hemmeligheten bak vårt system er å gi folk mulighet til å enkelt ‘forklare’ denne oversettelsesprosessen til datamaskinen, så datamaskinen kan gjøre allt det harde arbeidet med å lage bildet.”

https://vimeo.com/416822487

Prosessen

Datamaskinen lærer først hvordan brukeren ønsker å visualisere matematiske objekter, som for eksempel en pil eller en prikk, og den tegner deretter opp flere diagrammer. Brukeren velger og redigerer ett av disse diagrammene.

Ifølge Crane, bør matematikere ikke ha noen problemer med å lære det spesielle programmeringsspråket som teamet har utviklet.

“Matematikere kan bli veldig finkjøllede når det gjelder notasjon,” sa han. “Vi lar dem definere hva som helst notasjon de ønsker, så de kan uttrykke seg naturlig.”

Penrose sees på som et skritt mot noe enda større.

“Vårt mål er å kunne tøffe av en gammel matematikkbok fra biblioteket, legge den inn i datamaskinen og få en vakkert illustrert bok — slik at flere mennesker forstår,” sa Crane.

Teamet som utviklet Penrose inkluderte også Nimo Ni og Jenna Wise, som er ph.d.-studenter i CMU’s Institute for Software Research (ISR); Jonathan Aldrich, professor i ISR; Joshua Sunshine, ISR-seniorforsker; Max Krieger, kognitiv vitenskap-student; og Dor Ma’ayan, tidligere masterstudent ved Technion-Israel Institute of Technology.

Forskningen ble støttet av National Science Foundation, Defense Advanced Research Projects Agency, Sloan Foundation, Microsoft (MSFT ) Research og Packard Foundation.