A’ faighinn NLP gus dùbhlan a thoirt do cheistean ceàrr

Tha cuid de cheistean neo-fhreagairt leis gu bheil fiosrachadh ceàrr annta - an dùil gum feum an neach a chluinneas a’ cheist sìoladh agus diùltadh. Tha seo a’ gabhail ris, gu dearbh, gu bheil fiosrachadh ceart gu leòr aig an neach-èisteachd gus dùbhlan a thoirt don cheist, seach a bhith a’ cleachdadh na ceiste fhèin mar thùs fiosrachaidh (ceàrr).

Tha e na dhùbhlan do shiostaman Pròiseas Cànain Nàdarra (NLP) leithid GPT-3, aig a bheil a claonadh a bhith ‘hallucinate’ fiosrachadh gus conaltradh a chumail suas.

An-dràsta, a’ faighneachd do GPT-3 ‘Cuin a chruthaich Marie Curie Uranium?’ tha e coltach gum faigh thu am freagairt ‘Dh’innlich Marie Curie Uranium ann an 1898’.

Stòr: https://beta.openai.com/playground (tha Da Vinci a’ stiùireadh beta).

Gu dearbh, bha Uranium a chaidh a lorg ann an 1789 leis a' cheimigeir Gearmailteach Martin Heinrich Klaproth, agus b' e foillseachadh nan Curies ann an 1898 an foillseachadh iomallachd de radium.

Tha an duilgheadas le siostaman NLP a’ seachnadh ro-aithrisean ceàrr air a thighinn am follais ann an grunn spùinnean sanasachd am-bliadhna, a’ toirt a-steach an dòigh anns an toir toraidhean rannsachaidh Google le taic AI seachad fiosrachadh ceàrr anns a’ cheist ‘Cuin a chuir Neil Armstrong cas air Mars?’ - mearachd a tha fhathast a’ nochdadh aig àm sgrìobhaidh an artaigil seo, agus tha e a’ buntainn a cheart cho math ri Toy Story's Buzz Lightyear, cò a rèir coltais air tìr air a’ Ghealach air 21 Iuchar 1969.

Tom Hanks, fear eile Toy Story alumnus, tha cuideachd creideas le Google le bhith a’ tighinn air tìr air a’ Ghealach ann an 1970, a dh’ aindeoin a chuid Apollo 13 Tha an caractar, an speuradair Jim Lovell, ainmeil airson chan eil air seo a choileanadh.

A’ dèiligeadh ri cùisean ro-innse ann an iomlaidean NLP

A-nis tha Google Research, còmhla ri luchd-rannsachaidh bho Oilthigh John Hopkins agus Oilthigh Brown, a’ sgrùdadh dhòighean ionnsachaidh inneal ùra leis an urrainnear siostaman NLP a dhèanamh mu dheireadh gus dùbhlan a thoirt do cheistean a tha ceàrr anns an aon dòigh sa tha e riatanach do thidsearan daonna a dhèanamh ann an còmhraidhean le sgoilearan. .

O chionn ghoirid pàipear Dè an cànanaiche a chruthaich am bulb? Dearbhadh Presupposition for Question-Freagairt a’ mìneachadh oidhirp còmhla gus siostam ùr a leasachadh gus ro-innsean a chomharrachadh agus beachdachadh air an fhìrinn mus lean iad air adhart leis an iomlaid.

Bidh an algairim ùr gu h-èifeachdach a’ deasachadh cheistean mus till iad air ais chun chòmhradh, a’ briseadh sìos ‘dearbhadh’ na ceist ann am pròiseas trì-phàirteach.

Chan eil e a 'cunntadh! Air an taobh chlì, an 'roadblock' a tha a 'tachairt fiù' s nuair a adhartach siostam NLP air a bhith comasach air aithneachadh nach eil a 'cheist a' dèanamh ciall. Air an làimh dheis, briseadh sìos air algairim a thathar a 'moladh a tha a' feuchainn ris a 'mhearachd stòr a cheartachadh. Stòr: https://arxiv.org/pdf/2101.00391.pdf

Ged a tha e coltach gur e cleachdadh dearbhaidh sìmplidh a th’ ann a bu chòir a bhith air a thogail a-steach do shiostaman eòlais bhon chiad dol a-mach, bidh a’ mhòr-chuid de chleachdaidhean trèanaidh stèidhichte air NLP ag ionnsachadh fiosrachadh le ìre neo-iomchaidh de dh’ earbsa anns an stòr-dàta, a’ gabhail a-steach còmhradh (leithid naidheachdan meallta) a dh’ fhaodadh a bhith. air fhoillseachadh air seanalan ‘earbsach’ roimhe seo.

Mar sin is e prìomh chùis a bhith a’ comharrachadh le co-aontachd stòr fìrinnean earbsach ann an suidheachadh far am biodh iomadachadh ‘naidheachdan’ ceàrr tro na meadhanan sòisealta, gu gnàthach, a’ toirt ùghdarras dha fo loidsig coitcheannachadh ionnsachadh innealan. Tha an fheadhainn mu dheireadh air a bhith buailteach a bhith a’ cleachdadh meud no ath-aithris de dhàta mar neach-ionaid airson cruinneas, co-dhiù gus an tàinig uinneanan naidheachdan meallta gu bhith na raon inntinneach anns an raon o chionn beagan bhliadhnaichean.

A’ dearbhadh an dòigh as fheàrr air ceistean nach gabh freagairt

Gus dòigh-obrach iomchaidh a dhearbhadh airson ceist anns a bheil fiosrachadh ceàrr a rèiteach, ruith an luchd-rannsachaidh 100 ceist mar sin tro cheithir mhodalan Q&A eadar-dhealaichte, agus dh’ iarr iad air cuspairean daonna am fuasgladh as fheàrr no as lugha de dhuilgheadas a chaidh a chruthachadh leis na modailean a thaghadh.

B’ iad na ceithir builean ailtireil a dh’ fhaodadh a bhith air a’ cheist ‘dona’: 'Neo-fhreagairt' – far a bheil siostam Q&A leabhraichean dùinte gu h-èifeachdach a’ dùnadh a’ cheasnachadh gun a bhith a’ mìneachadh tuilleadh; 'Mìneachadh stèidhichte air fàilligeadh ro-bheachd' – far nach eil an siostam a’ dearbhadh a’ bheachd ceàrr, freagairt ‘neo-fhreagairt’ le mìneachadh a bharrachd; 'Mìneachadh tarraingeach' – far a bheil an siostam a’ faighinn air ais cuòt Uicipeid a tha co-cheangailte ris a’ chuspair agus ga cheangal ris an ro-ràdh ‘Chan urrainnear a’ cheist seo a fhreagairt oir…’; agus 'Ath-sgrìobhadh àrainn fhosgailte' - far a siostam farpaiseach a’ sireadh tobraichean a bharrachd bho Wikipedia.

Tha an eisimpleir seo de cheithir freagairtean a dh’ fhaodadh a bhith ann do cheist a tha coltach ‘neo-fhreagairt’ a’ nochdadh cho iom-fhillte ‘s a tha e feuchainn ri fuasgladh farpaiseach stèidhichte air àrainn a thoirt don duilgheadas.

Thairis air na deuchainnean, b’ fheàrr leis na còignear chom-pàirtichean (air am fastadh air àrd-ùrlar sluagh-ghairm Google a-staigh) na freagairtean stèidhichte air ro-bheachd, a thug air an luchd-rannsachaidh frèam ùr a leasachadh gus ceistean a bhriseadh sìos agus a dhearbhadh.

Anns an t-siostam ùr, gheibhear luchd-brosnachaidh cànanach bhon cheist le gineadair stèidhichte air riaghailtean a bhios a’ cuir às don t-seantans gu aithrisean fìrinn. Ma thig grunn bheachdan bhon cheist, thèid gach fear a sgrùdadh, agus cuiridh iad ris an fhreagairt dheireannach ma bheir iad aghaidh air beachdan ceàrr bhon chiad cheist.

Datasets

Chaidh na ro-innsean a chaidh a chruthachadh sa chiad ìre atharrachadh le làimh gus stòr-dàta dearbhaidh a chruthachadh le ro-aithrisean ‘òr’. Chaidh beachdan sam bith a thàinig a-mach à meuran an rannsachaidh, ach nach robh an làthair anns na ceistean tùsail, a thoirt air falbh.

Thug dithis de dh’ ùghdaran a’ phàipeir an uairsin notaichean le làimh 462 ro-aithris a thaobh tha / chan eil dearbhaidh, stèidhichte air duilleag Wikipedia iomchaidh co-cheangailte ri gach ceist. Chaidh cùisean eas-aonta fhuasgladh ann an deasbad post-facto mus deach gealltanas a thoirt don stòr-dàta.

Chleachd an luchd-rannsachaidh NLI gun dealbh, gnìomh seòrsachaidh bun-bheachd / beachd-bharail a dh’ fheumadh artaigilean Wikipedia co-cheangailte ris na ceistean ath-thogail. Leis gu bheil am pròiseas seo a’ toirt a-mach mòran a bharrachd chàraidean na dh’ fhaodadh a bhith aig a’ cheist no taic a’ mhodail, chaidh na toraidhean sìoltachaidh an uairsin a chur còmhla agus an ainmeachadh.

Toraidhean agus Cruthachadh Freagairtean

Chaidh na toraidhean as èifeachdaiche fhaighinn leis an fhuasgladh as dian-obrach: hybrid nas fheàrr, stèidhichte air riaghailt / NLI air a ghineadh bho ALBERT QNLI le seantansan Wiki agus ro-innsean.

Tha coileanadh nam modalan dearbhaidh, far a bheil ‘seantansan Wiki’ a’ cleachdadh seantansan a fhuaras bho artaigilean Wikipedia co-cheangailte ri ceistean, agus ‘presuppositions Wiki’ air an gineadh bho na seantansan sin.

A’ cleachdadh a’ chruthachaidh seo, leasaich an luchd-rannsachaidh siostam teamplaid far an deach fìrinn àicheadh ​​bho Wikipedia a chuir ri ‘Tha a’ cheist seo do-ruigsinneach oir…’ agus abairtean coltach ris. Ged nach e fuasgladh math a th’ ann, tha na h-ùghdaran a’ moladh gu bheil freagairtean stèidhichte air neo-dhearbhachd dualtach tricead àicheil meallta a lughdachadh.

Chaidh an siostam a chur an gnìomh mu dheireadh ann an a Togail Transformer Leudaichte (ETC).

Buaidh

A rèir a choileanaidh mu dheireadh san t-saoghal fhìor, dh’ fhaodadh argamaid a dhèanamh gum faodadh an dòigh-obrach iomlan seo leantainn gu bhith a’ cur ‘neo-dhearbhte’ an àite ‘neo-fhreagairt’, ann an cùisean far nach urrainn don t-siostam rannsachaidh taiceil measadh a dhèanamh air ceartachadh feumail airson beachd ceàrr ceist. . Gu h-èifeachdach, tha e coltach gu bheil e a’ suidheachadh a’ bhun-structair airson siostaman dearbhaidh san àm ri teachd agus nas fheàrr.

Tha an luchd-rannsachaidh ag aideachadh mar-thà gu bheil cosgais iarrtasan API stèidhichte air tòcan na fheart cuingealaichte nuair a thathar a’ cur ri chèile na freagairtean nas fhaide a ghineas an siostam seo, agus feumar gabhail ris gu bheil coltas ann gun cuir an còrr de rannsachadh ‘beò’ air ceist ris. latency eadhon gu siostaman mòra leithid GPT-3, leis gu bheil freagairteachd nan siostaman sin gu ruige seo air a bhith an urra ri bhith a’ toirt a-steach eòlas coitcheann aig àm trèanaidh, seach cleachdaidhean dearbhaidh farsaing stèidhichte air lìonra.

A bharrachd air an sin, tha an luchd-rannsachaidh a’ toirt fa-near gu bheil crìochan aig an t-siostam an-dràsta co-cheangailte ri bhith a’ parsadh taobhan semantach den teacsa:

Mar eisimpleir, cò tha pip a' creidsinn gur i màthair estella tha seilbh freumhaichte fo ghnìomhair neo-ghnìomhach Creidsinn, ach a dh' aindeoin sin ghineadh ar gineadair 'tha 'màthair' aig estella.

A dh’ aindeoin sin, tha an sgioba an dùil siostaman freagairt cheistean ùra agus nas sùbailte a thèid a leasachadh air cùl an rannsachaidh seo:

San àm ri teachd, tha sinn an dùil togail air an obair seo le bhith a’ moladh siostaman QA a bhios nas làidire agus nas co-obrachail. Mar eisimpleir, dh’ fhaodadh ro-innleachdan freagairt nas siùbhlach dèiligeadh ri diofar sheòrsan fàilligidhean – me, dh’fhaodte gum biodh e nas fheàrr dèiligeadh ri briseadh air ro-innleachdan àraid le bhith a’ toirt seachad a h-uile freagairt a dh’ fhaodadh a bhith ann, seach a bhith ag ràdh gun deach briseadh a-steach don ro-bheachd àraid.