Te whakaeke i te Maunga PDF a te Kawanatanga o Amerika me te Matakite Rorohiko

Ko te whakatakotoranga PDF a Adobe kua tino uru ki roto i nga paipa tuhinga a te kawanatanga o Amerika e kiia ana kei roto i nga rau miriona te maha o nga tuhinga kua tukuna e te kawanatanga i tenei wa. I te nuinga o nga wa he puatakore me te kore metadata, ko enei PDF - he maha nga mea i hangaia e nga punaha aunoa - karekau he korero pakiwaitara, putaputa ranei; ki te kore koe e tino mohio ki taau e rapu ana, kare pea koe e kite i tetahi tuhinga e tika ana. A, ki te mohio koe, kaore pea koe e hiahia ki te rapu.

Heoi he kaupapa hou kei te whakamahi i te tirohanga rorohiko me etahi atu huarahi ako miihini ki te huri i tenei maunga o nga raraunga tata ki te kore e taea te whakatata atu hei rauemi whai hua, ka taea te tirotiro mo nga kairangahau, kaitoi hitori, kairipoata me nga tohunga.

I te kitenga o te kawanatanga o Amerika i te Adobe's Portable Document Format (PDF) i te tekau tau atu i 1990, ka whakatauhia he pai ki a ia. Kaore i rite ki nga tuhinga Word ka taea te whakarereke, ka taea te 'tunu' i nga PDF i roto i nga momo huarahi i uaua ai, kaore ranei e taea te whakarereke i muri mai; ka taea te whakauru i nga momotuhi, me te whakarite i te hototahitanga whakawhiti; me te ta, te kape me te whakatuwheratanga ka taea katoa te whakahaere i runga i te tikanga maramara.

Ko te mea nui, ko enei ahuatanga matua i watea mai i etahi o nga korero tawhito o te whakatakotoranga 'baseline', me te oati kaore e hiahiatia kia tukatukahia, kia tirohia ano a muri ake nei kia whai waahi ai. Tata ki nga mea katoa e hiahiatia ana mo te whakaputanga a te kawanatanga kua rite e 1996.

Na te puta mai o poraka me nga hangarau NFT i nga tekau tau i tawhiti atu, kua tata te PDF ki te ahua o te ao matihiko kua tae ki te tuhinga tairitenga 'mate', he hiccup ariā noa mai i te waeatuhi. Koia tonu te mea i hiahiatia.

Nga Whakaaetanga Roto Mo PDF

Ko te whānuitanga o nga PDF he hermetic, he uaua, he 'kore-papori' kei roto i te tuhinga i runga i te whakatakotoranga i te Whare Pukapuka o te Runanga, e pai ana ki te PDF hei 'whakaahua pai':

'Ko te kaupapa tuatahi mo te whakatakotoranga PDF/A ko te whakaatu i nga tuhinga hiko i runga i tetahi tikanga e pupuri ana i o raatau ahua matakite i roto i te waa, motuhake i nga taputapu me nga punaha e whakamahia ana mo te hanga, te penapena, te whakaputa i nga konae. Mo konei, ka ngana a PDF/A ki te whakanui ake i te mana motuhake o te taputapu, te pupuri-whaiaro, me te tuhi-whaiaro.'

Ko te ngakau nui mo te whakatakotoranga PDF, nga paerewa mo te urunga, me nga whakaritenga mo te putanga iti, he rereke katoa puta noa i nga tari kawanatanga o Amerika. Hei tauira, ahakoa kei te Tari Tiaki Taiao kaupapa here kaha engari tautoko mo tenei kaupapa, ko te paetukutuku mana a te kawanatanga o Amerika plainlanguage.gov whakaae e 'E kino ana nga kaiwhakamahi ki te PDF', me te hono tika ki tetahi roopu Nielsen Norman 2020 pūrongo i tapahia PDF: Kaore ano e pai mo te kai tangata, 20 tau i muri mai.

I tenei wa irs.gov, i hangaia i te 1995 otira ki te whakawhiti i nga tuhinga a te tari taake ki te matihiko, ka tango tonu i te PDF ka noho tonu kaiwawao kaha.

Te Horapa Viral o PDF

I te mea i tukuna nga korero matua mo te PDF ki te tuwhera puna e Adobe, a tokerau o nga taputapu tukatuka taha-tumau me nga whare pukapuka kua puta, he maha inaianei honore me te mau tonu hei tauira PDF o te tau 1996, me te pono me te aukati i nga pepeke, i te wa i tere nga kaihoko rorohiko ki te whakauru i nga mahi PDF ki nga taputapu utu iti.

No reira, e arohaina ana, e kinongia ana ranei e ona tari manaaki, ka noho tonu nga PDF ki nga waahi katoa i roto i nga anga korero me nga tuhinga puta noa i te tini o nga tari kawanatanga o Amerika.

I te tau 2015 a Adobe's VP Engineering for Document Cloud, Phil Ydens pea, e 2.5 trillion tuhinga PDF kei te ao, i te mea e whakaponohia ana ko te whakatakotoranga kei waenga i te 6-11% o nga ihirangi tukutuku katoa. I roto i te ahurea hangarau e kaingākau ana ki te whakararuraru i nga hangarau tawhito, kua riro te PDF hei 'waikura' e kore e taea te whakakore – he waahanga nui o te hanganga e manaaki ana.

Mai i te tau 2018. He iti noa nga taunakitanga mo te kaiwero nui. Puna: https://twitter.com/trbrtc/status/980407663690502145

E ai ki te ako tata mai i nga kairangahau i te Whare Wananga o Washington me te Whare Pukapuka o te Runanga, 'E hia rau miriona o nga tuhinga ahurei a te Kawanatanga o Amerika i whakairia ki te ipurangi i roto i te ahua PDF kua purangatia e nga whare pukapuka tae noa ki tenei ra'.

Heoi e kii ana nga kairangahau koinei anake te 'pito o te hukapapa'*:

'E ai ki ta Roy Rosenzweig, tohunga mo te hitori o te ao matihiko i kii i te timatanga o te tau 2003, i te wa e pa ana ki te whanau-mamati puna tuatahi mo te karahipi, he mea nui ki te whakawhanake i nga tikanga me nga huarahi ka eke ki te tekau me te rau miriona tae atu ki te piriona o te mamati [ rauemi]. Kua tae mai tatou ki te waahi e tika ana kia whakawhanake i nga huarahi mo tenei tauine.

'Hei tauira, kei roto i te Whare Pukapuka o te Runanga Puranga paetukutuku neke atu i te 20 piriona nga rauemi matihiko takitahi.'

PDFs: Ātete ki te Tātaritanga

Ko te kaupapa a nga kairangahau o Washington e whakamahi ana i te maha o nga tikanga ako miihini ki a waatea whanui a kua tohu He kuhu o te 1,000 nga tuhinga whiriwhiri mai i te Whare Pukapuka o te Runanga, me te whakaaro ki te whakawhanake i nga punaha e kaha ana ki te uira-tere, ki te tiki mai i te maha o nga tuhinga me nga paatai-a-ahua i roto i nga anga ka taea te piki ki te teitei o nga pukapuka PDF o naianei (me te tipu), kaore. i roto i te kawanatanga anake, engari puta noa i te maha o nga waahanga.

E ai ki te pepa, ko te tere tere o te whakarorohikotanga puta noa i te whānuitanga o nga tari a te kawanatanga o te Balkanised US i nga tau 1990, na te rerekee o nga kaupapa here me nga tikanga, me te maha o nga wa ki te tango i nga tikanga whakaputa PDF kaore i rite te kounga o nga metadata i mua. te paerewa koura mo nga ratonga whare pukapuka a te kawanatanga - ara he metadata PDF taketake rawa atu, tera pea he awhina ki te hanga i nga kohinga PDF kia ngawari ake, kia pai hoki ki te whakariterite.

Ma te korero mo tenei wa o te whakararu, ka tuhi nga kaituhi:

'Na enei mahi i kaha te tipu o te maha o nga tuhinga a te kawanatanga, na reira i pakaru ai te huarahi whanui i mahia ai nga metadata rite mo aua whakaputanga, a na nga Whare Pukapuka i whiwhi kape o raatau.'

No reira, he maunga PDF angamaheni kei te noho kaore he horopaki engari ko nga URL e hono tika ana ki a ia. I tua atu, ko nga tuhinga kei roto i te maunga he mea kapi, he tohutoro whaiaro, kaore he waahanga o tetahi 'saga', korero ranei ka kitea e nga tikanga rapu o naianei, ahakoa he hononga huna kei te noho tonu.

I te tauine e whakaarohia ana, ko te tuhi tuhi-a-ringa, te whakamaaramatanga ranei, kaore e taea. Neke atu i te 1000 miriona nga PDF kei roto i te kohinga o nga raraunga i ahu mai ai nga tuhinga 40 Whare Pukapuka o te Runanga o te kaupapa, e whakaaro ana nga kairangahau ki te whakatau i nga wero a muri ake nei.

Tirohanga Rorohiko mo te tātari PDF

Ko te nuinga o nga rangahau o mua i whakahuahia e nga kaituhi e whakamahi ana i nga tikanga a-tuhi hei tango i nga ahuatanga me nga ariā taumata-tiketike mai i nga rauemi PDF; he rereke, ko ta raatau kaupapa e aro ana ki te tango i nga ahuatanga me nga ahuatanga ma te tirotiro i nga PDF i te taumata tirohanga, i runga i te rangahau o naianei ki te tātaritanga maha o nga korero korero.

Ahakoa kua tonohia te ako miihini penei ki te tātari PDF ma nga kaupapa motuhake o te waahanga penei i te Kaiakonga Semantic, ko te whai a nga kaituhi ki te hanga i etahi atu paipa tangohanga taumata-tiketike e tika ana puta noa i te whānuitanga o nga whakaputanga, kaua ki te aro ki nga uaua o te whakaputa putaiao, o etahi atu waahanga whaiti.

Te whakatika i nga Raraunga Taurite

I roto i te hanga i te aronuinga inenga, me whakaaro nga kairangahau he pehea te tianga o nga raraunga, ahakoa mo te rahi-ia-tuemi.

O nga PDF 1000 kei roto i te huingararaunga kua tohua (e kii ana nga kaituhi he kanohi mo te 40 miriona i tohia mai), 33% he wharangi noa te roa, 39% he 2-5 wharangi te roa. Ka noho tenei ki te 72% o nga tuhinga ki te rima wharangi, iti ake ranei.

Whai muri i tenei, he tino pekepeke: 18% o nga toenga tuhinga kei te 6-20 wharangi, 6% kei te 20-100 wharangi me te 3% kei te 100+ wharangi. Ko te tikanga ko nga tuhinga roa kei roto te nuinga o nga wharangi takitahi kua tangohia, engari ko te huarahi iti e whakaaro ana ko nga tuhinga anake ka huri te aro ki nga tuhinga poto ake.

Heoi ano, he inenga mohio enei, na te mea ko nga tuhinga wharangi kotahi te ahua o nga kaupapa hangarau, mapi ranei; Ko nga tuhinga wharangi 2-5 ko nga panui me nga puka; a ko nga tuhinga roa rawa he purongo me nga whakaputanga pukapuka-roa, ahakoa, mo te roanga, kua konatunatua ki nga putunga raraunga aunoa he maha nga wero rereke mo te whakamaoritanga kupu.

Na reira, ko nga kairangahau e kii ana i tenei koretake hei taonga kupu whai kiko ki a ia ano. Heoi ano, me mahi tonu nga PDF me te tatau i runga i ia wharangi.

Architecture

I te timatanga o te tukanga, ka tohatohahia nga metadata o te PDF ki nga raraunga ripanga. Ko tenei metadata e kore e ngaro, na te mea kei roto i nga rahinga mohio penei i te rahi o te konae me te URL puna.

Ka wehea te PDF ki nga wharangi, ka huri ia wharangi ki te whakatakotoranga JPEG ma te ImageMagick. Ka whangaihia te ahua ki tetahi whatunga ResNet-50 ka puta mai he vector ahu 2,048 mai i te paparanga tuarua ki te paparanga whakamutunga.

Ko te paipa mo te tangohanga mai i nga PDF. Puna: https://arxiv.org/ftp/arxiv/papers/2112/2112.02471.pdf

I te wa ano, ka hurihia te wharangi ki te konae tuhinga ma te pdf2text, me nga whakaaturanga TF-IDF i whiwhi ma scikit-ako.

Ko te TF-IDF te tohu Auautanga Tuhinga Rerekētanga Auautanga Tuhinga, e ine ana i te horapa o ia kianga i roto i te tuhinga ki tona auau puta noa i tana huinga huinga huinga, i runga i te tauine pai o te 0 ki te 1. Kua whakamahia e nga kairangahau nga kupu kotahi (unigrams) hei waeine iti rawa i roto i nga tautuhinga TF-IDF o te punaha.

Ahakoa e mohio ana ratou he maha ake nga tikanga mohio ki te ako miihini ki te tuku atu i te TF-IDF, ka tohe nga kaituhi ko nga mea uaua ake kaore e tika mo te mahi kua kiia.

Na te mea he URL puna hono o ia tuhinga ka taea e te punaha te whakatau i te ahua o nga tuhinga puta noa i te huingararaunga.

He ahua iti noa tenei mo te mano tuhinga, engari ka tino tuwhera te kanohi mo te 40 miriona+.

Nga Ara Hou ki te Rapu Kuputuhi

Ko tetahi o nga whainga o te kaupapa kia whai kiko ake nga hua rapu mo nga patai a-tuhi, kia whai hua te tuhura me te kore e nui te matauranga o mua. Ka kii nga kaituhi:

'Ahakoa ko te rapu kupu matua he tikanga rapunga mohio me te tino whanui mo te rapu, ka taea hoki te whakawhäiti, na te mea ko nga kaiwhakamahi te kawenga ki te whakatakoto i nga paatai ​​kupu matua e tiki ana i nga hua e tika ana.'

Ina whiwhi nga uara TF-IDF, ka taea te tatau i nga kupu e tino kitea ana me te whakatau i tetahi tuhinga 'toharite' kei roto i te tinana. E tohe ana nga kairangahau, i te mea he tino whai tikanga enei kupu matua-tuhinga, na tenei tukanga e hanga hononga whai hua mo nga tohunga ki te torotoro, kaore e taea te whiwhi ma te tohu takitahi o nga tuhinga o ia tuhinga.

Ma te titiro, ka whakahaeretia e te tukanga he 'poari o te ngakau' o nga kupu e puta mai ana i nga momo tari a te kawanatanga:

Ko nga kupumatua TF-IDF mo nga tari kawanatanga o Amerika, i riro mai i a TF-IDF.

Ka taea te whakamahi i enei kupu matua me nga hononga i muri mai ki te hanga matrices hihiri i roto i nga hua rapu, me te roopu o nga PDF ka timata ki te 'korero korero', me nga hononga kupu matua e hono ana i nga tuhinga (pea pea mo nga rau tau), ki te whakaatu i te tini o nga korero. he wahanga 'saga' mo tetahi kaupapa, kaupapa ranei.

Ka whakamahi nga kairangahau i te k-means clustering ki te tautuhi i nga tuhinga e hono ana, ahakoa kaore nga tuhinga e tohatoha ana i te puna noa. Ma tenei ka taea te whakawhanaketanga o nga metadata kianga-matua e tika ana puta noa i te huingararaunga, ka kitea he rarangi mo nga kupu i roto i te rapu kupu tino kaha, hei kohanga tata ranei i roto i te taiao torotoro kaha ake:

Tirohanga Ataata

Ko te tino hou o te huarahi a nga kairangahau o Washington ko te whakamahi i nga tikanga tātari tirohanga a-ako-miihini ki te ahua rasterized o nga PDF i roto i te huingararaunga.

Ma tenei ara, ka taea te whakaputa i te tohu 'REDACTED' i runga i te ahua tirohanga, kaore he mea i roto i te tuhinga ake e whakarato i te kaupapa noa.

He huinga o nga wharangi o mua PDF kua oti te whakarereke i kitea e te tirohanga rorohiko i roto i te kaupapa hou.

I tua atu, ka taea e tenei tikanga te tiki tohu pera mai i nga tuhinga a te kawanatanga kua rasterized, he maha nga wa e pa ana ki nga rauemi kua whakakorehia, na reira ka taea te rapu hohonu me te whanui mo tenei mahi.

I tua atu, ka taea te tautuhi me te wehewehe i nga mapi me nga hoahoa, ka korero nga kaituhi mo tenei mahi ka taea:

'Mo nga tohunga e hiahia ana ki te whakaatu i nga korero kua whakarōpūhia, i etahi atu korero tairongo ranei, he mea tino pai ki te wehe i tenei momo huinga rauemi hei tātari me te rangahau.'

E kii ana te pepa ko te maha o nga momo tohu tirohanga noa ki nga momo PDF a te kawanatanga ka taea te whakamahi hei whakarōpū tuhinga me te hanga 'sagas'. Ko enei 'tohu' ko te hiri a te Huihuinga, etahi atu tohu, he ahuatanga ataata hoki kaore he ahua o te ahua i roto i te rapu kuputuhi parakore.

I tua atu, ko nga tuhinga e whakahē ana i te whakarōpūtanga, i ahu mai ranei te tuhinga i te puna kore noa, ka taea te tautuhi mai i te whakatakotoranga, penei i nga pou, momo momotuhi, me etahi atu waahanga motuhake.

Ko te tahora anake ka taea te whakarōpū me te whakarōpūtanga i roto i te waahi rapu tirohanga.

Ahakoa kaore nga kaituhi i warewarehia ki nga tuhinga, ma te maarama ko te waahi rapu tirohanga te mea i akiaki i tenei mahi.

'Ko te kaha ki te rapu me te wetewete i nga PDF e ai ki o raatau ahuatanga tirohanga he huarahi tino pai: ehara i te mea ka whakanui noa i nga mahi o naianei e pa ana ki te tātari tuhinga engari ka whakaaro ano hoki he aha te rapu me te tātari mo nga ihirangi mamati whanau.'

Ko te whakaaro o nga kaituhi ki te whakawhanake i ta raatau angamahi hei whakauru i nga papaaaarangi nui rawa atu, tae atu ki te 2008 Whakamutunga o te Kaupae Paetukutuku Perehitini takakau, neke atu i te 10 miriona nga taonga kei roto. Engari i te tuatahi, ka hiahia ratou ki te whakanui ake i te punaha ki te whakatika i nga 'tekau mano' o nga PDF a te kawanatanga.

Ko te tikanga kia arotakehia te punaha i te tuatahi me nga kaiwhakamahi pono, tae atu ki nga kaitiaki pukapuka, nga kaitoi korero, nga roia, nga kaitoi korero, me etahi atu tohunga, ka whanake i runga i nga urupare a enei roopu.

E whawhai ana ki te Tauine o Nga Whakaputa-Mamati a te Kawanatanga: Ki nga Pipeline mo te Tukatuka me te Rapu E hia miriona PDF. he mea tuhi na Benjamin Charles Germain Lee (i te Kura a Paul G. Allen mo te Rorohiko Pūtaiao & Hangarau) me Trevor Owens, He Kaitito Katorika i te Whare Noho me te Tumuaki o te Whakahaere Ihirangi Mamati i te Whare Pukapuka o Congress i Washington, DC.

* Ko taku hurihanga o nga torokī-roto ki nga honongaitua.

I whakaputaina tuatahi i te 28 o Hakihea 2021