米国政府の PDF マウンテンにコンピューター ビジョンで取り組む

AdobeのPDF形式は、米国政府の文書処理パイプラインに深く浸透しており、現在存在する政府発行文書の数は控えめに見積もっても数億に上ります。これらのPDFは、多くの場合、不透明でメタデータが欠如しており、自動化システムによって作成されることが多く、全体としてストーリーや物語を語っていません。探しているものが正確にわかっていなければ、おそらく関連する文書を見つけることはないでしょう。そして、もし探していたとしても、検索する必要はなかったでしょう。 しかし、新しいプロジェクトでは、コンピューター ビジョンやその他の機械学習アプローチを使用して、このほとんど近寄りがたいデータの山を、研究者、歴史家、ジャーナリスト、学者にとって貴重で探索可能なリソースに変えようとしています。

1990年代、米国政府はAdobeのPortable Document Format（PDF）を発見し、これを高く評価しました。編集可能なWord文書とは異なり、PDFは様々な方法で「焼き付け」が可能で、後からの修正が困難、あるいは不可能になる可能性がありました。フォントを埋め込むことでクロスプラットフォームの互換性が確保され、印刷、コピー、そして開く操作までも細かく制御できました。

さらに重要なのは、これらのコア機能は、このフォーマットの最も古い「ベースライン」仕様の一部で利用可能であったため、アーカイブ資料を後から再処理したり、再検討したりする必要がなく、アクセシビリティを確保できることが保証されていたことです。政府出版に必要なほぼすべてのものが揃っていました。 1996年までに.

ブロックチェーンの起源やNFT技術が実現するのはまだ数十年先のことであり、PDFはデジタル時代において「死んだ」アナログ文書に最も近いものであり、概念的な問題がファックスに少しだけ影響する程度でした。まさにこれこそが求められていたものでした。

PDF に関する社内の反対意見

PDFが密閉的で、扱いにくく、非社会的である程度は、 ドキュメント PDF を「推奨フォーマット」として推奨する米国議会図書館のフォーマットについて:

PDF/A形式の主目的は、ファイルの作成、保存、レンダリングに使用されるツールやシステムに依存せず、電子文書の静的な外観を長期間維持しながら表現することです。この目的のため、PDF/Aはデバイス非依存、自己完結性、そして自己文書化を最大限に高めることを目指しています。

PDF形式への継続的な関心、アクセシビリティの標準、そして最低限のバージョン要件は、米国政府機関によってそれぞれ異なります。例えば、環境保護庁はこの点に関して厳格ながらも支援的な方針を掲げていますが、米国政府の公式ウェブサイトplainlanguage.govでは、 謝辞 それ 「ユーザーはPDFを嫌っている」、さらには 2020 Nielsen Norman Group に直接リンクしています。 レポート タイトル PDF: 20年経った今でも人間の消費には適していない.

一方、irs.gov、 1995で作成 税務署の書類をデジタル化するために、すぐにPDFを採用し、現在も 熱心な擁護者.

PDF のウイルス拡散

PDF のコア仕様が Adob​​e によってオープンソースとしてリリースされて以来、 トランシェ サーバー側の処理ツールとライブラリの多くが登場し、現在ではその多くが 由緒ある ソフトウェア ベンダーは、PDF の機能を低コストのツールに統合することを急いでいます。

その結果、PDF は、そのホスト部門に好まれたり嫌われたりするものの、米国の膨大な数の政府部門にわたるコミュニケーションおよび文書化のフレームワークに遍在し続けています。

2015年、Adobeのドキュメントクラウド担当エンジニアリング担当副社長、フィル・イデンス 推定 世界には2.5兆点ものPDF文書が存在し、このフォーマットはウェブコンテンツ全体の6～11%を占めると推定されています。古い技術を破壊することばかりに執着するテクノロジー文化において、PDFは根絶不可能な「錆」、つまりPDFをホストする構造の中核を成す存在となっています。

2018年から。まだ強力な挑戦者の証拠はほとんどありません。 出典: https://twitter.com/trbrtc/status/980407663690502145

によると、 最近の研究 ワシントン大学と米国議会図書館の研究者らから、 「これまでに、PDF形式でウェブに投稿された数億点の米国政府文書が図書館にアーカイブされている」.

しかし研究者たちは、これは「氷山の一角」に過ぎないと主張している*。

「デジタル史の第一人者であるロイ・ローゼンツヴァイク氏が 2003 年の時点で指摘していたように、学術のためのボーンデジタルの一次情報源に関しては、数千万、数億、さらには数十億のデジタルデータにまで拡張できる方法とアプローチを開発することが不可欠です。資力]。 私たちは現在、この規模に対するアプローチの開発が必要な段階に達しています。

「例えば、議会図書館のウェブ アーカイブには現在 20 億を超える個別のデジタル リソースが含まれています。」

PDF: 分析に対する耐性

ワシントンの研究者のプロジェクトは、いくつかの機械学習手法を 公に利用可能 　 注釈付き コー​​パス 米国議会図書館から厳選された 1,000 件の文書を対象としており、現在の (そして増加している) PDF ボリュームの高さまでスケールアップできるフレームワークで、テキストおよび画像ベースのクエリを超高速でマルチモーダルに検索できるシステムを開発することを目的としています。政府内だけでなく、多数のセクターにわたっています。

この論文が述べているように、1990 年代にバルカン半島化した米国政府のさまざまな省庁でデジタル化のペースが加速したことにより、政策や慣行の相違が生じ、かつてのようなメタデータの品質を含まない PDF 公開方法が頻繁に採用されるようになりました。政府図書館サービスのゴールドスタンダード、あるいは非常に基本的なネイティブ PDF メタデータでさえも、PDF コレクションをよりアクセスしやすく、インデックス付けしやすいものにするのに多少は役立ったかもしれません。

著者らはこの混乱の時期について次のように述べています。

「こうした取り組みによって政府出版物の量が爆発的に増加し、その結果、そうした出版物の一貫したメタデータを作成し、図書館がそれらのコピーを取得するという一般的なアプローチが崩壊した。」

その結果、典型的なPDFの山は、直接リンクするURL以外には文脈を持たずに存在します。さらに、山の中の文書は閉じられており、自己参照的であり、現在の検索手法が認識できるような「物語」や物語の一部を形成していません。たとえ、そのような隠れたつながりが確かに存在していたとしてもです。

検討中の規模では、手作業による注釈付けやキュレーションは不可能です。本プロジェクトの1000件の議会図書館文書の元となったデータコーパスには40万件以上のPDFが含まれており、研究者たちは近い将来、これらを解決可能な課題にしたいと考えています。

PDF 分析のためのコンピューター ビジョン

著者らが引用している先行研究のほとんどは、テキストベースの手法を使用して PDF 資料から特徴や高レベルの概念を抽出しています。 対照的に、彼らのプロジェクトは、PDF を視覚レベルで検査することによって特徴と傾向を導き出すことに重点を置いています。 最新の研究 ニュースコンテンツのマルチモーダル分析に。

機械学習は、次のような分野固有のスキームを介して PDF 分析にもこのように適用されていますが、 セマンティックスカラー著者らは、科学出版やその他の同様に狭い分野の制約に合わせるのではなく、さまざまな出版物に広く適用できる、より高レベルの抽出パイプラインを作成することを目指しています。

不均衡なデータへの対処

メトリクススキーマを作成する際、研究者は、少なくとも項目ごとのサイズの観点から、データがどの程度偏っているかを考慮する必要がありました。

選択したデータセット内の 1000 個の PDF (著者らは、抽出元の 40 万個の代表であると推定しています) のうち、33% はわずか 39 ページの長さで、2% は 5 ～ 72 ページの長さです。 これにより、文書の XNUMX% が XNUMX ページ以下になります。

その後、大きな飛躍が見られます。残りの文書のうち、18～6ページが20%、6～20ページが100%、3ページ以上が100%です。これは、抽出された個々のページの大部分が最長文書で構成されていることを意味します。一方、文書のみを考慮するより粒度の低いアプローチでは、はるかに多数の短い文書に注目が集まってしまうことになります。

それでも、これらは洞察に富んだ指標です。2 ページの文書は技術的な概略図や地図である傾向があり、5 ～ XNUMX ページの文書はプレス リリースやフォームである傾向があり、非常に長い文書は一般に書籍ほどの長さのレポートや出版物ですが、長さの点では、意味解釈にまったく異なる課題を含む膨大な自動データ ダンプが混在しています。

したがって、研究者らは、この不均衡をそれ自体が意味のある意味特性として扱っています。 それにもかかわらず、PDF は依然としてページごとに処理および定量化する必要があります。

アーキテクチャ

プロセスの開始時に、PDFのメタデータが表形式のデータに解析されます。このメタデータは、ファイルサイズやソースURLなどの既知の情報で構成されているため、欠落することはありません。

次に PDF はページに分割され、各ページは次の方法で JPEG 形式に変換されます。 ImageMagick。 次に、画像は ResNet-50 ネットワークに供給され、最後から 2,048 番目の層から XNUMX 次元のベクトルが導出されます。

PDF から抽出するためのパイプライン。 出典: https://arxiv.org/ftp/arxiv/papers/2112/2112.02471.pdf

同時に、ページは pdf2text によってテキスト ファイルに変換され、TF-IDF 特徴量は scikit-学ぶ.

TF-IDFは 用語頻度の逆文書頻度、 これは、文書内の各フレーズの出現頻度を、ホストデータセット全体での頻度に対して、0 から 1 までのきめ細かいスケールで測定します。研究者は、システムの TF-IDF 設定における最小単位として単語 (ユニグラム) を使用しました。

著者らは、機械学習が TF-IDF よりも洗練された手法を提供できることを認めていますが、規定されたタスクにはこれ以上複雑なものは不要であると主張しています。

各ドキュメントにソース URL が関連付けられているため、システムはデータセット全体のドキュメントの出所を判断できます。

これは 40 件のドキュメントの場合、些細なことのように思えるかもしれませんが、XNUMX 万件以上のドキュメントの場合、非常に驚​​くべきこととなるでしょう。

テキスト検索への新しいアプローチ

このプロジェクトの目標の一つは、テキストベースのクエリに対する検索結果をより有意義なものにし、過剰な事前知識を必要とせずに有益な探索を可能にすることです。著者らは次のように述べています。

「キーワード検索は直感的で拡張性の高い検索方法ですが、関連する結果を取得するキーワードクエリを作成するのはユーザーの責任となるため、制限がある場合もあります。」

TF-IDF値が得られれば、最も頻繁に出現する単語を計算し、コーパス内の「平均的な」文書を推定することが可能になります。研究者たちは、これらの文書間キーワードは通常意味を持つため、このプロセスによって、各文書のテキストを個別にインデックスするだけでは得られない、研究者が調査する上で有用な関係性が形成されると主張しています。

視覚的には、このプロセスにより、さまざまな政府部門から発せられる言葉の「ムードボード」が作成されます。

TF-IDF によって取得された、さまざまな米国政府部門の TF-IDF キーワード。

抽出されたキーワードと関係は、後で検索結果で動的なマトリックスを形成するために使用できます。PDF のコーパスが「物語を語り」始め、キーワードの関係がドキュメントを連結し (数百年にわたる可能性もあります)、トピックまたはテーマに関する探索可能な複数部構成の「サーガ」の概要を作成します。

研究者たちは、k平均法クラスタリングを用いて、共通のソースを持たない文書であっても関連性のある文書を識別します。これにより、データセット全体に適用可能なキーフレーズメタデータの作成が可能になり、厳密なテキスト検索では用語のランキングとして、より動的な探索環境では近傍ノードとして表示されます。

視覚的分析

ワシントンの研究者のアプローチの真の斬新さは、データセット内の PDF のラスタライズされた外観に機械学習ベースの視覚分析技術を適用することです。

この方法により、テキスト自体には必ずしも共通の十分な根拠となるものが何もない場合でも、視覚的な根拠に基づいて「REDACTED」タグを生成することができます。

新しいプロジェクトのコンピューター ビジョンによって識別された、編集された PDF のフロント ページのクラスター。

さらに、この方法では、編集された資料の場合によくある、ラスター化された政府文書からもそのようなタグを取得できるため、この手法の徹底的かつ包括的な検索が可能になります。

さらに、マップと回路図も同様に識別および分類でき、著者はこの潜在的な機能について次のようにコメントしています。

「機密情報やその他の慎重な取り扱いを要する情報の開示に関心のある学者にとって、まさにこの種の資料群を分析と研究のために切り分けることは、特に興味深いことかもしれない。」

論文では、特定の種類の政府機関のPDFに共通する様々な視覚的指標が、同様に文書を分類し「サーガ」を作成するために使用できると指摘されています。このような「トークン」には、議会の紋章やその他のロゴ、あるいは純粋なテキスト検索では意味的に存在しない繰り返し出現する視覚的特徴などが挙げられます。

さらに、分類に反する文書や、その文書が一般的でない情報源からのものである場合は、列、フォントの種類、その他の特徴的な側面などのレイアウトから識別できます。

レイアウトだけでも、視覚的な検索スペースでグループ化と分類を行うことができます。

著者たちはテキストを無視しているわけではありませんが、明らかに視覚的な検索空間がこの作品を推進したものです。

「PDF をその視覚的特徴に基づいて検索および分析する機能は、非常に大きな可能性を秘めたアプローチです。テキスト分析に関する既存の取り組みを強化するだけでなく、デジタル生まれのコンテンツの検索と分析の可能性を再考するものです。」

著者らは、はるかに大規模なデータセットに対応するフレームワークを開発する予定です。 2008 年期末大統領ウェブ アーカイブ データセットには10万件以上の資料が含まれています。しかし、当初はシステムを拡張し、「数万件」の政府機関のPDF文書に対応する予定です。

このシステムは、図書館員、アーキビスト、弁護士、歴史家、その他の学者を含む実際のユーザーによって最初に評価されることを目的としており、これらのグループからのフィードバックに基づいて進化します。

ボーンデジタル政府出版物の規模への取り組み: 数百万の PDF の処理と検索のためのパイプラインに向けて この本は、ベンジャミン チャールズ ジャーメイン リー (ポール G. アレン コンピューター サイエンス & エンジニアリング スクール) と、ワシントン D.C. の米国議会図書館の常駐公共歴史家でありデジタル コンテンツ管理責任者であるトレバー オーウェンスによって書かれています。

* インライン引用をハイパーリンクに変換しました。

初版発行日: 28 年 2021 月 XNUMX 日