Doclingとは

Doclingは、PDF文書をはじめとする多様なドキュメント形式を、生成AI（LLM）や検索システムが処理しやすい構造化データ（Markdown、JSONなど）に変換するためのオープンソースライブラリで、IBMの研究部門であるIBM リサーチ・チューリッヒによって開発されました。
近年、RAG（Retrieval-Augmented Generation：検索拡張生成）システムの構築において、企業の持つ膨大なドキュメント資産をいかに高品質なコンテキストとしてLLMに提供するかが重要な課題となっています。特にPDFファイルは、人間が読むためのレイアウト情報を含んでいますが、コンピュータがその論理構造（見出し、段落、表、図など）を正確に理解することは困難でした。
Doclingは、この課題を解決するために設計されました。高度なAIモデルを活用してドキュメントのレイアウトや構造を解析し、テキストだけでなく、表、図、数式、さらにはページヘッダーやフッターといった要素を識別して、意味のある構造化データとして抽出します。これにより、下流のAIアプリケーションはドキュメントの内容をより深く理解できるようになります。

主な特徴

Doclingの主な特徴は、AIを活用した高度なドキュメント構造解析により、PDFなどの非構造化ドキュメントをLLMや検索システムで扱いやすい構造化データへ変換できる点です。
特に、複雑なレイアウトや表、図、数式なども含めて意味のある形で抽出できるため、RAGをはじめとする生成AIアプリケーションの前処理基盤として活用できます。

具体的には、以下のような特徴があります。

• 高度な構造解析: Doclingは、単にテキストを抽出するだけでなく、ドキュメントの論理構造を理解します。独自のAIモデルを活用し、段落、見出し、リスト、表、図表のキャプション、ヘッダー/フッターなどを識別します。これにより、複雑なレイアウト（例：2段組み）のPDFも正しく解析できます。
• 強力な表認識機能: PDF内の表構造を認識し、HTMLのテーブル形式やPandasのDataFrameとして利用可能な形で抽出することができます。これは従来のPDF解析ツールでは難易度が高いタスクでした。
• 多様なフォーマットに対応: PDFファイルを中心に、Microsoft Officeドキュメント（Word, PowerPoint）、画像ファイル、HTMLなど、多様な入力フォーマットに対応しています。
• LLMフレンドリーな出力: 解析結果は、MarkdownやJSONといった、LLMのプロンプトに組み込みやすい形式で出力されます。特にMarkdown出力では、元のドキュメント構造が可能な限り反映されます。
• PythonライブラリとCLI: Pythonのライブラリとしてアプリケーションに組み込むことができるほか、コマンドラインインターフェース（CLI）も提供されており、手軽にドキュメント変換を試すことができます。
• オープンなガバナンスによる継続的な開発: Doclingは、Linux Foundation傘下のLF AI & Data Foundationでホストされているオープンソースプロジェクトです。特定ベンダーに依存しない中立的なガバナンスのもとで開発が進められており、コミュニティや企業が協力して機能追加や品質向上に取り組んでいます。そのため、エンタープライズ環境でも採用しやすく、長期的な継続性が期待できます。

インストールはPythonパッケージマネージャを使用して簡単に出来ます。

pip install docling

（VLM、ASR パイプラインやOCRエンジンなどの高度な機能を利用する場合は、機能追加パッケージもインストールする必要があります。）

コマンドラインから実行するだけで簡単に使用できます。下記はPDFをMarkdownに変換する例です。

docling path/to/sample.pdf

Pythonスクリプトからは以下のように使用できます。

from docling.document_converter import DocumentConverter
source = "path/to/sample.pdf"
converter = DocumentConverter()
doc = converter.convert(source).document
print(doc.export_to_markdown())  # 標準出力に出力