GitHub で利用できる完全な動作例: sanitize-rag-ingest-files-python

AI プラットフォームの課題: なぜ RAG インジェストでメタデータが漏れるのか

AI プラットフォームと MLOps チームは、毎週アップロードフォルダーをチャンク化と埋め込みジョブに流し込みます。本文テキストが製品側で検索可能にしたい対象です。ファイルには DOCX の Author、PDF の Info と XMP、そして携帯写真の EXIF GPS といったメタデータが残っています。これらのフィールドがベクトルストアやツールのトレースに入ると、元のアップロードが削除された後でも回答や監査エクスポートに現れます。

週次のインジェスト量が数百ファイルから数万ファイルに急増すると、デスクトップクリーナーやアドホックスクリプトはプロセスとして機能しなくなります。チームは衛生管理を省略したり、脆弱なフォーマット固有の除去処理を作り出したり、プライバシーレビューで漏れを発見したりします。

プラットフォームチームが必要としているのは、混在したアップロードを検査し、認識されたメタデータパッケージを除去し、クリーンなコピーがチャンク化開始前に静かであることを証明する単一のゲートです。フォーマットごとに別々のクリーナーを構築する必要はありません。

業界スナップショット: プライバシーに配慮した RAG の記述は、ファイルレベルの EXIF や Office の識別情報を NLP のリダクションの後付けではなく、第一級の前処理ステップとして扱います。

汎用クリーナーがここで機能しない理由

アップロードパイプラインはブラウザのタブではありません。チームは通常、SDK ゲートの前に以下のいずれかを試みます:

  • 手動デスクトップクリーナー: インジェストが自動化されヘッドレスになると失敗します。
  • Pillow / EXIF のみスクリプト: 同じフォルダー走査で Office の作者情報や PDF の XMP を見逃します。
  • バイトレベルの Info 編集: 圧縮された PDF ストリームで破綻し、XMP パケットを取得できません。

GroupDocs.Metadata for Python via .NET は、Office、PDF、画像全体にわたる単一 API を提供し、sanitize() による完全なパッケージ削除を実現します。

解決策: RAG インジェストワークフローにおける GroupDocs.Metadata

GroupDocs.Metadata はチャンクャーの前に配置されます。ワーカーは各アップロードを開き、テレメトリ用にプロパティを列挙し、sanitize() を呼び出し、クリーンな兄弟ファイルを保存し、再度その兄弟ファイルを開いて残存数をカウントします。その後で埋め込みが開始されます。同じ 3 つの関数で DOCX、PDF、JPEG をカバーできるため、ゲートはフォーマットに依存しません。

以下の実装を試すには、次が必要です:

  • Python 3.13 (py -3.13)
  • pip install groupdocs-metadata-net (26.9.0+)
  • 無制限の save() が可能な GroupDocs.Metadata ライセンス
  • 作者情報や EXIF が残っているサンプルアップロード

埋め込む前に検査

with Metadata(input_path) as metadata:
    info = metadata.get_document_info()
    print(f"format={info.file_type.file_format}")
    print(f"pages={info.page_count}")
    print(f"encrypted={info.is_encrypted}")

    count = 0
    for prop in metadata.find_properties(lambda p: True):
        print(f"{prop.name}={prop.value}")
        count += 1

このベースラインはプライバシーレビューで求められる証拠です。ジョブ ID の横にカウントを記録してください。

RAG インジェスト用にサニタイズ

with Metadata(input_path) as metadata:
    removed = metadata.sanitize()
    metadata.save(output_path)
    print(removed)

sanitize() は認識されたパッケージを一括でクリアします。元のアップロードをインシデントレビュー用に残すため、必ず新しいパスに書き出してください。

クリーンコピーを検証

with Metadata(cleaned_path) as metadata:
    remaining = 0
    for prop in metadata.find_properties(lambda p: True):
        print(f"{prop.name}={prop.value}")
        remaining += 1
    print(remaining)

残存する識別フィールドがポリシーを超えた場合はジョブを失敗させます。希望だけで埋め込みを開始しないでください。

ビジネスインパクト

メタデータゲートは、検索インデックスに残る個人情報やデバイス識別情報という一般的なプライバシー問題を削減します。また、フォーマット固有の glue コードを減らし、1 つのワーカーで Office、PDF、画像を処理できます。オペレーターはチケットに添付できる前後のカウントを取得でき、デスクトップツールのスクリーンショットに頼る必要がなくなります。

追加リソース

結論

RAG の衛生管理はテキストリダクション問題と同様にファイルレベルの問題です。アップロードを検査し、GroupDocs.Metadata for Python でサニタイズし、クリーンコピーを検証してから埋め込みを行いましょう。サンプルリポジトリをクローンし、チャンクャーの前に配置すれば、Author と GPS がベクトルストアに入るのを防げます。