Contoh kerja penuh tersedia di GitHub: sanitize-rag-ingest-files-python

Tantangan platform AI: mengapa ingest RAG bocor metadata

Platform AI dan tim MLOps menghubungkan folder unggahan ke chunker dan pekerjaan embedding setiap minggu. Teks utama adalah apa yang produk ingin dapat dicari. File masih membawa Author pada DOCX, Info dan XMP pada PDF, serta EXIF GPS pada foto ponsel. Setelah bidang-bidang itu masuk ke vector store atau jejak alat, mereka muncul dalam jawaban dan ekspor audit lama setelah unggahan asli hilang.

Ketika volume ingest mingguan melompat dari beberapa ratus file menjadi puluhan ribu, pembersih desktop dan skrip ad‑hoc tidak lagi menjadi proses. Tim kemudian melewatkan kebersihan, menciptakan strip yang rapuh khusus format, atau menemukan kebocoran selama tinjauan privasi.

Apa yang dibutuhkan tim platform adalah satu gerbang tunggal yang memeriksa unggahan campuran, menghapus paket metadata yang dikenali, dan membuktikan salinan yang dibersihkan lebih bersih sebelum proses chunking dimulai – tanpa harus membuat pembersih terpisah untuk setiap format.

Gambaran industri: Tulisan RAG yang sadar privasi memperlakukan EXIF tingkat file dan identitas Office sebagai langkah pra‑pemrosesan utama, bukan pemikiran sampingan di samping redaksi NLP.

Mengapa pembersih umum tidak berhasil di sini

Pipeline unggahan bukan tab browser. Tim biasanya mencoba salah satu dari ini sebelum gerbang SDK:

  • Pembersih desktop manual: Gagal ketika ingest otomatis dan tanpa antarmuka.
  • Skrip Pillow / hanya EXIF: Tidak menangkap penulis Office dan PDF XMP pada penelusuran folder yang sama.
  • Edit Info tingkat byte: Rusak pada aliran PDF terkompresi dan tidak pernah melihat paket XMP.

GroupDocs.Metadata untuk Python melalui .NET menutup kesenjangan itu dengan satu API lintas Office, PDF, dan gambar, termasuk sanitize() untuk penghapusan paket secara penuh.

Solusi: GroupDocs.Metadata dalam alur kerja ingest RAG

GroupDocs.Metadata berada di depan chunker. Pekerja membuka setiap unggahan, mencantumkan properti untuk telemetri, memanggil sanitize(), menyimpan saudara yang dibersihkan, lalu membuka kembali saudara tersebut untuk menghitung apa yang tersisa. Hanya setelah itu embedding dimulai. Tiga fungsi yang sama mencakup DOCX, PDF, dan JPEG, sehingga gerbang tetap tidak tergantung format.

Untuk mengikuti implementasi di bawah ini, Anda memerlukan:

  • Python 3.13 (py -3.13)
  • pip install groupdocs-metadata-net (26.9.0+)
  • Lisensi GroupDocs.Metadata untuk save() tanpa batas
  • Contoh unggahan dengan penulis atau EXIF yang masih ada

Periksa sebelum Anda embed

with Metadata(input_path) as metadata:
    info = metadata.get_document_info()
    print(f"format={info.file_type.file_format}")
    print(f"pages={info.page_count}")
    print(f"encrypted={info.is_encrypted}")

    count = 0
    for prop in metadata.find_properties(lambda p: True):
        print(f"{prop.name}={prop.value}")
        count += 1

Baseline ini adalah bukti yang akan diminta oleh tinjauan privasi Anda. Catat jumlahnya di samping ID pekerjaan.

Sanitasi untuk ingest RAG

with Metadata(input_path) as metadata:
    removed = metadata.sanitize()
    metadata.save(output_path)
    print(removed)

sanitize() menghapus paket yang dikenali dalam satu kali proses. Selalu tulis ke jalur baru sehingga unggahan asli tetap tersedia untuk tinjauan insiden.

Verifikasi salinan yang dibersihkan

with Metadata(cleaned_path) as metadata:
    remaining = 0
    for prop in metadata.find_properties(lambda p: True):
        print(f"{prop.name}={prop.value}")
        remaining += 1
    print(remaining)

Gagalkan pekerjaan ketika bidang identitas yang tersisa melebihi kebijakan Anda. Jangan memulai embedding dengan harapan.

Dampak bisnis

Gerbang metadata mengurangi temuan privasi umum: identitas pribadi dan perangkat dalam indeks pengambilan. Ini juga mengurangi kode pengikat khusus format – satu pekerja menangani Office, PDF, dan gambar. Operator mendapatkan hitungan sebelum/ sesudah yang dapat mereka lampirkan ke tiket alih‑alih screenshot dari alat desktop.

Sumber Daya Tambahan

Kesimpulan

Kebersihan RAG adalah masalah tingkat file sebanyak masalah redaksi teks. Periksa unggahan, sanitasi dengan GroupDocs.Metadata untuk Python, verifikasi salinan yang dibersihkan, lalu embed. Kloning repositori contoh, letakkan di depan chunker Anda, dan jaga agar Author serta GPS tidak masuk ke vector store.