ตัวอย่างทำงานเต็มที่มีบน GitHub:
sanitize-rag-ingest-files-python

ความท้าทายของแพลตฟอร์ม AI: ทำไมการ ingest RAG ถึงรั่วข้อมูลเมตาดาต้า

ทีม AI platform และ MLOps เชื่อมโฟลเดอร์อัปโหลดเข้ากับตัวแบ่งส่วนและงานฝังเวกเตอร์ทุกสัปดาห์ ข้อความหลักคือสิ่งที่ผลิตภัณฑ์ต้องการให้ค้นหาได้ ไฟล์ยังคงมี Author บน DOCX, Info และ XMP บน PDF, และ EXIF GPS บนรูปถ่ายจากโทรศัพท์ เมื่อฟิลด์เหล่านี้ตกลงในเวกเตอร์สโตร์หรือร่องรอยของเครื่องมือ พวกมันจะปรากฏในคำตอบและการส่งออกการตรวจสอบนานหลังจากการอัปโหลดต้นฉบับหายไป

เมื่อปริมาณการ ingest รายสัปดาห์เพิ่มจากไม่กี่ร้อยไฟล์เป็นหลายหมื่นไฟล์ ตัวทำความสะอาดบนเดสก์ท็อปและสคริปต์ ad‑hoc จะไม่สามารถทำเป็นกระบวนการได้ ทีมงานอาจละเลยการทำความสะอาด, สร้างสคริปต์ที่เปราะบางตามรูปแบบ, หรือค้นพบการรั่วไหลระหว่างการตรวจสอบความเป็นส่วนตัว

สิ่งที่ทีมแพลตฟอร์มต้องการคือประตูเดียวที่ตรวจสอบไฟล์อัปโหลดที่ผสมกัน, ลบแพ็กเกจเมตาดาต้าที่รู้จัก, และพิสูจน์ว่าฉบับที่ทำความสะอาดแล้วเงียบกว่าก่อนที่จะแบ่งส่วน – โดยไม่ต้องสร้างตัวทำความสะอาดแยกตามรูปแบบ

Industry snapshot: การเขียน RAG ที่คำนึงถึงความเป็นส่วนตัวถือว่า EXIF ระดับไฟล์และข้อมูลประจำตัวของ Office เป็นขั้นตอนการเตรียมข้อมูลระดับแรก ไม่ใช่เรื่องที่ทำภายหลังพร้อมกับการลบข้อมูล NLP

ทำไมตัวทำความสะอาดทั่วไปถึงใช้ไม่ได้ที่นี่

ไพป์ไลน์การอัปโหลดไม่ใช่แท็บเบราว์เซอร์ ทีมมักลองใช้วิธีต่อไปนี้ก่อนประตู SDK:

  • ตัวทำความสะอาดบนเดสก์ท็อปแบบแมนนวล: ล้มเหลวเมื่อการ ingest ทำแบบอัตโนมัติและไม่มี UI
  • สคริปต์ Pillow / EXIF‑only: พลาด Author ของ Office และ XMP ของ PDF ในการเดินโฟลเดอร์เดียวกัน
  • การแก้ไข Info ระดับไบต์: พังกับสตรีม PDF ที่บีบอัดและไม่เคยเห็นแพ็กเกจ XMP

GroupDocs.Metadata สำหรับ Python ผ่าน .NET ปิดช่องว่างนี้ด้วย API เดียวที่ครอบคลุม Office, PDF, และรูปภาพ, รวมถึง sanitize() สำหรับการลบแพ็กเกจทั้งหมดในครั้งเดียว

วิธีแก้: GroupDocs.Metadata ในเวิร์กโฟลว์การ ingest RAG

GroupDocs.Metadata ทำหน้าที่อยู่หน้าตัวแบ่งส่วน ตัวทำงานเปิดไฟล์อัปโหลดแต่ละไฟล์, แสดงรายการคุณสมบัติเพื่อการตรวจสอบ, เรียก sanitize(), บันทึกไฟล์พี่น้องที่ทำความสะอาดแล้ว, แล้วเปิดไฟล์พี่น้องนั้นอีกครั้งเพื่อนับสิ่งที่เหลืออยู่ หลังจากนั้นจึงเริ่มฝังเวกเตอร์ ฟังก์ชันสามอย่างเดียวนี้ครอบคลุม DOCX, PDF, และ JPEG ทำให้ประตูนี้ไม่ขึ้นกับรูปแบบไฟล์

เพื่อทำตามการนำไปใช้ด้านล่างนี้ คุณจะต้องมี:

  • Python 3.13 (py -3.13)
  • pip install groupdocs-metadata-net (เวอร์ชัน 26.9.0 ขึ้นไป)
  • ใบอนุญาต GroupDocs.Metadata สำหรับ save() ไม่จำกัด
  • ตัวอย่างไฟล์อัปโหลดที่ยังมี Author หรือ EXIF อยู่

ตรวจสอบก่อนฝังเวกเตอร์

with Metadata(input_path) as metadata:
    info = metadata.get_document_info()
    print(f"format={info.file_type.file_format}")
    print(f"pages={info.page_count}")
    print(f"encrypted={info.is_encrypted}")

    count = 0
    for prop in metadata.find_properties(lambda p: True):
        print(f"{prop.name}={prop.value}")
        count += 1

พื้นฐานนี้คือหลักฐานที่การตรวจสอบความเป็นส่วนตัวของคุณจะขอให้แสดง บันทึกจำนวนนี้ข้างรหัสงาน

ทำความสะอาดสำหรับการ ingest RAG

with Metadata(input_path) as metadata:
    removed = metadata.sanitize()
    metadata.save(output_path)
    print(removed)

sanitize() ลบแพ็กเกจที่รู้จักทั้งหมดในหนึ่งรอบ เขียนผลลัพธ์ไปยังพาธใหม่เสมอเพื่อให้ไฟล์อัปโหลดต้นฉบับยังคงใช้ได้สำหรับการตรวจสอบเหตุการณ์

ตรวจสอบไฟล์ที่ทำความสะอาดแล้ว

with Metadata(cleaned_path) as metadata:
    remaining = 0
    for prop in metadata.find_properties(lambda p: True):
        print(f"{prop.name}={prop.value}")
        remaining += 1
    print(remaining)

ให้ทำการปฏิเสธงานเมื่อฟิลด์ข้อมูลประจำตัวที่เหลือเกินกว่านโยบายของคุณ อย่าเริ่มฝังเวกเตอร์โดยอิงความหวัง

ผลกระทบต่อธุรกิจ

ประตูเมตาดาต้าช่วยลดการพบปัญหาความเป็นส่วนตัวทั่วไป: ข้อมูลส่วนบุคคลและข้อมูลอุปกรณ์ในดัชนีการดึงข้อมูล นอกจากนี้ยังลดโค้ดกาวตามรูปแบบ – ตัวทำงานเดียวจัดการ Office, PDF, และรูปภาพ ผู้ดำเนินการจะได้จำนวนก่อน/หลังที่สามารถแนบไปกับทิกเก็ตแทนการจับภาพหน้าจอจากเครื่องมือบนเดสก์ท็อป

แหล่งข้อมูลเพิ่มเติม

สรุป

การทำความสะอาด RAG เป็นปัญหาระดับไฟล์เช่นเดียวกับการลบข้อความส่วนบุคคล ตรวจสอบไฟล์อัปโหลด, ทำความสะอาดด้วย GroupDocs.Metadata สำหรับ Python, ตรวจสอบไฟล์ที่ทำความสะอาดแล้ว, แล้วจึงฝังเวกเตอร์ คัดลอกรีโปตัวอย่าง, วางไว้หน้าตัวแบ่งส่วนของคุณ, และทำให้ Author กับ GPS ไม่เข้าสู่เวกเตอร์สโตร์.