ตัวอย่างทำงานเต็มที่มีบน GitHub:
sanitize-rag-ingest-files-python
ความท้าทายของแพลตฟอร์ม AI: ทำไมการ ingest RAG ถึงรั่วข้อมูลเมตาดาต้า
ทีม AI platform และ MLOps เชื่อมโฟลเดอร์อัปโหลดเข้ากับตัวแบ่งส่วนและงานฝังเวกเตอร์ทุกสัปดาห์ ข้อความหลักคือสิ่งที่ผลิตภัณฑ์ต้องการให้ค้นหาได้ ไฟล์ยังคงมี Author บน DOCX, Info และ XMP บน PDF, และ EXIF GPS บนรูปถ่ายจากโทรศัพท์ เมื่อฟิลด์เหล่านี้ตกลงในเวกเตอร์สโตร์หรือร่องรอยของเครื่องมือ พวกมันจะปรากฏในคำตอบและการส่งออกการตรวจสอบนานหลังจากการอัปโหลดต้นฉบับหายไป
เมื่อปริมาณการ ingest รายสัปดาห์เพิ่มจากไม่กี่ร้อยไฟล์เป็นหลายหมื่นไฟล์ ตัวทำความสะอาดบนเดสก์ท็อปและสคริปต์ ad‑hoc จะไม่สามารถทำเป็นกระบวนการได้ ทีมงานอาจละเลยการทำความสะอาด, สร้างสคริปต์ที่เปราะบางตามรูปแบบ, หรือค้นพบการรั่วไหลระหว่างการตรวจสอบความเป็นส่วนตัว
สิ่งที่ทีมแพลตฟอร์มต้องการคือประตูเดียวที่ตรวจสอบไฟล์อัปโหลดที่ผสมกัน, ลบแพ็กเกจเมตาดาต้าที่รู้จัก, และพิสูจน์ว่าฉบับที่ทำความสะอาดแล้วเงียบกว่าก่อนที่จะแบ่งส่วน – โดยไม่ต้องสร้างตัวทำความสะอาดแยกตามรูปแบบ
Industry snapshot: การเขียน RAG ที่คำนึงถึงความเป็นส่วนตัวถือว่า EXIF ระดับไฟล์และข้อมูลประจำตัวของ Office เป็นขั้นตอนการเตรียมข้อมูลระดับแรก ไม่ใช่เรื่องที่ทำภายหลังพร้อมกับการลบข้อมูล NLP
ทำไมตัวทำความสะอาดทั่วไปถึงใช้ไม่ได้ที่นี่
ไพป์ไลน์การอัปโหลดไม่ใช่แท็บเบราว์เซอร์ ทีมมักลองใช้วิธีต่อไปนี้ก่อนประตู SDK:
- ตัวทำความสะอาดบนเดสก์ท็อปแบบแมนนวล: ล้มเหลวเมื่อการ ingest ทำแบบอัตโนมัติและไม่มี UI
- สคริปต์ Pillow / EXIF‑only: พลาด Author ของ Office และ XMP ของ PDF ในการเดินโฟลเดอร์เดียวกัน
- การแก้ไข Info ระดับไบต์: พังกับสตรีม PDF ที่บีบอัดและไม่เคยเห็นแพ็กเกจ XMP
GroupDocs.Metadata สำหรับ Python ผ่าน .NET ปิดช่องว่างนี้ด้วย API เดียวที่ครอบคลุม Office, PDF, และรูปภาพ, รวมถึง sanitize() สำหรับการลบแพ็กเกจทั้งหมดในครั้งเดียว
วิธีแก้: GroupDocs.Metadata ในเวิร์กโฟลว์การ ingest RAG
GroupDocs.Metadata ทำหน้าที่อยู่หน้าตัวแบ่งส่วน ตัวทำงานเปิดไฟล์อัปโหลดแต่ละไฟล์, แสดงรายการคุณสมบัติเพื่อการตรวจสอบ, เรียก sanitize(), บันทึกไฟล์พี่น้องที่ทำความสะอาดแล้ว, แล้วเปิดไฟล์พี่น้องนั้นอีกครั้งเพื่อนับสิ่งที่เหลืออยู่ หลังจากนั้นจึงเริ่มฝังเวกเตอร์ ฟังก์ชันสามอย่างเดียวนี้ครอบคลุม DOCX, PDF, และ JPEG ทำให้ประตูนี้ไม่ขึ้นกับรูปแบบไฟล์
เพื่อทำตามการนำไปใช้ด้านล่างนี้ คุณจะต้องมี:
- Python 3.13 (
py -3.13) pip install groupdocs-metadata-net(เวอร์ชัน 26.9.0 ขึ้นไป)- ใบอนุญาต GroupDocs.Metadata สำหรับ
save()ไม่จำกัด - ตัวอย่างไฟล์อัปโหลดที่ยังมี Author หรือ EXIF อยู่
ตรวจสอบก่อนฝังเวกเตอร์
with Metadata(input_path) as metadata:
info = metadata.get_document_info()
print(f"format={info.file_type.file_format}")
print(f"pages={info.page_count}")
print(f"encrypted={info.is_encrypted}")
count = 0
for prop in metadata.find_properties(lambda p: True):
print(f"{prop.name}={prop.value}")
count += 1
พื้นฐานนี้คือหลักฐานที่การตรวจสอบความเป็นส่วนตัวของคุณจะขอให้แสดง บันทึกจำนวนนี้ข้างรหัสงาน
ทำความสะอาดสำหรับการ ingest RAG
with Metadata(input_path) as metadata:
removed = metadata.sanitize()
metadata.save(output_path)
print(removed)
sanitize() ลบแพ็กเกจที่รู้จักทั้งหมดในหนึ่งรอบ เขียนผลลัพธ์ไปยังพาธใหม่เสมอเพื่อให้ไฟล์อัปโหลดต้นฉบับยังคงใช้ได้สำหรับการตรวจสอบเหตุการณ์
ตรวจสอบไฟล์ที่ทำความสะอาดแล้ว
with Metadata(cleaned_path) as metadata:
remaining = 0
for prop in metadata.find_properties(lambda p: True):
print(f"{prop.name}={prop.value}")
remaining += 1
print(remaining)
ให้ทำการปฏิเสธงานเมื่อฟิลด์ข้อมูลประจำตัวที่เหลือเกินกว่านโยบายของคุณ อย่าเริ่มฝังเวกเตอร์โดยอิงความหวัง
ผลกระทบต่อธุรกิจ
ประตูเมตาดาต้าช่วยลดการพบปัญหาความเป็นส่วนตัวทั่วไป: ข้อมูลส่วนบุคคลและข้อมูลอุปกรณ์ในดัชนีการดึงข้อมูล นอกจากนี้ยังลดโค้ดกาวตามรูปแบบ – ตัวทำงานเดียวจัดการ Office, PDF, และรูปภาพ ผู้ดำเนินการจะได้จำนวนก่อน/หลังที่สามารถแนบไปกับทิกเก็ตแทนการจับภาพหน้าจอจากเครื่องมือบนเดสก์ท็อป
แหล่งข้อมูลเพิ่มเติม
- การเจาะลึกเชิงเทคนิค: 3 สถาปัตยกรรมเกตเมตาดาต้าสำหรับการรับข้อมูล RAG ingest
- GitHub sample: sanitize-rag-ingest-files-python
- Clean metadata with sanitize() - GroupDocs.Metadata for Python
- Agents and LLM integration - GroupDocs.Metadata for Python
สรุป
การทำความสะอาด RAG เป็นปัญหาระดับไฟล์เช่นเดียวกับการลบข้อความส่วนบุคคล ตรวจสอบไฟล์อัปโหลด, ทำความสะอาดด้วย GroupDocs.Metadata สำหรับ Python, ตรวจสอบไฟล์ที่ทำความสะอาดแล้ว, แล้วจึงฝังเวกเตอร์ คัดลอกรีโปตัวอย่าง, วางไว้หน้าตัวแบ่งส่วนของคุณ, และทำให้ Author กับ GPS ไม่เข้าสู่เวกเตอร์สโตร์.