完整的工作示例可在 GitHub 上获取: sanitize-rag-ingest-files-python
AI 平台挑战:为何 RAG 摄取会泄露元数据
AI 平台和 MLOps 团队每周将上传文件夹连接到分块器和嵌入作业。正文文本是产品希望可搜索的内容。文件仍然在 DOCX 中携带作者信息,在 PDF 中携带 Info 和 XMP,在手机照片中携带 EXIF GPS。一旦这些字段进入向量存储或工具痕迹,它们会在答案和审计导出中出现,甚至在原始上传已不存在很久之后。
当每周摄取量从几百个文件激增到数万时,桌面清理工具和临时脚本不再是可行的流程。团队要么跳过清理,要么自行编写脆弱的特定格式剥离工具,或者在隐私审查中发现泄漏。
平台团队需要的是一个单一的闸门,能够检查混合上传文件,剥除已识别的元数据包,并在分块开始前验证清理后的副本更为干净——而无需为每种格式构建单独的清理器。
行业快照:注重隐私的 RAG 文档将文件级 EXIF 和 Office 身份视为首要的预处理步骤,而不是 NLP 编辑旁的事后考虑。
为什么通用清理器在此不起作用
上传流水线并非浏览器标签页。团队通常在 SDK 闸门之前尝试以下方法之一:
- 手动桌面清理工具:在摄取自动化且无头运行时失败。
- Pillow / 仅 EXIF 脚本:在同一次文件遍历中遗漏 Office 作者信息和 PDF XMP。
- 字节级 Info 编辑:在压缩的 PDF 流上出错,且永远看不到 XMP 包。
GroupDocs.Metadata for Python via .NET 通过一个跨 Office、PDF 和图像的 API 弥补了这一缺口,包含用于完整包清除的 sanitize()。
解决方案:在 RAG 摄取工作流中使用 GroupDocs.Metadata
GroupDocs.Metadata 位于分块器前端。工作进程打开每个上传文件,列出属性以供遥测,调用 sanitize(),保存一个已清理的同级文件,然后重新打开该同级文件以统计剩余内容。只有在此之后才开始嵌入。相同的三个函数覆盖 DOCX、PDF 和 JPEG,使闸门保持格式无关。
要运行下面的实现示例,您需要:
- Python 3.13 (
py -3.13) pip install groupdocs-metadata-net(26.9.0+)- 用于无限制
save()的 GroupDocs.Metadata 许可证 - 包含作者或仍保留 EXIF 的示例上传文件
在嵌入前进行检查
with Metadata(input_path) as metadata:
info = metadata.get_document_info()
print(f"format={info.file_type.file_format}")
print(f"pages={info.page_count}")
print(f"encrypted={info.is_encrypted}")
count = 0
for prop in metadata.find_properties(lambda p: True):
print(f"{prop.name}={prop.value}")
count += 1
此基线是您的隐私审查将要求提供的证据。将计数记录在作业 ID 旁边。
为 RAG 摄取进行清理
with Metadata(input_path) as metadata:
removed = metadata.sanitize()
metadata.save(output_path)
print(removed)
sanitize() 在一次操作中清除已识别的包。始终写入新路径,以便原始上传文件仍可用于事件审查。
验证已清理的副本
with Metadata(cleaned_path) as metadata:
remaining = 0
for prop in metadata.find_properties(lambda p: True):
print(f"{prop.name}={prop.value}")
remaining += 1
print(remaining)
当剩余的身份字段超过您的策略时,使作业失败。不要抱着侥幸开始嵌入。
商业影响
元数据闸门可以消除常见的隐私问题:检索索引中的个人和设备身份信息。它还减少了特定格式的胶水代码——一个工作进程即可处理 Office、PDF 和图像。运营人员获得的前后计数可以附加到工单中,而无需使用桌面工具的截图。
其他资源
- 技术深度解析:RAG 摄取的 3 种元数据闸门架构
- GitHub 示例:sanitize-rag-ingest-files-python
- 使用 sanitize() 清理元数据 - GroupDocs.Metadata for Python
- 代理与 LLM 集成 - GroupDocs.Metadata for Python
结论
RAG 卫生既是文件层面的挑战,也是文本编辑层面的挑战。检查上传文件,使用 GroupDocs.Metadata for Python 进行清理,验证已清理的副本,然后再进行嵌入。克隆示例仓库,将其放在分块器前端,确保作者信息和 GPS 不会进入向量存储。