Ví dụ hoạt động đầy đủ có sẵn trên GitHub: sanitize-rag-ingest-files-python
Thách thức nền tảng AI: tại sao việc nhập RAG rò rỉ siêu dữ liệu
Nền tảng AI và các đội MLOps chuyển các thư mục tải lên vào các bộ chia nhỏ và công việc nhúng mỗi tuần. Văn bản chính là những gì sản phẩm muốn có khả năng tìm kiếm. Tệp vẫn mang thông tin Tác giả trên DOCX, Info và XMP trên PDF, và GPS EXIF trên ảnh điện thoại. Khi những trường này được lưu vào kho vector hoặc dấu vết công cụ, chúng xuất hiện trong câu trả lời và xuất khẩu kiểm toán lâu sau khi tệp tải lên ban đầu đã biến mất.
Khi khối lượng nhập hàng tuần tăng từ vài trăm tệp lên hàng chục nghìn, các công cụ làm sạch trên máy tính để bàn và các script tạm thời không còn là một quy trình. Các đội ngũ hoặc bỏ qua việc vệ sinh, tạo ra các bộ lọc đặc thù cho từng định dạng dễ gãy, hoặc phát hiện rò rỉ trong quá trình đánh giá quyền riêng tư.
Những gì các đội ngũ nền tảng cần là một cổng duy nhất kiểm tra các tệp tải lên hỗn hợp, loại bỏ các gói siêu dữ liệu đã nhận dạng, và chứng minh bản sao đã làm sạch ít thông tin hơn trước khi quá trình chia nhỏ bắt đầu - mà không cần xây dựng một công cụ làm sạch riêng cho mỗi định dạng.
Cảnh quan ngành: Các bản viết RAG chú ý đến quyền riêng tư coi EXIF ở mức tệp và danh tính Office như một bước tiền xử lý quan trọng, không phải là suy nghĩ phụ bên cạnh việc xóa nội dung NLP.
Tại sao các bộ làm sạch chung không hoạt động ở đây
Các pipeline tải lên không phải là các tab trình duyệt. Các đội thường thử một trong những cách sau trước khi áp dụng cổng SDK:
- Manual desktop cleaners: Thất bại khi việc nhập được tự động và không có giao diện.
- Pillow / EXIF-only scripts: Bỏ qua tác giả Office và XMP PDF trong cùng một lần duyệt thư mục.
- Byte-level Info edits: Gây lỗi trên các luồng PDF nén và không bao giờ thấy các gói XMP.
GroupDocs.Metadata cho Python thông qua .NET lấp đầy khoảng trống này bằng một API duy nhất cho Office, PDF và hình ảnh, bao gồm sanitize() để xóa sạch toàn bộ gói.
Giải pháp: GroupDocs.Metadata trong quy trình nhập RAG
GroupDocs.Metadata đặt ở phía trước bộ chia nhỏ. Worker mở mỗi tệp tải lên, liệt kê các thuộc tính để thu thập dữ liệu, gọi sanitize(), lưu một bản sao đã làm sạch, sau đó mở lại bản sao đó để đếm những gì còn lại. Chỉ sau đó quá trình nhúng mới bắt đầu. Ba hàm này áp dụng cho DOCX, PDF và JPEG, vì vậy cổng vẫn không phụ thuộc vào định dạng.
Để thực hiện theo triển khai dưới đây, bạn sẽ cần:
- Python 3.13 (
py -3.13) pip install groupdocs-metadata-net(26.9.0+)- Giấy phép GroupDocs.Metadata để sử dụng
save()không giới hạn - Các tệp mẫu có tác giả hoặc EXIF vẫn còn
Kiểm tra trước khi nhúng
with Metadata(input_path) as metadata:
info = metadata.get_document_info()
print(f"format={info.file_type.file_format}")
print(f"pages={info.page_count}")
print(f"encrypted={info.is_encrypted}")
count = 0
for prop in metadata.find_properties(lambda p: True):
print(f"{prop.name}={prop.value}")
count += 1
Đây là cơ sở mà đánh giá quyền riêng tư của bạn sẽ yêu cầu. Ghi lại số lượng bên cạnh ID công việc.
Làm sạch cho việc nhập RAG
with Metadata(input_path) as metadata:
removed = metadata.sanitize()
metadata.save(output_path)
print(removed)
sanitize() xóa sạch các gói đã nhận dạng trong một lần. Luôn ghi vào một đường dẫn mới để tệp tải lên gốc vẫn có sẵn cho việc xem xét sự cố.
Xác minh bản sao đã làm sạch
with Metadata(cleaned_path) as metadata:
remaining = 0
for prop in metadata.find_properties(lambda p: True):
print(f"{prop.name}={prop.value}")
remaining += 1
print(remaining)
Không cho phép công việc tiếp tục khi các trường nhận dạng còn lại vượt quá chính sách của bạn. Đừng bắt đầu nhúng dựa trên hy vọng.
Tác động kinh doanh
Một cổng siêu dữ liệu loại bỏ một vấn đề quyền riêng tư phổ biến: danh tính cá nhân và thiết bị trong các chỉ mục truy xuất. Nó cũng giảm mã kết nối đặc thù cho từng định dạng - một worker xử lý Office, PDF và hình ảnh. Các nhà vận hành nhận được số lượng trước và sau mà họ có thể đính kèm vào ticket thay vì ảnh chụp màn hình từ công cụ trên máy tính để bàn.
Tài nguyên bổ sung
- Phân tích kỹ thuật sâu: 3 kiến trúc cổng siêu dữ liệu cho việc nhập RAG
- Mẫu GitHub: sanitize-rag-ingest-files-python
- Làm sạch siêu dữ liệu với sanitize() - GroupDocs.Metadata cho Python
- Tích hợp Agents và LLM - GroupDocs.Metadata cho Python
Kết luận
Sự sạch sẽ của RAG là một vấn đề ở mức tệp cũng như một vấn đề xóa nội dung văn bản. Kiểm tra các tệp tải lên, làm sạch bằng GroupDocs.Metadata cho Python, xác minh bản sao đã làm sạch, sau đó nhúng. Sao chép kho mẫu, đặt nó trước bộ chia nhỏ của bạn, và giữ Tác giả và GPS ra khỏi kho vector.