GitHub에서 전체 작업 예제가 제공됩니다: sanitize-rag-ingest-files-python

AI 플랫폼 과제: 왜 RAG 인제스트가 메타데이터를 누출하는가

AI 플랫폼 및 MLOps 팀은 매주 업로드 폴더를 청크러와 임베딩 작업에 연결합니다. 본문 텍스트는 제품이 검색 가능하도록 원하는 내용입니다. 파일에는 여전히 DOCX의 Author, PDF의 Info와 XMP, 휴대폰 사진의 EXIF GPS가 포함됩니다. 이러한 필드가 벡터 스토어나 도구 추적에 저장되면 원본 업로드가 사라진 후에도 답변 및 감사 내보내기에 표시됩니다.

주간 인제스트 양이 몇 백 개 파일에서 수만 개로 급증하면 데스크톱 클리너와 임시 스크립트는 프로세스로서 지속되지 못합니다. 팀은 위생을 건너뛰거나, 깨지기 쉬운 형식별 스트립을 고안하거나, 프라이버시 검토 중에 누출을 발견합니다.

플랫폼 팀이 필요로 하는 것은 혼합 업로드를 검사하고, 인식된 메타데이터 패키지를 제거하며, 청크링이 시작되기 전에 정리된 복사본이 더 조용함을 증명하는 단일 게이트입니다—형식별 별도 클리너를 구축하지 않고.

산업 스냅샷: 프라이버시를 고려한 RAG 문서는 파일 수준의 EXIF와 Office 식별 정보를 1차 전처리 단계로 다루며, NLP 편집 옆의 사후 생각이 아닙니다.

일반적인 클리너가 여기서 작동하지 않는 이유

업로드 파이프라인은 브라우저 탭이 아닙니다. 팀은 보통 SDK 게이트 전에 다음 중 하나를 시도합니다:

  • 수동 데스크톱 클리너: 인제스트가 자동화되고 헤드리스일 때 실패합니다.
  • Pillow / EXIF 전용 스크립트: 동일한 폴더 탐색에서 Office 저자와 PDF XMP를 놓칩니다.
  • 바이트 수준 Info 편집: 압축된 PDF 스트림에서 오류가 발생하고 XMP 패킷을 전혀 볼 수 없습니다.

GroupDocs.Metadata for Python via .NET은 Office, PDF, 이미지 전반에 걸쳐 하나의 API와 sanitize()를 제공하여 전체 패키지를 한 번에 제거함으로써 그 격차를 메웁니다.

솔루션: RAG 인제스트 워크플로우에서 GroupDocs.Metadata 활용

GroupDocs.Metadata는 청크러 앞에 배치됩니다. 워커는 각 업로드를 열어 텔레메트리를 위해 속성을 나열하고 sanitize()를 호출한 뒤 정리된 복제본을 저장하고, 그 복제본을 다시 열어 남은 항목을 계산합니다. 이렇게 해야 임베딩이 시작됩니다. 동일한 세 가지 함수가 DOCX, PDF, JPEG를 모두 지원하므로 게이트는 형식에 구애받지 않습니다.

아래 구현을 따라하려면 다음이 필요합니다:

  • Python 3.13 (py -3.13)
  • pip install groupdocs-metadata-net (26.9.0+)
  • 제한 없는 save()를 위한 GroupDocs.Metadata 라이선스
  • 저자 또는 EXIF가 아직 포함된 샘플 업로드

임베딩 전에 검사하기

with Metadata(input_path) as metadata:
    info = metadata.get_document_info()
    print(f"format={info.file_type.file_format}")
    print(f"pages={info.page_count}")
    print(f"encrypted={info.is_encrypted}")

    count = 0
    for prop in metadata.find_properties(lambda p: True):
        print(f"{prop.name}={prop.value}")
        count += 1

이 기준은 프라이버시 검토에서 요구하는 증거입니다. 작업 ID 옆에 카운트를 기록하십시오.

RAG 인제스트를 위한 정리

with Metadata(input_path) as metadata:
    removed = metadata.sanitize()
    metadata.save(output_path)
    print(removed)

sanitize()는 인식된 패키지를 한 번에 모두 제거합니다. 원본 업로드가 사고 검토에 사용할 수 있도록 항상 새 경로에 저장하십시오.

정리된 복사본 검증

with Metadata(cleaned_path) as metadata:
    remaining = 0
    for prop in metadata.find_properties(lambda p: True):
        print(f"{prop.name}={prop.value}")
        remaining += 1
    print(remaining)

남은 식별 필드가 정책을 초과하면 작업을 실패 처리하십시오. 희망에 의존해 임베딩을 시작하지 마십시오.

비즈니스 영향

메타데이터 게이트는 일반적인 프라이버시 문제인 검색 인덱스에 남는 개인 및 디바이스 식별 정보를 차단합니다. 또한 형식별 접착 코드를 줄여—하나의 워커가 Office, PDF, 이미지를 모두 처리합니다. 운영자는 데스크톱 도구의 스크린샷 대신 티켓에 첨부할 수 있는 전후 카운트를 얻습니다.

추가 자료

결론

RAG 위생은 텍스트 편집 문제만큼 파일 수준의 문제이기도 합니다. 업로드를 검사하고 GroupDocs.Metadata for Python으로 정리한 뒤 정리된 복사본을 검증하고 임베딩하십시오. 샘플 리포지토리를 복제하여 청크러 앞에 배치하면 Author와 GPS가 벡터 스토어에 들어가지 않게 할 수 있습니다.