Полный рабочий пример доступен на GitHub: sanitize-rag-ingest-files-python

Проблема платформы ИИ: почему при загрузке RAG утекут метаданные

Команды платформы ИИ и MLOps каждую неделю передают папки с загрузками в чанкеры и задачи встраивания. Основной текст — то, что продукт хочет сделать доступным для поиска. Файл всё ещё содержит автора в DOCX, информацию и XMP в PDF, а также GPS‑данные EXIF в фотографиях с телефона. Как только эти поля попадают в векторное хранилище или следы инструментов, они появляются в ответах и экспортных аудитах задолго после того, как оригинальная загрузка исчезнет.

Когда еженедельный объём загрузок скачет с нескольких сотен файлов до десятков тысяч, настольные очистители и разовые скрипты перестают быть процессом. Команды либо игнорируют гигиену, придумывают хрупкие очистки, специфичные для форматов, либо обнаруживают утечку во время проверки конфиденциальности.

То, что нужно командам платформы, — единый шлюз, который проверяет смешанные загрузки, удаляет распознанные пакеты метаданных и подтверждает, что очищенная копия тише перед началом чанкинга, без необходимости создавать отдельный очиститель для каждого формата.

Обзор отрасли: При написании RAG с учётом конфиденциальности файлы уровня EXIF и идентификация Office рассматриваются как первоклассный этап предобработки, а не как второстепенный элемент рядом с редактированием NLP.

Почему здесь не работают универсальные очистители

Конвейеры загрузки — это не вкладки браузера. Команды обычно пробуют одно из следующих решений перед шлюзом SDK:

  • Ручные настольные очистители: Не работают, когда загрузка автоматизирована и без интерфейса.
  • Скрипты Pillow / только EXIF: Пропускают авторов Office и XMP в PDF при обходе той же папки.
  • Редактирование информации на уровне байтов: Ломаются на сжатых потоках PDF и никогда не видят пакеты XMP.

GroupDocs.Metadata для Python через .NET закрывает этот разрыв, предоставляя единый API для Office, PDF и изображений, включая sanitize() для полного удаления пакетов.

Решение: GroupDocs.Metadata в рабочем процессе загрузки RAG

GroupDocs.Metadata располагается перед чанкером. Рабочий процесс открывает каждую загрузку, перечисляет свойства для телеметрии, вызывает sanitize(), сохраняет очищенную копию, затем снова открывает эту копию, чтобы подсчитать оставшиеся данные. Только после этого начинается встраивание. Те же три функции покрывают DOCX, PDF и JPEG, поэтому шлюз остаётся независимым от формата.

Чтобы следовать реализации ниже, вам понадобится:

  • Python 3.13 (py -3.13)
  • pip install groupdocs-metadata-net (26.9.0+)
  • Лицензия GroupDocs.Metadata для неограниченного save()
  • Примеры загрузок с оставшимися авторами или EXIF

Проверьте перед встраиванием

with Metadata(input_path) as metadata:
    info = metadata.get_document_info()
    print(f"format={info.file_type.file_format}")
    print(f"pages={info.page_count}")
    print(f"encrypted={info.is_encrypted}")

    count = 0
    for prop in metadata.find_properties(lambda p: True):
        print(f"{prop.name}={prop.value}")
        count += 1

Эта базовая линия — доказательство, которое потребует ваш аудит конфиденциальности. Запишите количество рядом с идентификатором задания.

Очистка для загрузки RAG

with Metadata(input_path) as metadata:
    removed = metadata.sanitize()
    metadata.save(output_path)
    print(removed)

sanitize() удаляет распознанные пакеты за один проход. Всегда сохраняйте в новый путь, чтобы оригинальная загрузка оставалась доступной для расследования инцидента.

Проверьте очищенную копию

with Metadata(cleaned_path) as metadata:
    remaining = 0
    for prop in metadata.find_properties(lambda p: True):
        print(f"{prop.name}={prop.value}")
        remaining += 1
    print(remaining)

Отклоняйте задание, если оставшиеся поля идентификации превышают вашу политику. Не начинайте встраивание в надежде.

Влияние на бизнес

Шлюз метаданных устраняет распространённую проблему конфиденциальности: личную и устройственную идентификацию в индексах поиска. Он также уменьшает количество специфичного для формата вспомогательного кода — один рабочий процесс обрабатывает Office, PDF и изображения. Операторы получают показатели до/после, которые они могут прикреплять к тикетам вместо скриншотов из настольных инструментов.

Дополнительные ресурсы

Заключение

Гигиена RAG — это проблема уровня файла так же, как и проблема редактирования текста. Проверяйте загрузки, очищайте с помощью GroupDocs.Metadata для Python, проверяйте очищенную копию, затем встраивайте. Клонируйте репозиторий с примером, разместите его перед вашим чанкером и удерживайте Author и GPS вне векторного хранилища.