Повний робочий приклад доступний на GitHub:
sanitize-rag-ingest-files-python

Виклик AI платформи: чому під час RAG ingest витікає метадані

Команди AI платформи та MLOps щотижня підключають папки з завантаженнями до чанкерів та завдань вбудовування. Тіло тексту — це те, що продукт хоче робити пошуковим. Файл все ще містить автора у DOCX, Info та XMP у PDF, а також GPS EXIF у фотографіях з телефону. Після того, як ці поля потрапляють у векторне сховище або сліди інструментів, вони з’являються у відповідях та експорті аудиту довго після того, як оригінальне завантаження зникло.

Коли щотижневий обсяг ingest підскакує з кількох сотень файлів до десятків тисяч, настільні очистки та випадкові скрипти перестають бути процесом. Команди або пропускають гігієну, вигадують крихкі форматно-специфічні стрічки, або виявляють витік під час перегляду конфіденційності.

Що потрібно командам платформи — це єдиний шлюз, який перевіряє змішані завантаження, видаляє розпізнані пакети метаданих і доводить, що очищена копія спокійніша перед початком чанкінгу — без створення окремого очистника для кожного формату.

Огляд індустрії: Підходи до RAG, орієнтовані на конфіденційність, розглядають EXIF на рівні файлу та ідентифікацію Office як першокласний крок передобробки, а не як післядуму поруч з редагуванням NLP.

Чому загальні очистки не працюють тут

Конвеєри завантаження не є вкладками браузера. Команди зазвичай пробують один із цих варіантів перед шлюзом SDK:

  • Ручні настільні очистки: Не працюють, коли ingest автоматизований і безголовий.
  • Скрипти Pillow / лише EXIF: Пропускають авторів Office та PDF XMP під час одного проходу по папці.
  • Редагування Info на рівні байтів: Ламаються на стиснутих потоках PDF і ніколи не бачать пакети XMP.

GroupDocs.Metadata для Python через .NET заповнює цю прогалину одним API для Office, PDF та зображень, включаючи sanitize() для повного стирання пакету.

Рішення: GroupDocs.Metadata у робочому процесі RAG ingest

GroupDocs.Metadata розташовується перед чанкером. Робітник відкриває кожне завантаження, перераховує властивості для телеметрії, викликає sanitize(), зберігає очищену копію, а потім знову відкриває цю копію, щоб підрахувати, що залишилося. Лише після цього починається вбудовування. Ті ж три функції охоплюють DOCX, PDF та JPEG, тому шлюз залишається незалежним від формату.

Щоб слідувати наведеній нижче реалізації, вам знадобиться:

  • Python 3.13 (py -3.13)
  • pip install groupdocs-metadata-net (26.9.0+)
  • Ліцензія GroupDocs.Metadata для необмеженого save()
  • Приклади завантажень з авторами або EXIF, що ще присутні

Перевірте перед вбудовуванням

with Metadata(input_path) as metadata:
    info = metadata.get_document_info()
    print(f"format={info.file_type.file_format}")
    print(f"pages={info.page_count}")
    print(f"encrypted={info.is_encrypted}")

    count = 0
    for prop in metadata.find_properties(lambda p: True):
        print(f"{prop.name}={prop.value}")
        count += 1

Ця базова лінія — це доказ, який ваш перегляд конфіденційності вимагатиме. Запишіть кількість поруч з ідентифікатором завдання.

Очищення для RAG ingest

with Metadata(input_path) as metadata:
    removed = metadata.sanitize()
    metadata.save(output_path)
    print(removed)

sanitize() очищає розпізнані пакети за один прохід. Завжди записуйте у новий шлях, щоб оригінальне завантаження залишалося доступним для перегляду інциденту.

Перевірте очищену копію

with Metadata(cleaned_path) as metadata:
    remaining = 0
    for prop in metadata.find_properties(lambda p: True):
        print(f"{prop.name}={prop.value}")
        remaining += 1
    print(remaining)

Завершуйте завдання з помилкою, коли залишкові поля ідентифікації перевищують вашу політику. Не починайте вбудовування в надії.

Бізнес-ефект

Шлюз метаданих усуває поширене виявлення конфіденційності: особисту та пристроєву ідентифікацію в індексах пошуку. Він також зменшує форматно-специфічний допоміжний код — один робітник обробляє Office, PDF та зображення. Оператори отримують підрахунки до/після, які можна прикріпити до заявок замість скріншотів з настільних інструментів.

Додаткові ресурси

Висновок

Гігієна RAG — це проблема рівня файлу так само, як і проблема редагування тексту. Перевіряйте завантаження, очищайте за допомогою GroupDocs.Metadata для Python, перевіряйте очищену копію, а потім вбудовуйте. Клонуйте репозиторій з прикладом, розмістіть його перед вашим чанкером і тримайте Author та GPS поза векторним сховищем.