Повний робочий приклад доступний на GitHub:
sanitize-rag-ingest-files-python
Виклик AI платформи: чому під час RAG ingest витікає метадані
Команди AI платформи та MLOps щотижня підключають папки з завантаженнями до чанкерів та завдань вбудовування. Тіло тексту — це те, що продукт хоче робити пошуковим. Файл все ще містить автора у DOCX, Info та XMP у PDF, а також GPS EXIF у фотографіях з телефону. Після того, як ці поля потрапляють у векторне сховище або сліди інструментів, вони з’являються у відповідях та експорті аудиту довго після того, як оригінальне завантаження зникло.
Коли щотижневий обсяг ingest підскакує з кількох сотень файлів до десятків тисяч, настільні очистки та випадкові скрипти перестають бути процесом. Команди або пропускають гігієну, вигадують крихкі форматно-специфічні стрічки, або виявляють витік під час перегляду конфіденційності.
Що потрібно командам платформи — це єдиний шлюз, який перевіряє змішані завантаження, видаляє розпізнані пакети метаданих і доводить, що очищена копія спокійніша перед початком чанкінгу — без створення окремого очистника для кожного формату.
Огляд індустрії: Підходи до RAG, орієнтовані на конфіденційність, розглядають EXIF на рівні файлу та ідентифікацію Office як першокласний крок передобробки, а не як післядуму поруч з редагуванням NLP.
Чому загальні очистки не працюють тут
Конвеєри завантаження не є вкладками браузера. Команди зазвичай пробують один із цих варіантів перед шлюзом SDK:
- Ручні настільні очистки: Не працюють, коли ingest автоматизований і безголовий.
- Скрипти Pillow / лише EXIF: Пропускають авторів Office та PDF XMP під час одного проходу по папці.
- Редагування Info на рівні байтів: Ламаються на стиснутих потоках PDF і ніколи не бачать пакети XMP.
GroupDocs.Metadata для Python через .NET заповнює цю прогалину одним API для Office, PDF та зображень, включаючи sanitize() для повного стирання пакету.
Рішення: GroupDocs.Metadata у робочому процесі RAG ingest
GroupDocs.Metadata розташовується перед чанкером. Робітник відкриває кожне завантаження, перераховує властивості для телеметрії, викликає sanitize(), зберігає очищену копію, а потім знову відкриває цю копію, щоб підрахувати, що залишилося. Лише після цього починається вбудовування. Ті ж три функції охоплюють DOCX, PDF та JPEG, тому шлюз залишається незалежним від формату.
Щоб слідувати наведеній нижче реалізації, вам знадобиться:
- Python 3.13 (
py -3.13) pip install groupdocs-metadata-net(26.9.0+)- Ліцензія GroupDocs.Metadata для необмеженого
save() - Приклади завантажень з авторами або EXIF, що ще присутні
Перевірте перед вбудовуванням
with Metadata(input_path) as metadata:
info = metadata.get_document_info()
print(f"format={info.file_type.file_format}")
print(f"pages={info.page_count}")
print(f"encrypted={info.is_encrypted}")
count = 0
for prop in metadata.find_properties(lambda p: True):
print(f"{prop.name}={prop.value}")
count += 1
Ця базова лінія — це доказ, який ваш перегляд конфіденційності вимагатиме. Запишіть кількість поруч з ідентифікатором завдання.
Очищення для RAG ingest
with Metadata(input_path) as metadata:
removed = metadata.sanitize()
metadata.save(output_path)
print(removed)
sanitize() очищає розпізнані пакети за один прохід. Завжди записуйте у новий шлях, щоб оригінальне завантаження залишалося доступним для перегляду інциденту.
Перевірте очищену копію
with Metadata(cleaned_path) as metadata:
remaining = 0
for prop in metadata.find_properties(lambda p: True):
print(f"{prop.name}={prop.value}")
remaining += 1
print(remaining)
Завершуйте завдання з помилкою, коли залишкові поля ідентифікації перевищують вашу політику. Не починайте вбудовування в надії.
Бізнес-ефект
Шлюз метаданих усуває поширене виявлення конфіденційності: особисту та пристроєву ідентифікацію в індексах пошуку. Він також зменшує форматно-специфічний допоміжний код — один робітник обробляє Office, PDF та зображення. Оператори отримують підрахунки до/після, які можна прикріпити до заявок замість скріншотів з настільних інструментів.
Додаткові ресурси
- Технічний поглиблений огляд: 3 архітектури шлюзу метаданих для RAG ingest
- Зразок GitHub: sanitize-rag-ingest-files-python
- Очищення метаданих за допомогою sanitize() — GroupDocs.Metadata для Python
- Інтеграція агентів та LLM — GroupDocs.Metadata для Python
Висновок
Гігієна RAG — це проблема рівня файлу так само, як і проблема редагування тексту. Перевіряйте завантаження, очищайте за допомогою GroupDocs.Metadata для Python, перевіряйте очищену копію, а потім вбудовуйте. Клонуйте репозиторій з прикладом, розмістіть його перед вашим чанкером і тримайте Author та GPS поза векторним сховищем.