GroupDocs.Search for .NET 26.11 теперь доступен. Этот релиз делает повторные и одновременные поиски гораздо быстрее, уменьшает память, выделяемую при индексации, до 4,5 раз, и обеспечивает безопасность поисковой сети с аутентификацией узлов. Индексация в поисковой сети в 5–20 раз быстрее, а пакет GroupDocs.Search NuGet теперь включает сборки для .NET Framework 4.8, .NET 6.0, .NET 8.0 и .NET 10.0.

Индексы, созданные в версии 26.10, открываются без конвертации. Релиз содержит 18 изменений: 5 новых функций, 12 улучшений и 1 исправление.

Основные показатели производительности

Полные примечания к релизу описывают тестовую конфигурацию каждой иллюстрации.

Что Улучшение в 26.11
Повторный поиск по регулярному выражению До 300 раз быстрее
Повторный нечеткий поиск От 4 до 30 раз быстрее
Одновременные поиски в индексе Медианное время 8 одновременных поисков от 5,6 мс до 0,18 мс; на 4–18 % больше поисков в секунду
Нечеткий поиск с одной ошибкой В 1,8 раза быстрее, в 4,5 раза быстрее при 8 поисковых потоках
Поиск по диапазону дат До 10 раз быстрее, до 59 раз быстрее по чанкам; длинные диапазоны возвращают полные результаты
Память, выделяемая при индексации До 4,5 раз меньше
Индексация с сохраненным текстом документа До 2,2 раз быстрее
Получение сохраненного текста документа В 3,5 раза быстрее, в 11 раз меньше памяти
Слияние индексов В 3,5 раза быстрее, почти в 50 раз меньше памяти
Индексация в поисковой сети От 5 до 20 раз быстрее, значительно меньше сегментов индекса в шардах
Регистрация 20 000 документов на главном узле С 27,1 с до 0,12 с, записано 0,8 МБ на диск вместо 7,6 ГБ
Дисковое пространство индекса Можно уменьшить за счет скорости загрузки

Что нового в этом релизе

Ключ Краткое описание Категория
SEARCHNET-3729 Реализовать опцию уменьшения дискового пространства, занимаемого индексом, за счёт скорости загрузки Функция
SEARCHNET-3730 Реализовать аутентификацию узлов поисковой сети Функция
SEARCHNET-3731 Реализовать поддержку OCR для извлечения документов в отдельном процессе Функция
SEARCHNET-3732 Реализовать поиск по чанкам в репозитории индексов Функция
SEARCHNET-3733 Реализовать подсветку слов, полученных пользовательским разделителем слов Функция
SEARCHNET-3734 Оптимизировать поиск по чанкам Улучшение
SEARCHNET-3735 Реализовать общий пул потоков для одновременных поисков в индексе Улучшение
SEARCHNET-3736 Реализовать повторное использование найденных слов в повторных поисках Улучшение
SEARCHNET-3737 Реализовать интерфейс IDisposable в классе Cancellation Улучшение
SEARCHNET-3738 Расширить алфавит по умолчанию дополнительными скриптами Улучшение
SEARCHNET-3739 Ускорить поиск по диапазону дат и обеспечить полные результаты для длинных диапазонов дат Улучшение
SEARCHNET-3740 Сократить потребление памяти при индексации и при операциях с сохранёнными текстами документов Улучшение
SEARCHNET-3741 Ускорить индексацию в поисковой сети с большим количеством документов Улучшение
SEARCHNET-3742 Реализовать пакетную индексацию и параллельную обработку запросов шарда в поисковой сети Улучшение
SEARCHNET-3743 Реализовать паттерн освобождения ресурсов в классах Index, IndexRepository, Cancellation, ExtractionHost и SearchNetworkNode Улучшение
SEARCHNET-3693 Реализовать стратегию упаковки TFM-Split для пакета GroupDocs.Search NuGet Улучшение
SEARCHNET-3747 Создать пакеты NuGet для .NET Framework 4.8, .NET 6.0, .NET 8.0, .NET 10.0 Улучшение
SEARCHNET-3746 Исправлены бесконечные ожидания в поисковой сети для потерянных или неотвечающих узлов Исправление

Основные функции

Поиск

  • Повторные поиски с подстановочными знаками, регулярными выражениями, числовыми диапазонами и нечеткие поиски повторно используют слова, найденные более ранними поисками с тем же запросом, пока индекс не изменится. Сохранённые слова занимают до 8 МБ памяти на индекс.
  • Одновременные поиски в индексе используют общие поисковые потоки (IndexSettings.SearchThreads), поэтому короткие поиски больше не ждут завершения длительных.
  • Поиск по диапазону дат считывает каждый день, месяц и год из индекса один раз, вместо поиска каждой даты диапазона отдельно. Длинные диапазоны больше не обрезаются ограничением количества вхождений, и диапазон всех возможных дат, который ранее не работал, теперь ищется за секунды.
  • Поиск по чанкам получает все эти преимущества, и репозиторий индексов теперь также может искать по чанкам: IndexRepository.SearchNext продолжает поиск индекс за индексом.
  • Подсветка и Index.GetDocumentText могут разбивать текст с помощью пользовательского разделителя слов, используемого при индексации, поэтому слова, которые генерирует разделитель, например слова в тексте без пробелов, также подсвечиваются.
  • Алфавит по умолчанию новых индексов включает иврит, деванагари, грузинский, расширенный латинский, греческие и хангыль буквы и комбинирующие диакритические знаки. Слова, такие как “Việt”, больше не разбиваются на части, а корейские и ивритские слова индексируются и находятся целыми.

Индексация и хранение индекса

  • Новая настройка IndexSettings.UseFastLoading позволяет индексу на диске избавиться от дополнительных данных, которые делают его загрузку в несколько раз быстрее: индекс занимает меньше места на диске, но загружается дольше. Настройку можно менять в любой момент, также для индекса, уже содержащего документы.
  • Индексация выделяет до 4,5 раз меньше памяти на документ и, при сохранённом тексте документа, работает до 2,2 раз быстрее. Получение сохранённого текста в 3,5 раза быстрее при в 11 раз меньшем потреблении памяти, а слияние индексов в 3,5 раза быстрее при почти в 50 раз меньшем потреблении памяти.
  • Текст изображений в документах, извлечённый в отдельном процессе, теперь может быть распознан: ExtractionHost.OcrConnector задаёт OCR‑коннектор процесса извлечения. Если распознавание включено, но у процесса извлечения нет OCR‑коннектора, индекс сообщает об этом через событие ErrorOccurred.

Поисковая сеть

  • Узлы аутентифицируют друг друга с помощью общего секретного ключа (TcpSettings.NetworkKey), и каждое сообщение подписывается: компьютер без ключа не может ни отдавать команды узлу, ни отвечать за него. Ключ никогда не передаётся по сети. Подчинённый узел также может ограничить адреса, с которых принимает главный узел (TcpSettings.AllowedMasterAddresses).
  • Индексация в 5–20 раз быстрее и создаёт гораздо меньше сегментов индекса: документы, поступающие, пока шард занят, индексируются пакетами до 1 000 документов или 16 МБ, а шарды узла обрабатывают запросы параллельно.
  • Регистрация проиндексированных документов на главном узле больше не замедляется по мере их роста, и список документов шарда сохраняется безопасно при ошибке записи или сбое процесса.
  • Главный узел обнаруживает потерянные и неотвечающие узлы: подчинённый узел отчитывается каждые 5 секунд, и вызовы больше не ждут бесконечно узел, который исчез. TcpSettings.ResponseTimeout также может ограничивать время ожидания ответа главным узлом.

API и упаковка

  • Index, IndexRepository, Cancellation, ExtractionHost и SearchNetworkNode реализуют стандартный паттерн освобождения ресурсов .NET, поэтому производные классы могут освобождать свои собственные ресурсы. Удаление Cancellation освобождает таймер отмены, запланированной через CancelAfter.
  • Пакет GroupDocs.Search NuGet теперь включает сборки для .NET Framework 4.8, .NET 6.0, .NET 8.0 и .NET 10.0 в дополнение к .NET Framework 4.6.2 и .NET Standard 2.1, и автоматически выбирает сборку для целевой платформы проекта.

Изменения публичного API

Были добавлены следующие члены:

  • GroupDocs.Search.IndexSettings:
    • Boolean UseFastLoading – сохраняет дополнительные данные, которые делают загрузку индекса с диска в несколько раз быстрее. Включено по умолчанию; установите false, чтобы сэкономить дисковое пространство.
  • GroupDocs.Search.Scaling.Configuring.TcpSettings:
    • String NetworkKey – секретный ключ поисковой сети, длиной не менее 16 символов и одинаковый на всех узлах.
    • String[] AllowedMasterAddresses – IPv4‑адреса или имена хостов, с которых подчинённый узел принимает соединение главного узла.
    • Int32 ResponseTimeout – время в миллисекундах, которое главный узел ждёт ответ от узла на запрос. По умолчанию без ограничения.
  • GroupDocs.Search.ExtractionHost:
    • IOcrConnector OcrConnector – OCR‑коннектор отдельного процесса извлечения.
  • GroupDocs.Search.IndexRepository:
    • SearchResult SearchNext(ChunkSearchToken) и SearchResult SearchNext(ChunkSearchToken, Cancellation) – продолжают поиск по чанкам в репозитории индексов.
  • GroupDocs.Search.Options.TextOptions:
    • IWordSplitter WordSplitter – разделитель слов, используемый для подсветки и Index.GetDocumentText; наследуется в HighlightOptions.
  • GroupDocs.Search.Common.Cancellation now implements IDisposable:
    • void Dispose() – освобождает таймер запланированной отмены; запланированная отмена не запрашивается.
  • Index, IndexRepository, Cancellation, ExtractionHost and SearchNetworkNode:
    • protected virtual void Dispose(Boolean disposing) – метод паттерна освобождения ресурсов для производных классов.

Изменения поведения, которые могут потребовать изменений в вашем коде, перечислены в примечаниях к обновлению ниже.

Примеры кода

Поиск в репозитории индексов по чанкам

В следующем примере производится поиск по двум индексам репозитория кусок за куском, один индекс за другим.

string indexFolder1 = @"c:\MyIndex1\"; // Specify the path to the first index folder
string indexFolder2 = @"c:\MyIndex2\"; // Specify the path to the second index folder
string documentsFolder1 = @"c:\MyDocuments1\"; // Specify the path to a folder containing documents to index
string documentsFolder2 = @"c:\MyDocuments2\"; // Specify the path to another folder containing documents to index

using (IndexRepository repository = new IndexRepository()) // Creating an index repository
{
    Index index1 = repository.Create(indexFolder1); // Creating the first index in the repository
    index1.Add(documentsFolder1); // Indexing documents from the first folder
    Index index2 = repository.Create(indexFolder2); // Creating the second index in the repository
    index2.Add(documentsFolder2); // Indexing documents from the second folder

    SearchOptions options = new SearchOptions();
    options.IsChunkSearch = true; // Enabling search by chunks

    SearchResult result = repository.Search("Einstein", options); // Getting the first chunk of the first index
    Console.WriteLine("Documents: " + result.DocumentCount);
    while (result.NextChunkSearchToken != null)
    {
        result = repository.SearchNext(result.NextChunkSearchToken); // Getting the next chunk, index by index
        Console.WriteLine("Documents: " + result.DocumentCount);
    }
}

Защита поисковой сети общим ключом

Каждый узел поисковой сети получает один и тот же секретный ключ. Подчинённый узел принимает главный узел только с его адреса, а главный узел ограничивает время ожидания ответов от узлов.

string basePath = @"c:\SearchNetwork\"; // Specify the path to the folder of the search network
string networkKey = Environment.GetEnvironmentVariable("SEARCH_NETWORK_KEY"); // The same key of at least 16 characters on every node

// On the server of slave node 1: the connection of the master node is accepted from 10.0.0.5 only
TcpSettings slaveSettings = new TcpSettings(49101, 10000, 10000, 10000, 1000);
slaveSettings.NetworkKey = networkKey;
slaveSettings.AllowedMasterAddresses = new string[] { "10.0.0.5" };
SearchNetworkNode node1 = SearchNetworkNode.CreateSlaveNode(1, basePath + "Node1", slaveSettings);
node1.Start();

// On the server of the master node (10.0.0.5): the responses of the nodes are awaited no longer than 10 minutes
Configuration configuration = Configuration.Load(basePath + "Configuration.xml"); // Loading the search network configuration
TcpSettings masterSettings = new TcpSettings(49100, 10000, 10000, 10000, 1000);
masterSettings.NetworkKey = networkKey;
masterSettings.ResponseTimeout = 600000;
SearchNetworkNode node0 = SearchNetworkNode.CreateMasterNode(
    0, basePath + "Node0", masterSettings, new FileLogger(basePath + "Log.txt", 4.0), configuration);
node0.ConfigureAllNodes();
node0.Start();

Уменьшение дискового пространства индекса

В следующем примере создаётся индекс, который занимает меньше места на диске, а затем снова ускоряется его загрузка.

string indexFolder = @"c:\MyIndex\"; // Specify the path to the index folder
string documentsFolder = @"c:\MyDocuments\"; // Specify the path to a folder containing documents to index

IndexSettings settings = new IndexSettings();
settings.UseFastLoading = false; // The index takes less disk space but loads longer
using (Index index = new Index(indexFolder, settings, true)) // Creating an index with the settings
{
    index.Add(documentsFolder); // Indexing documents from the specified folder
}

using (Index index = new Index(indexFolder)) // Opening the existing index
{
    index.IndexSettings.UseFastLoading = true; // The data is created the next time the index is loaded
}

Примечания к обновлению

Учтите следующие изменения при обновлении с предыдущей версии:

  • Индексы, изменённые в версии 26.11, нельзя открыть в более ранних версиях. Версия 26.11 открывает индексы версии 26.10 без конвертации, но как только она создаёт или изменяет индекс (путём индексации, удаления документов, оптимизации или изменения настроек), более ранние версии больше не могут его открыть. Обновите все приложения, использующие одну папку индекса одновременно, включая узлы поисковой сети.
  • Проекты .NET Framework используют пакет GroupDocs.Search. Замените GroupDocs.Search.NETFramework на GroupDocs.Search, который теперь включает сборки .NET Framework 4.6.2 и 4.8 и автоматически выбирает нужную сборку. Версии 26.11 пакета GroupDocs.Search.NETFramework не существует.
  • Все узлы поисковой сети обновляются одновременно. Узлы версий 26.10 и 26.11 не соединяются. Чтобы защитить сеть, задайте одинаковый TcpSettings.NetworkKey на каждом узле: узлы с разными ключами, или узел с ключом и узел без него, не соединяются и оба записывают причину в свои журналы. Узел без ключа работает как прежде и пишет предупреждение в журнал.
  • Сообщения поисковой сети подписываются, но не шифруются. Держите узлы в доверенной сети или соединяйте их через зашифрованный туннель.
  • Потерянные узлы обнаруживаются. Узел, который ничего не отправляет в течение 15 секунд, например процесс, приостановленный в отладчике, считается потерянным: вызовы, ожидающие его, бросают SearchException, а его документы отправляются другим узлам или сообщаются через событие ErrorOccurred. По умолчанию главный узел ждёт ответы без ограничения; задайте TcpSettings.ResponseTimeout, чтобы ограничить ожидание.
  • IndexSettings.SearchThreads используется всеми поисками в индексе. Один поиск использует столько же потоков, как и раньше, но K одновременных поисков теперь работают на max(K, SearchThreads) потоках вместо K × SearchThreads.
  • Только новые индексы получают расширенный алфавит. Индексы более ранних версий, включая обновлённые с помощью IndexUpdater, продолжают разбивать слова этих скриптов как прежде, и Index.Merge отказывается объединять новый индекс со старым. Чтобы объединить их, экспортируйте Alphabet и TokenizationDictionary старого индекса с помощью ExportDictionary и импортируйте их в новый индекс с помощью Clear и ImportDictionary перед добавлением документов.
  • Ограничения количества вхождений учитывают части дат один раз. SearchOptions.MaxTotalOccurrenceCount и MaxOccurrenceCountPerTerm считают каждое вхождение дня, месяца или года один раз за поиск, или один раз за чанк, вместо того, чтобы считать каждую дату диапазона. Диапазон дат, который ранее достигал ограничения, теперь может находить все свои даты.
  • Поиск по чанкам в репозитории индексов проходит индекс за индексом. IndexRepository.Search с IsChunkSearch возвращает первый чанк первого индекса. Продолжайте с IndexRepository.SearchNext, пока SearchResult.NextChunkSearchToken не равен null, или ищите без чанков, чтобы получить все документы в одном результате.
  • OCR в отдельном процессе извлечения использует ExtractionHost.OcrConnector. Установите коннектор в программе процесса извлечения и соберите эту программу с той же версией GroupDocs.Search, что и приложение. OCR‑коннектор параметров индексации там не используется.
  • Прогресс сетевой индексации сообщается по каждому ответу шарда. NodeEventHub.IndexingProgressChanged происходит один раз для каждого ответа шарда, который может содержать несколько документов, поэтому ProcessedDocuments может увеличиваться более чем на один.

Как получить обновление

NuGet

  • NuGet – Установите последнюю версию пакета. Он работает в проектах .NET и .NET Framework и автоматически выбирает сборку для целевой платформы: .NET Framework 4.6.2 или 4.8, .NET Standard 2.1, .NET 6.0, .NET 8.0 или .NET 10.0.
# Package Manager
NuGet\Install-Package GroupDocs.Search -Version 26.11.0

# .NET CLI
dotnet add package GroupDocs.Search --version 26.11.0

Прямая загрузка

Ресурсы