GroupDocs.Search for .NET 26.11 هم‌اکنون در دسترس است. این نسخه جستجوهای تکراری و همزمان را بسیار سریع‌تر می‌کند، حافظه اختصاص داده شده به ایندکس‌گذاری را تا ۴.۵ برابر کاهش می‌دهد و شبکه جستجو را با احراز هویت گره‌ها ایمن می‌سازد. ایندکس‌گذاری در یک شبکه جستجو ۵ تا ۲۰ برابر سریع‌تر است و بسته NuGet GroupDocs.Search اکنون شامل بیلدهای .NET Framework 4.8، .NET 6.0، .NET 8.0 و .NET 10.0 می‌شود.

ایندکس‌های ایجاد شده توسط نسخه ۲۶.۱۰ بدون تبدیل باز می‌شوند. این انتشار شامل ۱۸ تغییر است: ۵ ویژگی جدید، ۱۲ بهبود و ۱ اصلاح.

نکات برجسته عملکرد

یادداشت‌های کامل انتشار تنظیمات آزمایشی هر شکل را توصیف می‌کنند.

مورد بهبود در ۲۶.۱۱
جستجوی تکراری عبارات منظم تا ۳۰۰ برابر سریع‌تر
جستجوی مبهم تکراری ۴ تا ۳۰ برابر سریع‌تر
جستجوهای همزمان یک ایندکس زمان میانه ۸ جستجوی همزمان از ۵.۶ میلی‌ثانیه به ۰.۱۸ میلی‌ثانیه؛ ۴ تا ۱۸٪ جستجوهای بیشتر در هر ثانیه
جستجوی مبهم با یک اشتباه ۱.۸ برابر سریع‌تر، ۴.۵ برابر سریع‌تر با ۸ رشته جستجو
جستجوی بازه تاریخی تا ۱۰ برابر سریع‌تر، تا ۵۹ برابر سریع‌تر به صورت بخش‌ها؛ بازه‌های طولانی نتایج کامل برمی‌گردانند
حافظه اختصاص داده شده به ایندکس‌گذاری تا ۴.۵ برابر کمتر
ایندکس‌گذاری با متن ذخیره‌شده سند تا ۲.۲ برابر سریع‌تر
بازیابی متن ذخیره‌شده سند ۳.۵ برابر سریع‌تر، ۱۱ برابر حافظه کمتر
ادغام ایندکس‌ها ۳.۵ برابر سریع‌تر، تقریباً ۵۰ برابر حافظه کمتر
ایندکس‌گذاری در یک شبکه جستجو ۵ تا ۲۰ برابر سریع‌تر، بخش‌های ایندکس بسیار کمتر در شاردها
ثبت ۲۰,۰۰۰ سند در گره اصلی از ۲۷.۱ ثانیه به ۰.۱۲ ثانیه، ۰.۸ مگابایت روی دیسک نوشته می‌شود به جای ۷.۶ گیگابایت
فضای دیسک یک ایندکس قابل کاهش است به هزینه سرعت بارگذاری

موارد جدید در این انتشار

کلید خلاصه دسته‌بندی
SEARCHNET-3729 پیاده‌سازی گزینه‌ای برای کاهش فضای دیسک اشغال‌شده توسط یک ایندکس به هزینه سرعت بارگذاری Feature
SEARCHNET-3730 پیاده‌سازی احراز هویت گره‌های شبکه جستجو Feature
SEARCHNET-3731 پیاده‌سازی پشتیبانی OCR برای استخراج سند در یک فرآیند جداگانه Feature
SEARCHNET-3732 پیاده‌سازی جستجو به صورت بخش‌ها در مخزن ایندکس Feature
SEARCHNET-3733 پیاده‌سازی برجسته‌سازی کلمات تولیدشده توسط تقسیم‌کننده کلمه سفارشی Feature
SEARCHNET-3734 بهینه‌سازی جستجو به صورت بخش‌ها Improvement
SEARCHNET-3735 پیاده‌سازی استخر رشته مشترک برای جستجوهای همزمان یک ایندکس Improvement
SEARCHNET-3736 پیاده‌سازی استفاده مجدد از کلمات مطابقت‌یافته در جستجوهای تکراری Improvement
SEARCHNET-3737 پیاده‌سازی اینترفیس IDisposable در کلاس Cancellation Improvement
SEARCHNET-3738 گسترش الفبای پیش‌فرض با اسکریپت‌های اضافی Improvement
SEARCHNET-3739 شتاب‌دهی جستجوی بازه تاریخی و اطمینان از نتایج کامل برای بازه‌های طولانی Improvement
SEARCHNET-3740 کاهش مصرف حافظه ایندکس‌گذاری و عملیات با متون ذخیره‌شده سند Improvement
SEARCHNET-3741 شتاب‌دهی ایندکس‌گذاری در یک شبکه جستجو با تعداد زیاد سند Improvement
SEARCHNET-3742 پیاده‌سازی ایندکس‌گذاری دسته‌ای و پردازش موازی درخواست‌های شارد در یک شبکه جستجو Improvement
SEARCHNET-3743 پیاده‌سازی الگوی dispose در کلاس‌های Index، IndexRepository، Cancellation، ExtractionHost و SearchNetworkNode Improvement
SEARCHNET-3693 پیاده‌سازی استراتژی بسته‌بندی TFM‑Split برای بسته NuGet GroupDocs.Search Improvement
SEARCHNET-3747 پیاده‌سازی بسته‌های NuGet برای .NET Framework 4.8، .NET 6.0، .NET 8.0، .NET 10.0 Improvement
SEARCHNET-3746 رفع انتظارهای نامحدود شبکه جستجو برای گره‌های از دست رفته یا غیرپاسخگو Fix

ویژگی‌های اصلی

Search

  • جستجوهای تکراری با کاراکترهای جایگزین، عبارات منظم، بازه عددی و مبهم، کلمات یافت‌شده توسط جستجوهای قبلی با همان پرس‌و‌جو را تا زمانی که ایندکس تغییر کند، مجدداً استفاده می‌کنند. کلمات نگه‌داشته‌شده تا ۸ مگابایت حافظه برای هر ایندکس مصرف می‌کنند.
  • جستجوهای همزمان یک ایندکس رشته‌های جستجوی خود (IndexSettings.SearchThreads) را به اشتراک می‌گذارند، بنابراین جستجوهای کوتاه دیگر منتظر جستجوهای طولانی نمی‌مانند.
  • جستجوی بازه تاریخی هر روز، ماه و سال را یک بار از ایندکس می‌خواند به جای جستجوی هر تاریخ به‌صورت جداگانه. بازه‌های طولانی دیگر در محدودیت وقوع قطع نمی‌شوند و بازه‌ای شامل تمام تاریخ‌های ممکن که قبلاً شکست می‌خورد، اکنون در چند ثانیه جستجو می‌شود.
  • جستجو به صورت بخش‌ها تمام این مزایا را به‌دست می‌آورد و اکنون می‌توان مخزن ایندکس را نیز به صورت بخش‌ها جستجو کرد: IndexRepository.SearchNext جستجو را ایندکس به ایندکس ادامه می‌دهد.
  • برجسته‌سازی و Index.GetDocumentText می‌توانند متن را با تقسیم‌کننده کلمه سفارشی استفاده‌شده برای ایندکس‌گذاری تقسیم کنند، به‌طوری که کلماتی که تقسیم‌کننده تولید می‌کند، برای مثال کلمات متنی بدون فاصله، نیز برجسته شوند.
  • الفبای پیش‌فرض ایندکس‌های جدید شامل حروف عبری، دواناگری، گرجی، لاتین گسترش‌یافته، یونانی و هانگول و علائم ترکیبی است. کلماتی مانند «Việt» دیگر به بخش‌ها تقسیم نمی‌شوند و کلمات کره‌ای و عبری به‌صورت کامل ایندکس و یافت می‌شوند.

Indexing and index storage

  • تنظیم جدید IndexSettings.UseFastLoading به ایندکس روی دیسک اجازه می‌دهد داده‌های اضافی که بارگذاری آن را چندین برابر سریع‌تر می‌کند، حذف شوند: ایندکس فضای دیسک کمتری می‌گیرد اما زمان بارگذاری طولانی‌تر می‌شود. این تنظیم می‌تواند در هر زمان تغییر کند، حتی برای ایندکسی که قبلاً اسناد دارد.
  • ایندکس‌گذاری تا ۴.۵ برابر حافظه کمتر برای هر سند اختصاص می‌دهد و با متن ذخیره‌شده سند، تا ۲.۲ برابر سریع‌تر اجرا می‌شود. بازیابی متن ذخیره‌شده ۳.۵ برابر سریع‌تر است با ۱۱ برابر حافظه کمتر، و ادغام ایندکس‌ها ۳.۵ برابر سریع‌تر است با تقریباً ۵۰ برابر حافظه کمتر.
  • متن تصاویر در اسناد که در یک فرآیند جداگانه استخراج می‌شوند، اکنون می‌تواند شناسایی شود: ExtractionHost.OcrConnector اتصال‌دهنده OCR فرآیند استخراج را تنظیم می‌کند. اگر شناسایی فعال باشد اما فرآیند استخراج اتصال‌دهنده OCR نداشته باشد، ایندکس این موضوع را از طریق رویداد ErrorOccurred گزارش می‌دهد.

Search network

  • گره‌ها با یک کلید مخفی مشترک (TcpSettings.NetworkKey) یکدیگر را احراز هویت می‌کنند و هر پیام امضا می‌شود: کامپیوتری بدون کلید نمی‌تواند به گره فرمان بدهد یا برای آن پاسخ دهد. کلید هرگز از طریق شبکه ارسال نمی‌شود. یک گره تابع می‌تواند آدرس‌هایی که از آن‌ها گره اصلی را می‌پذیرد محدود کند (TcpSettings.AllowedMasterAddresses).
  • ایندکس‌گذاری ۵ تا ۲۰ برابر سریع‌تر است و بخش‌های ایندکس بسیار کمتری ایجاد می‌کند: اسنادی که در حین مشغول بودن یک شارد می‌رسند، به صورت دسته‌های حداکثر ۱,۰۰۰ سند یا ۱۶ مگابایت ایندکس می‌شوند و شاردهای یک گره درخواست‌های خود را به‌صورت موازی پردازش می‌کنند.
  • ثبت اسناد ایندکس‌شده در گره اصلی دیگر با افزایش تعداد آن‌ها سرعت نمی‌گیرد و فهرست اسناد یک شارد هنگام شکست نوشتن یا کرش فرآیند به‌صورت ایمن نگه داشته می‌شود.
  • گره اصلی گره‌های از دست رفته و غیرپاسخگو را تشخیص می‌دهد: یک گره تابع هر ۵ ثانیه گزارش می‌دهد و تماس‌ها دیگر برای گره‌ای که از دست رفته است، بی‌نهایت صبر نمی‌کنند. TcpSettings.ResponseTimeout همچنین می‌تواند مدت زمان انتظار گره اصلی برای پاسخ را محدود کند.

API and packaging

  • Index، IndexRepository، Cancellation، ExtractionHost و SearchNetworkNode الگوی استاندارد dispose .NET را پیاده‌سازی می‌کنند، بنابراین کلاس‌های مشتق‌شده می‌توانند منابع خود را آزاد کنند. آزادسازی یک Cancellation زمان‌ساز یک لغو برنامه‌ریزی‌شده توسط CancelAfter را آزاد می‌کند.
  • بسته NuGet GroupDocs.Search اکنون شامل بیلدهای .NET Framework 4.8، .NET 6.0، .NET 8.0 و .NET 10.0 به‌علاوه .NET Framework 4.6.2 و .NET Standard 2.1 است و به‌صورت خودکار بیلد مناسب برای چارچوب هدف پروژه را انتخاب می‌کند.

تغییرات API عمومی

اعضای زیر اضافه شده‌اند:

  • GroupDocs.Search.IndexSettings:

    • Boolean UseFastLoading – داده‌های اضافی که باعث می‌شود یک ایندکس روی دیسک چندین برابر سریع‌تر بارگذاری شود را نگه می‌دارد. به‌صورت پیش‌فرض فعال است؛ برای صرفه‌جویی در فضای دیسک آن را به false تنظیم کنید.
  • GroupDocs.Search.Scaling.Configuring.TcpSettings:

    • String NetworkKey – کلید مخفی شبکه جستجو، حداقل ۱۶ کاراکتر طول و در تمام گره‌ها یکسان.
    • String[] AllowedMasterAddresses – آدرس‌های IPv4 یا نام‌های میزبان که از آن‌ها گره تابع اتصال گره اصلی را می‌پذیرد.
    • Int32 ResponseTimeout – زمان بر حسب میلی‌ثانیه که گره اصلی برای دریافت پاسخ یک گره به درخواست صبر می‌کند. به‌صورت پیش‌فرض بدون محدودیت.
  • GroupDocs.Search.ExtractionHost:

    • IOcrConnector OcrConnector – اتصال‌دهنده OCR فرآیند استخراج جداگانه.
  • GroupDocs.Search.IndexRepository:

    • SearchResult SearchNext(ChunkSearchToken) و SearchResult SearchNext(ChunkSearchToken, Cancellation) – ادامه جستجو به صورت بخش‌ها در یک مخزن ایندکس.
  • GroupDocs.Search.Options.TextOptions:

    • IWordSplitter WordSplitter – تقسیم‌کننده کلمه‌ای که توسط برجسته‌سازی و Index.GetDocumentText استفاده می‌شود؛ توسط HighlightOptions به ارث می‌رسد.
  • GroupDocs.Search.Common.Cancellation اکنون اینترفیس IDisposable را پیاده‌سازی می‌کند:

    • void Dispose() – زمان‌ساز یک لغو برنامه‌ریزی‌شده را آزاد می‌کند؛ لغو برنامه‌ریزی‌شده درخواست نمی‌شود.
  • Index, IndexRepository, Cancellation, ExtractionHost and SearchNetworkNode:

    • protected virtual void Dispose(Boolean disposing) – متد الگوی dispose برای کلاس‌های مشتق‌شده.

تغییرات رفتاری که ممکن است نیاز به تغییر در کد شما داشته باشند در یادداشت‌های ارتقا در زیر فهرست شده‌اند.

مثال‌های کد

جستجوی مخزن ایندکس به صورت بخش‌ها

مثال زیر دو ایندکس یک مخزن را به صورت تکه‌به‑تکه جستجو می‌کند، یک ایندکس پس از دیگری.

string indexFolder1 = @"c:\MyIndex1\"; // Specify the path to the first index folder
string indexFolder2 = @"c:\MyIndex2\"; // Specify the path to the second index folder
string documentsFolder1 = @"c:\MyDocuments1\"; // Specify the path to a folder containing documents to index
string documentsFolder2 = @"c:\MyDocuments2\"; // Specify the path to another folder containing documents to index

using (IndexRepository repository = new IndexRepository()) // Creating an index repository
{
    Index index1 = repository.Create(indexFolder1); // Creating the first index in the repository
    index1.Add(documentsFolder1); // Indexing documents from the first folder
    Index index2 = repository.Create(indexFolder2); // Creating the second index in the repository
    index2.Add(documentsFolder2); // Indexing documents from the second folder

    SearchOptions options = new SearchOptions();
    options.IsChunkSearch = true; // Enabling search by chunks

    SearchResult result = repository.Search("Einstein", options); // Getting the first chunk of the first index
    Console.WriteLine("Documents: " + result.DocumentCount);
    while (result.NextChunkSearchToken != null)
    {
        result = repository.SearchNext(result.NextChunkSearchToken); // Getting the next chunk, index by index
        Console.WriteLine("Documents: " + result.DocumentCount);
    }
}

محافظت از یک شبکه جستجو با کلید مشترک

هر گره از یک شبکه جستجو کلید مخفی یکسانی دریافت می‌کند. یک گره تابع فقط از آدرس مشخصی گره اصلی را می‌پذیرد و گره اصلی زمان انتظار برای پاسخ گره‌ها را محدود می‌کند.

string basePath = @"c:\SearchNetwork\"; // Specify the path to the folder of the search network
string networkKey = Environment.GetEnvironmentVariable("SEARCH_NETWORK_KEY"); // The same key of at least 16 characters on every node

// On the server of slave node 1: the connection of the master node is accepted from 10.0.0.5 only
TcpSettings slaveSettings = new TcpSettings(49101, 10000, 10000, 10000, 1000);
slaveSettings.NetworkKey = networkKey;
slaveSettings.AllowedMasterAddresses = new string[] { "10.0.0.5" };
SearchNetworkNode node1 = SearchNetworkNode.CreateSlaveNode(1, basePath + "Node1", slaveSettings);
node1.Start();

// On the server of the master node (10.0.0.5): the responses of the nodes are awaited no longer than 10 minutes
Configuration configuration = Configuration.Load(basePath + "Configuration.xml"); // Loading the search network configuration
TcpSettings masterSettings = new TcpSettings(49100, 10000, 10000, 10000, 1000);
masterSettings.NetworkKey = networkKey;
masterSettings.ResponseTimeout = 600000;
SearchNetworkNode node0 = SearchNetworkNode.CreateMasterNode(
    0, basePath + "Node0", masterSettings, new FileLogger(basePath + "Log.txt", 4.0), configuration);
node0.ConfigureAllNodes();
node0.Start();

کاهش فضای دیسک یک ایندکس

مثال زیر یک ایندکس ایجاد می‌کند که فضای دیسک کمتری می‌گیرد و سپس آن را دوباره برای بارگذاری سریع تنظیم می‌کند.

string indexFolder = @"c:\MyIndex\"; // Specify the path to the index folder
string documentsFolder = @"c:\MyDocuments\"; // Specify the path to a folder containing documents to index

IndexSettings settings = new IndexSettings();
settings.UseFastLoading = false; // The index takes less disk space but loads longer
using (Index index = new Index(indexFolder, settings, true)) // Creating an index with the settings
{
    index.Add(documentsFolder); // Indexing documents from the specified folder
}

using (Index index = new Index(indexFolder)) // Opening the existing index
{
    index.IndexSettings.UseFastLoading = true; // The data is created the next time the index is loaded
}

نکات ارتقا

در هنگام ارتقا از نسخه قبلی، تغییرات زیر را در نظر بگیرید:

  • ایندکس‌های تغییر یافته توسط نسخه ۲۶.۱۱ نمی‌توانند توسط نسخه‌های قبلی باز شوند. نسخه ۲۶.۱۱ ایندکس‌های نسخه ۲۶.۱۰ را بدون تبدیل باز می‌کند، اما به محض اینکه ایندکسی را ایجاد یا تغییر دهد (از طریق ایندکس‌گذاری، حذف اسناد، بهینه‌سازی یا تغییر تنظیمات) نسخه‌های قبلی دیگر نمی‌توانند آن را باز کنند. تمام برنامه‌هایی که یک پوشه ایندکس را به‌اشتراک می‌گذارند باید همزمان ارتقا یابند، از جمله گره‌های یک شبکه جستجو.
  • پروژه‌های .NET Framework باید از بسته GroupDocs.Search استفاده کنند. GroupDocs.Search.NETFramework را با GroupDocs.Search جایگزین کنید؛ این بسته اکنون بیلدهای .NET Framework 4.6.2 و 4.8 را شامل می‌شود و به‌صورت خودکار بیلد مناسب را انتخاب می‌کند. نسخه ۲۶.۱۱ برای GroupDocs.Search.NETFramework وجود ندارد.
  • تمام گره‌های یک شبکه جستجو باید همزمان ارتقا یابند. گره‌های نسخه‌های ۲۶.۱۰ و ۲۶.۱۱ به‌هم متصل نمی‌شوند. برای محافظت از شبکه، همان TcpSettings.NetworkKey را بر روی همه گره‌ها تنظیم کنید: گره‌هایی با کلیدهای متفاوت، یا گره‌ای با کلید و گره‌ای بدون کلید، به‌هم متصل نمی‌شوند و هر دو دلیل را در لاگ‌های خود می‌نویسند. گره‌ای بدون کلید همانند قبل کار می‌کند و هشدار را در لاگ خود می‌نویسد.
  • پیام‌های یک شبکه جستجو امضا می‌شوند اما رمزگذاری نمی‌شوند. گره‌ها را در یک شبکه مورد اعتماد نگه دارید یا از طریق یک تونل رمزگذاری‌شده به‌هم متصل کنید.
  • گره‌های از دست رفته شناسایی می‌شوند. گره‌ای که به‌مدت ۱۵ ثانیه هیچ داده‌ای ارسال نمی‌کند (مثلاً فرآیندی که در دیباگر متوقف شده) به‌عنوان گره از دست رفته در نظر گرفته می‌شود: تماس‌هایی که منتظر آن هستند SearchException پرتاب می‌کنند و اسناد آن به گره‌های دیگر ارسال یا از طریق رویداد ErrorOccurred گزارش می‌شود. به‌صورت پیش‌فرض گره اصلی بدون محدودیت برای پاسخ‌ها صبر می‌کند؛ برای محدود کردن زمان صبر TcpSettings.ResponseTimeout را تنظیم کنید.
  • IndexSettings.SearchThreads توسط تمام جستجوهای یک ایندکس به‌اشتراک گذاشته می‌شود. یک جستجو همان تعداد رشته قبلی را استفاده می‌کند، اما K جستجوی همزمان اکنون بر روی حداکثر(K, SearchThreads) رشته اجرا می‌شوند نه K × SearchThreads.
  • فقط ایندکس‌های جدید الفبای گسترش‌یافته را دریافت می‌کنند. ایندکس‌های نسخه‌های قبلی، از جمله آن‌هایی که توسط IndexUpdater به‌روز شده‌اند، کلمات این اسکریپت‌ها را همانند قبل تقسیم می‌کنند و Index.Merge از ادغام یک ایندکس جدید با یک ایندکس قدیمی جلوگیری می‌کند. برای ادغام آن‌ها، Alphabet و TokenizationDictionary ایندکس قدیمی را با ExportDictionary استخراج کنید و قبل از افزودن اسناد با Clear و ImportDictionary به ایندکس جدید وارد کنید.
  • محدودیت‌های وقوع، بخش‌های تاریخ را یک‌بار می‌شمارند. SearchOptions.MaxTotalOccurrenceCount و MaxOccurrenceCountPerTerm هر وقوع یک روز، ماه یا سال را یک‌بار در هر جستجو یا هر بخش می‌شمارند، نه برای هر تاریخ در بازه. بازه تاریخی که قبلاً به محدودیت رسیده بود، اکنون می‌تواند تمام تاریخ‌های خود را پیدا کند.
  • جستجو به صورت بخش‌ها در یک مخزن ایندکس به‌صورت ایندکس به ایندکس پیش می‌رود. IndexRepository.Search با IsChunkSearch اولین بخش اولین ایندکس را برمی‌گرداند. با IndexRepository.SearchNext ادامه دهید تا زمانی که SearchResult.NextChunkSearchToken مقدار null نداشته باشد، یا بدون بخش‌ها جستجو کنید تا تمام اسناد در یک نتیجه بازگردند.
  • OCR در یک فرآیند استخراج جداگانه از ExtractionHost.OcrConnector استفاده می‌کند. اتصال‌دهنده را در برنامه فرآیند استخراج تنظیم کنید و آن برنامه را با همان نسخه GroupDocs.Search که برنامه اصلی استفاده می‌کند، بسازید. اتصال‌دهنده OCR گزینه‌های ایندکس‌گذاری در اینجا استفاده نمی‌شود.
  • پیشرفت ایندکس‌گذاری شبکه به‌ازای هر پاسخ شارد گزارش می‌شود. NodeEventHub.IndexingProgressChanged برای هر پاسخ شارد یک بار رخ می‌دهد؛ یک پاسخ ممکن است چند سند را گزارش کند، بنابراین ProcessedDocuments می‌تواند بیش از یک مقدار افزایش یابد.

نحوه دریافت به‌روزرسانی

NuGet

  • NuGet – آخرین بسته را نصب کنید. این بسته در پروژه‌های .NET و .NET Framework کار می‌کند و به‌صورت خودکار بیلد مناسب برای چارچوب هدف پروژه را انتخاب می‌کند: .NET Framework 4.6.2 یا 4.8، .NET Standard 2.1، .NET 6.0، .NET 8.0 یا .NET 10.0.
# Package Manager
NuGet\Install-Package GroupDocs.Search -Version 26.11.0

# .NET CLI
dotnet add package GroupDocs.Search --version 26.11.0

Direct download

منابع