إدارة مجموعة Python Milvus

صنف الCollection في Milvus مشابه لجدول في MySQL، يُستخدم لتنظيم البيانات ويتألف من قسم واحد أو أكثر.

إنشاء Collection

يتألف الCollection من قسم واحد أو أكثر. عند إنشاء Collection جديد، ستقوم Milvus بإنشاء قسم افتراضي يحمل اسم _default. لمزيد من المعلومات، يُرجى الرجوع إلى شرح المصطلحات - المتعلقة بالCollections.

المثال التالي سيقوم بإنشاء Collection بأسم book مع قسمين، بما في ذلك حقل مفتاح رئيسي بأسم book_id، حقل نوعه INT64 بأسم word_count، وحقل نصي ثنائي الأبعاد من نوع النقطة العائمة بأسم book_intro. تستخدم التطبيقات الفعلية في كثير من الأحيان نواتج ذات أبعاد أكبر من هذا المثال.

وضع الاستعداد

الوضع مشابه لتعريف هيكل جدول MYSQL.

يجب أن تحتوي المجموعة التي سيتم إنشاؤها على حقل مفتاح أساسي وحقل ناقل. يدعم حقل المفتاح الأساسي أنواع البيانات INT64 و VarChar.

أولاً، قم بإعداد المعلمات اللازمة، بما في ذلك هيكل الحقل، وهيكل المجموعة، واسم المجموعة.

قبل تحديد هيكل المجموعة، قم بإنشاء هيكل لكل حقل في المجموعة. لتقليل تعقيد إدراج البيانات، يسمح Milvus لك بتحديد قيمة افتراضية لكل حقل من الحقول العلمية (باستثناء حقل المفتاح الرئيسي). وهذا يعني أنه إذا تركت حقلًا فارغًا عند إدراج البيانات، سيتم استخدام القيمة الافتراضية المكونة أثناء إنشاء هيكل الحقل.

from pymilvus import CollectionSchema, FieldSchema, DataType
book_id = FieldSchema(
  name="book_id",
  dtype=DataType.INT64,
  is_primary=True,
)
book_name = FieldSchema(
  name="book_name",
  dtype=DataType.VARCHAR,
  max_length=200,
  default_value="Unknown"  # القيمة الافتراضية هي "Unknown"
)
word_count = FieldSchema(
  name="word_count",
  dtype=DataType.INT64,
  default_value=9999  # القيمة الافتراضية هي 9999
)
book_intro = FieldSchema(
  name="book_intro",
  dtype=DataType.FLOAT_VECTOR,
  dim=2
)
schema = CollectionSchema(
  fields=[book_id, book_name, word_count, book_intro],
  description="بحث كتاب اختبار",  # الوصف هو "بحث كتاب اختبار"
  enable_dynamic_field=True  # تمكين هيكل ديناميكي
)
collection_name = "book"

إنشاء مجموعة بناءً على النموذج

بعد ذلك، قم بإنشاء مجموعة بناءً على النموذج المحدد.

from pymilvus import Collection
collection = Collection(
    name=اسم_المجموعة,
    schema=النموذج,
    using='الافتراضي',
    shards_num=2
    )

القيود

تكوين الموارد

المعامل default_value

• ينطبق default_value فقط على الحقول الجزئية غير الصفيفية والجزئية غير سكالارية من JSON.
• لا ينطبق default_value على المفتاح الرئيسي.
• يجب أن يكون نوع بيانات default_value نفس نوع البيانات المحدد في dtype. وإلا قد تحدث أخطاء.
• في حالة استخدام auto_id، لا يُسمح بتعيين جميع الحقول المتبقية لاستخدام القيمة الافتراضية. بمعنى آخر، عند القيام بعمليات الإدراج أو التحديث، يجب عليك تحديد قيمة على الأقل لحقل واحد. وإلا قد تحدث أخطاء.

إعادة تسمية مجموعة

إذا كنت ترغب في إعادة تسمية مجموعة، يمكنك التفاعل مع Milvus باستخدام واجهة برمجة التطبيقات لإعادة تسمية المجموعة. سيساعدك هذا الدليل في فهم كيفية استخدام SDK المختار الخاص بك لإعادة تسمية مجموعة موجودة.

في كود الفقرة التالية، نقوم بإنشاء مجموعة ونسميها old_collection، ثم نقوم بإعادة تسميتها إلى new_collection.

from pymilvus import Collection, FieldSchema, CollectionSchema, DataType, connections, utility
connections.connect(alias="default")
schema = CollectionSchema(fields=[
...     FieldSchema("int64", DataType.INT64, description="int64", is_primary=True),
...     FieldSchema("float_vector", DataType.FLOAT_VECTOR, is_primary=False, dim=128),
... ])
collection = Collection(name="old_collection", schema=schema)
utility.rename_collection("old_collection", "new_collection") # Output: True
utility.has_collection("new_collection") # Output: False

تعديل مجموعة

حاليًا، ميزة TTL متاحة فقط في لغة Python.

collection.set_properties(properties={"collection.ttl.seconds": 1800})

المثال أعلاه يغير TTL للمجموعة إلى 1800 ثانية.

التحقق مما إذا كانت المجموعة موجودة

التحقق مما إذا كانت المجموعة موجودة في Milvus.

from pymilvus import utility
utility.has_collection("book")

التحقق من تفاصيل المجموعة

from pymilvus import Collection
collection = Collection("book")  # الحصول على مجموعة موجودة.

collection.schema                # يُرجع CollectionSchema للمجموعة.
collection.description           # يُرجع وصف المجموعة.
collection.name                  # يُرجع اسم المجموعة.
collection.is_empty              # يُرجع بوليان يشير ما إذا كانت المجموعة فارغة.
collection.num_entities          # يُرجع عدد الكيانات في المجموعة.
collection.primary_field         # يُرجع schema.FieldSchema للحقل الرئيسي.
collection.partitions            # يُرجع قائمة من أجزاء [Partition].
collection.indexes               # يُرجع قائمة من [Index] الكائنات.
collection.properties            # يُرجع وقت انتهاء صلاحية البيانات في المجموعة.

سرد كل المجموعات

from pymilvus import utility
utility.list_collections()

حذف مجموعة

from pymilvus import utility
utility.drop_collection("book")

إنشاء اسم مستعار للمجموعة

from pymilvus import utility
utility.create_alias(
  collection_name = "book",
  alias = "publication"
)

حذف اسم مستعار للمجموعة

from pymilvus import utility
utility.drop_alias(alias = "publication")

تعديل اسم الإشارة للمجموعة

قم بتعديل الإشارة الحالية لتشير إلى مجموعة مختلفة. يستند العملية إلى سيناريو حيث تم إنشاء الإشارة النشر بالأصل لمجموعة أخرى.

from pymilvus import utility
utility.alter_alias(
  collection_name = "book",
  alias = "publication"
)

تحميل مجموعة بيانات

كيفية تحميل مجموعة بيانات في الذاكرة قبل تنفيذ عمليات البحث أو الاستعلام. في Milvus، يتم تنفيذ جميع عمليات البحث والاستعلام في الذاكرة.

يسمح Milvus للمستخدمين بتحميل المجموعات كنسخ متعددة لاستخدام موارد وحدة المعالجة المركزية والذاكرة الإضافية لعقد الاستعلام. تحسن هذه الميزة الإجمالية لـ QPS والإنتاجية دون الحاجة إلى عتاد إضافي. قبل تحميل مجموعة بيانات، تأكد من أنك قمت بإنشاء فهرس لها.

from pymilvus import Collection, utility

collection = Collection("book")
collection.load(replica_number=2)

utility.load_state("book")

utility.loading_progress("book")

إطلاق مجموعة بيانات

كيفية إطلاق مجموعة بيانات بعد عمليات البحث أو الاستعلام لتقليل استخدام الذاكرة.

from pymilvus import Collection
collection = Collection("book") 
collection.release()