Gestione della Collezione Python Milvus

La classe Collection in Milvus è simile a una tabella in MySQL, utilizzata per organizzare dati e composta da una o più partizioni.

Creare una Collection

Una collection è composta da una o più partizioni. Quando si crea una nuova collection, Milvus creerà automaticamente una partizione predefinita chiamata _default. Per ulteriori informazioni, consultare l'esplicazione dei termini relativi alle collections.

Nell'esempio seguente verrà creata una collection chiamata book con due partizioni, comprensiva di un campo chiave primaria chiamato book_id, un campo scalare INT64 chiamato word_count, e un campo vettoriale bidimensionale a virgola mobile chiamato book_intro. Nelle applicazioni reali vengono spesso utilizzati vettori di dimensioni superiori rispetto all'esempio.

Modalità di preparazione

La modalità è simile alla definizione della struttura di una tabella MYSQL.

La raccolta da creare deve contenere un campo chiave primaria e un campo vettoriale. Il campo chiave primaria supporta i tipi di dati INT64 e VarChar.

Prima, preparare i parametri necessari, inclusi lo schema dei campi, lo schema della raccolta e il nome della raccolta.

Prima di definire lo schema della raccolta, creare uno schema per ciascun campo nella raccolta. Per ridurre la complessità dell'inserimento dei dati, Milvus consente di specificare un valore predefinito per ciascun campo scalare (tranne il campo chiave primario). Ciò significa che se si lascia vuoto un campo durante l'inserimento dei dati, sarà utilizzato il valore predefinito configurato durante la creazione dello schema dei campi.

from pymilvus import CollectionSchema, FieldSchema, DataType
book_id = FieldSchema(
  name="book_id",
  dtype=DataType.INT64,
  is_primary=True,
)
book_name = FieldSchema(
  name="book_name",
  dtype=DataType.VARCHAR,
  max_length=200,
  default_value="Sconosciuto"  # Il valore predefinito è "Sconosciuto"
)
word_count = FieldSchema(
  name="word_count",
  dtype=DataType.INT64,
  default_value=9999  # Il valore predefinito è 9999
)
book_intro = FieldSchema(
  name="book_intro",
  dtype=DataType.FLOAT_VECTOR,
  dim=2
)
schema = CollectionSchema(
  fields=[book_id, book_name, word_count, book_intro],
  description="Ricerca di libri di prova",  # La descrizione è "Ricerca di libri di prova"
  enable_dynamic_field=True  # Abilita lo schema dinamico
)
collection_name = "book"

Creazione di una Collezione con Schema

Successivamente, crea una collezione con lo schema specificato.

from pymilvus import Collection
collezione = Collection(
    name=nome_collezione,
    schema=schema,
    using='default',
    shards_num=2
    )

Limitazioni

Configurazione delle Risorse

Parametro default_value

• default_value si applica solo a campi scalari non array e non JSON.
• default_value non si applica alla chiave primaria.
• Il tipo di dati di default_value deve essere lo stesso del tipo di dati specificato in dtype. Altrimenti potrebbero verificarsi errori.
• Nel caso di utilizzo di auto_id, non è consentito impostare tutti i campi rimanenti per utilizzare il valore predefinito. In altre parole, durante le operazioni di inserimento o aggiornamento, è necessario specificare il valore di almeno un campo. Altrimenti potrebbero verificarsi errori.

Rinominare una Collezione

Se si desidera rinominare una collezione, è possibile interagire con Milvus utilizzando l'API di rinomina della collezione. Questa guida ti aiuterà a capire come utilizzare il SDK scelto per rinominare una collezione esistente.

Nel seguente frammento di codice, creiamo una collezione e la chiamiamo old_collection, e poi la rinominiamo in new_collection.

from pymilvus import Collection, FieldSchema, CollectionSchema, DataType, connections, utility
connections.connect(alias="default")
schema = CollectionSchema(fields=[
...     FieldSchema("int64", DataType.INT64, description="int64", is_primary=True),
...     FieldSchema("float_vector", DataType.FLOAT_VECTOR, is_primary=False, dim=128),
... ])
collezione = Collection(name="old_collection", schema=schema)
utility.rename_collection("old_collection", "new_collection") # Output: True
utility.has_collection("new_collection") # Output: False

Modifica di una Collezione

Attualmente, la funzione TTL è disponibile solo in Python.

collezione.set_properties(properties={"collection.ttl.seconds": 1800})

Nell'esempio precedente, cambia il TTL della collezione a 1800 secondi.

Verifica se una Collezione Esiste

Verifica se la collezione esiste in Milvus.

from pymilvus import utility
utility.has_collection("book")

Dettagli della Collezione

from pymilvus import Collection
collection = Collection("book")  # Ottieni una collezione esistente.

collection.schema                # Restituisce il CollectionSchema della collezione.
collection.description           # Restituisce la descrizione della collezione.
collection.name                  # Restituisce il nome della collezione.
collection.is_empty              # Restituisce un booleano che indica se la collezione è vuota.
collection.num_entities          # Restituisce il numero di entità nella collezione.
collection.primary_field         # Restituisce lo schema.FieldSchema della chiave primaria.
collection.partitions            # Restituisce una lista di oggetti [Partizione].
collection.indexes               # Restituisce una lista di oggetti [Indice].
collection.properties            # Restituisce il tempo di scadenza dei dati nella collezione.

Elenca tutte le collezioni

from pymilvus import utility
utility.list_collections()

Elimina una collezione

from pymilvus import utility
utility.drop_collection("book")

Crea un alias per una collezione

from pymilvus import utility
utility.create_alias(
  collection_name = "book",
  alias = "pubblicazione"
)

Elimina un alias di collezione

from pymilvus import utility
utility.drop_alias(alias = "pubblicazione")

Modificare un alias di una collezione

Modificare un alias esistente in modo che punti a una collezione diversa. L'esempio seguente si basa sullo scenario in cui l'alias publicazione è stato originariamente creato per un'altra collezione.

from pymilvus import utility
utility.alter_alias(
  collection_name = "libro",
  alias = "publicazione"
)

Caricare una collezione

Come caricare una collezione in memoria prima di eseguire operazioni di ricerca o interrogazione. In Milvus, tutte le operazioni di ricerca e interrogazione vengono eseguite in memoria.

Milvus consente agli utenti di caricare collezioni come repliche multiple per utilizzare risorse CPU e di memoria aggiuntive dei nodi di interrogazione. Questa funzionalità migliora il QPS complessivo e la capacità senza hardware aggiuntivo. Prima di caricare una collezione, assicurati di aver creato un indice per essa.

from pymilvus import Collection, utility

collection = Collection("libro")
collection.load(replica_number=2)

utility.load_state("libro")

utility.loading_progress("libro")

Rilasciare una collezione

Come rilasciare una collezione dopo le operazioni di ricerca o interrogazione per ridurre l'utilizzo della memoria.

from pymilvus import Collection
collection = Collection("libro") 
collection.release()