Python Milvus Wyszukiwanie podobieństw

Wykonywanie wyszukiwania podobieństwa wektorów

Ten temat przedstawia, jak korzystać z Milvus do wyszukiwania jednostek.

W Milvus wyszukiwanie podobieństwa wektorów oblicza odległość między wektorem zapytania a wektorami w kolekcji (z użyciem określonej miary podobieństwa) i zwraca najbardziej podobne wyniki. Możesz wykonać mieszane wyszukiwanie, określając wyrażenie logiczne do filtrowania pól skalarowych lub klucza głównego.

Poniższy przykład demonstruje, jak wykonać wyszukiwanie podobieństwa wektorów w zestawie danych zawierającym 2000 wierszy danych, w tym identyfikator książki (klucz główny), liczbę słów (pole skalarne) i streszczenie książki (pole wektorowe), aby zasymulować wyszukiwanie określonych książek na podstawie zwektoryzowanych opisów. Milvus zwróci najbardziej podobne wyniki na podstawie wektora zapytania i zdefiniowanych przez Ciebie parametrów wyszukiwania.

Ładowanie Kolekcji

Wszystkie operacje wyszukiwania i zapytań w Milvus są wykonywane w pamięci. Przed przeprowadzeniem wyszukiwania podobieństwa wektorów, należy załadować kolekcję do pamięci.

from pymilvus import Collection
collection = Collection("book")      # Pobierz istniejącą kolekcję.
collection.load()

Przygotowanie Parametrów Wyszukiwania

Przygotuj odpowiednie parametry dla twojego scenariusza wyszukiwania. W poniższym przykładzie zdefiniowane są parametry, które wyszukiwanie będzie używać do obliczania odległości z wykorzystaniem odległości euklidesowej i pobierania wektorów z dziesięciu najbliższych klastrów zbudowanych przez indeks IVF_FLAT.

search_params = {
    "metric_type": "L2",
    "offset": 5,
    "ignore_growing": False,
    "params": {"nprobe": 10}
}

Wykonywanie wyszukiwania wektorowego

Wykorzystaj Milvus do wyszukiwania wektorowego. Aby przeprowadzić wyszukiwanie w określonej partycji, określ listę nazw partycji.

Milvus obsługuje ustawianie poziomu spójności dla wyszukiwań. W przykładzie w tym temacie poziom spójności jest ustawiony na "Strong". Możesz również ustawić poziom spójności na "Bounded", "Session" lub "Eventually". Aby uzyskać więcej informacji na temat czterech poziomów spójności w Milvus, zobacz Spójność.

results = collection.search(
    data=[[0.1, 0.2]], 
    anns_field="book_intro", 
    param=search_params,
    limit=10,
    expr=None,
    output_fields=['title'],
    consistency_level="Strong"
)

results[0].ids

results[0].distances

hit = results[0][0]
hit.entity.get('title')

Sprawdź wartości kluczy głównych i odległości najbardziej podobnych wektorów.

results[0].ids
results[0].distances

Po zakończeniu wyszukiwania zwolnij załadowaną kolekcję w Milvus, aby zmniejszyć zużycie pamięci.

collection.release()

Ograniczenia

Wykonywanie mieszanych wyszukiwań

Mieszane wyszukiwanie jest w zasadzie wyszukiwaniem wektorowym z filtrowaniem atrybutów. Poprzez określenie wyrażenia logicznego do filtrowania pól skalarnych lub pól klucza głównego, wyszukiwania można ograniczyć w określonych warunkach.

Poniższy przykład pokazuje, jak wykonać mieszane wyszukiwanie na podstawie zwykłego wyszukiwania wektorowego. Załóżmy, że chcesz wyszukać określone książki na podstawie wektorowych streszczeń, ale chcesz wyszukać tylko w określonym zakresie liczby słów. Następnie możesz określić wyrażenie logiczne w parametrach wyszukiwania, aby przefiltrować pole word_count. Milvus będzie wyszukiwać tylko podobne wektory w ramach jednostek, które pasują do wyrażenia.

Poprzez określenie wyrażenia logicznego możesz filtrować pola skalarnych jednostek podczas wyszukiwania wektorowego. W poniższym przykładzie ograniczono zakres wyszukiwania do wektorów w określonym zakresie wartości word_count.

Możesz również wykorzystywać pola dynamiczne w wyrażeniu filtrowania i wykorzystywać pola wyjściowe w żądaniu wyszukiwania. Na przykład odwołaj się do wzorca dynamicznego.

search_param = {
  "data": [[0.1, 0.2]],
  "anns_field": "book_intro",
  "param": {"metric_type": "L2", "params": {"nprobe": 10}, "offset": 0},
  "limit": 10,
  "expr": "word_count <= 11000",
}
res = collection.search(**search_param)

Sprawdź zwrócone wyniki.

assert len(res) == 1
hits = res[0]
assert len(hits) == 2
print(f"- Łączna ilość trafień: {len(hits)}, identyfikatory trafień: {hits.ids} ")
print(f"- Identyfikator najwyższego trafienia: {hits[0].id}, odległość: {hits[0].distance}, wynik: {hits[0].score} ")

Wykonywanie wyszukiwania zakresowego

Wyszukiwanie zakresowe to metoda filtrowania wyników wyszukiwania na podstawie odległości pomiędzy wektorem zapytania a wartościami pola wektorowego. Różne metryki odległości mogą być używane do pomiaru odległości.

Podczas wykonywania wyszukiwania zakresowego Milvus najpierw przeprowadza podobieństwo wektorowe, a następnie wykonuje filtrowanie wektorów na podstawie określonych warunków odległości i zwraca wektory, których odległość mieści się w określonym zakresie.

Poniższy przykład pokazuje, jak wykonać wyszukiwanie zakresowe na podstawie zwykłego wyszukiwania wektorowego.

Ładowanie kolekcji

Wszystkie operacje wyszukiwania i zapytań w Milvus są wykonywane w pamięci. Przed przeprowadzeniem podobieństwa wektorowego kolekcja musi zostać załadowana do pamięci.

from pymilvus import Collection
collection = Collection("book")      # Pobierz istniejącą kolekcję
collection.load()

Konfigurowanie zakresów filtracji wektorów

W porównaniu do zwykłego wyszukiwania wektorów, wyszukiwanie zakresowe w Milvus jest kontrolowane poprzez wprowadzenie dwóch nowych parametrów, promień i filtr_zakresu, w celu uzyskania pożądanych wyników wyszukiwania w określonym zakresie wyszukiwania.

Parametr promień określa minimalny kąt, pod którym wektory są uważane za podobne. Opcjonalny parametr filtr_zakresu może być wykorzystany w połączeniu z parametrem promień do filtrowania wartości pola wektorowego w oparciu o podobieństwo do wektora zapytania w określonym zakresie. Zarówno parametry promień jak i filtr_zakresu mają typ danych FLOAT. Ustawienie tych dwóch parametrów efektywnie zrównoważa dokładność i wydajność wyszukiwania.

Zazwyczaj podobieństwo jest mierzone przez odległość między wartością pola wektorowego a wektorem zapytania. Wybór różnych metryk odległości będzie miał znaczący wpływ na konfigurację parametrów promień i filtr_zakresu.

Na przykład, w przypadku odległości L2, wyniki wyszukiwania muszą być filtrowane na podstawie wartości pola wektorowego z odległością mniejszą niż promień. Dzieje się tak, ponieważ w odległości L2 mniejsze odległości oznaczają większe podobieństwo. Mając tę wiedzę, jeśli chcesz odfiltrować niektóre z najbardziej podobnych wektorów, możesz określić efektywną wartość filtr_zakresu mniejszą niż promień.

search_params = {
    "metric_type": "L2",
    "params": {
        "promień": 10.0,
        "filtr_zakresu" : 5.0
    }
}

W przypadku odległości IP, sytuacja jest inna. W przypadku odległości IP, większa odległość oznacza większe podobieństwo. Dlatego w przeciwieństwie do odległości L2, wartości promień i filtr_zakresu w odległości IP są odwrotne. Innymi słowy, podczas korzystania z filtr_zakresu do filtrowania niektórych z najbardziej podobnych wektorów na podstawie odległości IP, efektywna wartość filtr_zakresu musi być większa niż promień, a odległość otrzymanych wektorów powinna być większa niż promień, ale mniejsza lub równa filtr_zakresu.

search_params = {
    "metric_type": "IP",
    "params": {
        "promień": 0.8,
        "filtr_zakresu" : 1.0
    }
}

Wykonywanie wyszukiwania zakresowego

Poprzez określenie promienia i filtru_zakresu w oparciu o typ pomiaru odległości, możesz zdefiniować zakres zwracanych wektorów wynikowych.

Wykonaj wyszukiwanie zakresowe pod kątem podobieństwa w zakresie od 5.0 do 10.0 na podstawie odległości L2:

search_param = {
  "data": [[0.1, 0.2]], # Wektor zapytania
  "anns_field": "book_intro", # Pole do wyszukiwania
  "param": { "metric_type": "L2", "params": { "nprobe": 10, "promień": 10.0, "filtr_zakresu" : 5.0 }, "offset": 0 },
  "limit": 2,
  "output_fields": ["int64", "float"]  # Pola do zwrócenia
}

res = collection.search(**search_param)

Wykonaj wyszukiwanie zakresowe pod kątem podobieństwa w zakresie od 1.0 do 0.8 na podstawie odległości IP:

search_param = {
  "data": [[0.1, 0.2]], # Wektor zapytania
  "anns_field": "book_intro", # Pole do wyszukiwania
  "param": {"metric_type": "IP", "params": { "nprobe": 10, "promień": 0.8, "filtr_zakresu" : 1.0 }, "offset": 0 },
  "limit": 2,
  "output_fields": ["int64", "float"]  # Pola do zwrócenia
}

res = collection.search(**search_param)

Podsumowanie

W Milvusie, wyszukiwanie zakresowe może zwracać wyniki wektorów podobnych w określonym zakresie odległości. Ta funkcjonalność jest aktywowana poprzez określenie promienia i filtr_zakresu w parametrach wyszukiwania. Tabela poniżej podsumowuje konfigurację tych dwóch parametrów dla różnych typów pomiarów odległości.