Milvus 類似検索

ベクトル類似検索

このトピックでは、Milvusでエンティティ検索を実行する方法について説明します。

Milvusのベクトル類似検索は、クエリベクトルとコレクション内のベクトルとの間の距離を計算し、類似度が高い結果を返します。また、スカラーフィールドやプライマリキーフィールドをフィルタリングするためのブール式を指定することで、混合検索も行うことができます。

次の例では、2000行のデータセット（プライマリキーの本ID、スカラーフィールドの単語の頻度、ベクトルフィールドの本の説明）に対してベクトル類似検索を実行する方法を示しています。これは、ベクトル化された説明に基づいて特定の本を検索するシナリオをシミュレートしています。Milvusは、定義したクエリベクトルと検索パラメータに基づいて、最も類似した結果を返します。

コレクションのロード

ベクトル類似検索を実行する前に、Milvusはすべての検索とクエリの操作をメモリで実行します。ベクトル類似検索を実行する前に、コレクションをメモリにロードしてください。

err := milvusClient.LoadCollection(
  context.Background(),   // ctx
  "book",                 // CollectionName
  false                   // async
)
if err != nil {
  log.Fatal("failed to load collection:", err.Error())
}

検索パラメータの準備

検索シナリオに適したパラメータを準備してください。次の例では、ユークリッド距離を使用して距離を計算し、IVF_FLATインデックスによって構築された10個の最も近いクラスタからベクトルを取得することを定義しています。

sp, _ := entity.NewIndexIvfFlatSearchParam( // NewIndex*SearchParam func
    10,                                  // searchParam
)

opt := client.SearchQueryOptionFunc(func(option *client.SearchQueryOption) {
    option.Limit = 3
    option.Offset = 0
    option.ConsistencyLevel = entity.ClStrong
    option.IgnoreGrowing = false
})

ベクトル検索の実行

Milvusを使用してベクトル検索を実行します。特定のパーティションで検索する場合は、パーティション名のリストを指定してください。

Milvusは検索のための一貫性レベルの設定をサポートしています。このトピックの例では、一貫性レベルをStrongに設定しています。また、一貫性レベルをBounded、Session、またはEventuallyに設定することもできます。Milvusの四つの一貫性レベルの詳細については、一貫性を参照してください。

searchResult, err := milvusClient.Search(
    context.Background(),                    // ctx
    "book",                                  // CollectionName
    []string{},                              // partitionNames
    "",                                      // expr
    []string{"book_id"},                     // outputFields
    []entity.Vector{entity.FloatVector([]float32{0.1, 0.2})}, // vectors
    "book_intro",                            // vectorField
    entity.L2,                               // metricType
    10,                                      // topK
    sp,                                      // sp
    opt,
)
if err != nil {
    log.Fatal("コレクションの検索に失敗しました:", err.Error())
}

最も類似したベクトルの主キー値と距離を確認してください。

fmt.Printf("%#v\n", searchResult)
for _, sr := range searchResult {
    fmt.Println(sr.IDs)
    fmt.Println(sr.Scores)
}

検索が完了したら、Milvusにロードされたコレクションを解放してメモリ消費を減らします。

err := milvusClient.ReleaseCollection(
    context.Background(),                            // ctx
    "book",                                          // CollectionName
)
if err != nil {
    log.Fatal("コレクションの解放に失敗しました:", err.Error())
}

制限事項

ミックス検索の実行

ミックス検索は基本的に属性フィルタリングを行ったベクトル検索です。スカラーフィールドまたはプライマリキーフィールドをフィルタリングするためのブール式を指定することで、特定の条件に基づいて検索を制限することができます。

次の例では、書籍のベクトル化された紹介を基に特定の本を検索したいが、特定の単語数の範囲内の書籍のみを取得したい場合を示しています。そのため、検索パラメータでword_countフィールドをフィルタリングするブール式を指定します。Milvusは、式に一致するエンティティ内の類似ベクトルのみを検索することになります。

sp, _ := entity.NewIndexFlatSearchParam(
  10,
)

opt := client.SearchQueryOptionFunc(func(option *client.SearchQueryOption) {
    option.Limit = 3
    option.Offset = 0
    option.ConsistencyLevel = entity.ClStrong
    option.IgnoreGrowing = false
})

searchResult, err := milvusClient.Search(
  context.Background(),
  "book",
  []string{},
  "word_count <= 11000",
  []string{"book_id"},
  []entity.Vector{entity.FloatVector([]float32{0.1, 0.2})},
  "book_intro",
  entity.L2,
  2,
  sp,
  opt,
)

if err != nil {
  log.Fatal("コレクションの検索に失敗しました:", err.Error())
}

返された結果を確認します。

fmt.Printf("%#v\n", searchResult)
for _, sr := range searchResult {
  fmt.Println(sr.IDs)
  fmt.Println(sr.Scores)
}