Go Milvus 유사 검색

벡터 유사도 검색

이 주제는 Milvus에서 엔티티 검색을 수행하는 방법을 소개합니다.

Milvus의 벡터 유사도 검색은 쿼리 벡터와 컬렉션 내 벡터 간의 거리를 계산하고 가장 유사한 결과를 반환합니다. 스칼라 필드나 기본 키 필드를 필터링하기 위해 부울 표현식을 지정하여 혼합 검색을 수행할 수도 있습니다.

다음 예제는 2000개의 행으로 구성된 데이터셋에서 벡터 유사도 검색을 수행하는 방법을 보여줍니다. 이 데이터셋은 책 ID (기본 키), 단어 빈도 (스칼라 필드) 및 책 설명 (벡터 필드)으로 구성되어 있습니다. 이는 벡터화된 설명을 기반으로 특정 책을 검색하는 시나리오를 시뮬레이션한 것입니다. Milvus는 정의된 쿼리 벡터와 검색 매개변수를 기반으로 가장 유사한 결과를 반환할 것입니다.

컬렉션 로드

벡터 유사도 검색을 수행하기 전에 Milvus는 모든 검색 및 쿼리 작업을 메모리에서 실행합니다. 벡터 유사도 검색을 수행하기 전에 컬렉션을 메모리에 로드해야 합니다.

err := milvusClient.LoadCollection(
  context.Background(),   // ctx
  "book",                 // CollectionName
  false                   // async
)
if err != nil {
  log.Fatal("failed to load collection:", err.Error())
}

검색 매개변수 준비

검색 시나리오에 적합한 매개변수를 준비합니다. 다음 예제는 유클리드 거리를 사용하여 거리를 계산하고 IVF_FLAT 인덱스로 구축된 10개의 가장 가까운 클러스터에서 벡터를 검색합니다.

sp, _ := entity.NewIndexIvfFlatSearchParam( // NewIndex*SearchParam func
    10,                                  // searchParam
)

opt := client.SearchQueryOptionFunc(func(option *client.SearchQueryOption) {
    option.Limit = 3
    option.Offset = 0
    option.ConsistencyLevel = entity.ClStrong
    option.IgnoreGrowing = false
})

벡터 검색 수행

Milvus를 사용하여 벡터 검색을 수행합니다. 특정 파티션에서 검색하려면 파티션 이름 목록을 지정해주세요.

Milvus는 검색을 위한 일관성 레벨 설정을 지원합니다. 이 항목의 예제에서는 일관성 레벨을 강함으로 설정합니다. Bounded, Session, 또는 Eventually로 일관성 레벨을 설정할 수도 있습니다. Milvus의 네 가지 일관성 레벨에 대한 자세한 내용은 일관성을 참조하세요.

searchResult, err := milvusClient.Search(
    context.Background(),                    // ctx
    "book",                                  // CollectionName
    []string{},                              // partitionNames
    "",                                      // expr
    []string{"book_id"},                     // outputFields
    []entity.Vector{entity.FloatVector([]float32{0.1, 0.2})}, // vectors
    "book_intro",                            // vectorField
    entity.L2,                               // metricType
    10,                                      // topK
    sp,                                      // sp
    opt,
)
if err != nil {
    log.Fatal("컬렉션 검색 실패:", err.Error())
}

가장 유사한 벡터의 기본 키 값을 및 거리를 확인하세요.

fmt.Printf("%#v\n", searchResult)
for _, sr := range searchResult {
    fmt.Println(sr.IDs)
    fmt.Println(sr.Scores)
}

검색이 완료되면 Milvus에 로드된 컬렉션을 해제하여 메모리 소비를 줄입니다.

err := milvusClient.ReleaseCollection(
    context.Background(),                            // ctx
    "book",                                          // CollectionName
)
if err != nil {
    log.Fatal("컬렉션 해제 실패:", err.Error())
}

제약사항

혼합 검색 수행

혼합 검색은 본질적으로 속성 필터링이 있는 벡터 검색입니다. 스칼라 필드 또는 기본 키 필드를 위한 부울 표현식을 지정함으로써 특정 조건에 기반한 검색을 제한할 수 있습니다.

다음 예제는 일반 벡터 검색을 기반으로 혼합 검색을 수행하는 방법을 보여줍니다. 책의 벡터화된 소개를 기반으로 특정 책을 검색하되, 특정 단어 수 범위 내의 책만 검색하려면 검색 매개변수에서 부울 표현식을 지정합니다. Milvus는 해당 표현식과 일치하는 엔티티 내에서만 유사한 벡터를 검색합니다.

sp, _ := entity.NewIndexFlatSearchParam(
  10,
)

opt := client.SearchQueryOptionFunc(func(option *client.SearchQueryOption) {
    option.Limit = 3
    option.Offset = 0
    option.ConsistencyLevel = entity.ClStrong
    option.IgnoreGrowing = false
})

searchResult, err := milvusClient.Search(
  context.Background(),
  "book",
  []string{},
  "word_count <= 11000",
  []string{"book_id"},
  []entity.Vector{entity.FloatVector([]float32{0.1, 0.2})},
  "book_intro",
  entity.L2,
  2,
  sp,
  opt,
)

if err != nil {
  log.Fatal("컬렉션 검색 실패:", err.Error())
}

반환된 결과를 확인하세요.

fmt.Printf("%#v\n", searchResult)
for _, sr := range searchResult {
  fmt.Println(sr.IDs)
  fmt.Println(sr.Scores)
}