빠르게 Milvus로 이동

이 장에서는 Go를 사용하여 Milvus 벡터 데이터베이스의 읽기 및 쓰기 작업을 빠르게 시작하는 방법을 소개합니다.

Go SDK 설치

참고: Go SDK는 Go 버전 1.15 이상이 필요합니다.

go get -u github.com/milvus-io/milvus-sdk-go/v2

종속성 가져오기

import (
	"context"
	"fmt"
	"log"
	"math/rand"
	"time"

	"github.com/milvus-io/milvus-sdk-go/v2/client"
	"github.com/milvus-io/milvus-sdk-go/v2/entity"
)

Milvus 데이터베이스에 연결

	ctx := context.Background()

	log.Printf(msgFmt, "Milvus에 연결 중")
	c, err := client.NewClient(ctx, client.Config{
		Address: "localhost:19530",
	})
	if err != nil {
		log.Fatal("Milvus에 연결하지 못했습니다. 오류: ", err.Error())
	}
	defer c.Close()

컬렉션 생성

컬렉션 생성 과정은 MySQL 테이블 구조를 생성하는 것과 유사하며 각 필드의 유형을 설명해야 합니다.

   collectionName = "hello_tizi365"
	log.Printf(msgFmt, fmt.Sprintf("컬렉션 생성 중, `%s`", collectionName))
	
	// 컬렉션의 필드 유형을 정의하고 여기서 ID, random, embeddings 필드를 정의합니다
	schema := entity.NewSchema().WithName(collectionName).WithDescription("컬렉션 설명").
		WithField(entity.NewField().WithName("ID").WithDataType(entity.FieldTypeInt64).WithIsPrimaryKey(true).WithIsAutoID(false)).
		WithField(entity.NewField().WithName("random").WithDataType(entity.FieldTypeDouble)).
		WithField(entity.NewField().WithName("embeddings").WithDataType(entity.FieldTypeFloatVector).WithDim(dim))

	// 정의된 컬렉션 필드 유형에 따라 컬렉션 생성
	if err := c.CreateCollection(ctx, schema, entity.DefaultShardNumber); err != nil {
		log.Fatalf("컬렉션 생성에 실패했습니다. 오류: %v", err)
	}

컬렉션에 데이터 삽입

	idList, randomList := make([]int64, 0, nEntities), make([]float64, 0, nEntities)
	embeddingList := make([][]float32, 0, nEntities)

	rand.Seed(time.Now().UnixNano())

    // 테스트 목적으로 여기서 일부 무작위 테스트 데이터를 생성합니다
	// ID 생성
	for i := 0; i < nEntities; i++ {
		idList = append(idList, int64(i))
	}
	// 무작위 값 생성
	for i := 0; i < nEntities; i++ {
		randomList = append(randomList, rand.Float64())
	}
	// 벡터 값 생성
	for i := 0; i < nEntities; i++ {
		vec := make([]float32, 0, dim)
		for j := 0; j < dim; j++ {
			vec = append(vec, rand.Float32())
		}
		embeddingList = append(embeddingList, vec)
	}
	// 다중 데이터 세트를 열별로 구성하여 다중 데이터 삽입
	idColData := entity.NewColumnInt64("ID", idList)
	randomColData := entity.NewColumnDouble("random", randomList)
	embeddingColData := entity.NewColumnFloatVector("embeddings", dim, embeddingList)

    // 데이터 삽입
	if _, err := c.Insert(ctx, collectionName, "", idColData, randomColData, embeddingColData); err != nil {
		log.Fatalf("데이터 쓰기에 실패했습니다. 오류: %v", err)
	}
    
	// 데이터를 디스크에 플러시
	if err := c.Flush(ctx, collectionName, false); err != nil {
		log.Fatalf("데이터 플러시에 실패했습니다. 오류: %v", err)
	}

인덱스 생성

	// 인덱스 유형 정의
	idx, err := entity.NewIndexIvfFlat(entity.L2, 128)
	if err != nil {
		log.Fatalf("인덱스 정의에 실패했습니다. 오류: %v", err)
	}
	// 지정된 컬렉션에 대한 인덱스 생성
	if err := c.CreateIndex(ctx, collectionName, embeddingCol, idx, false); err != nil {
		log.Fatalf("인덱스 생성에 실패했습니다. 오류: %v", err)
	}

    // 특정 컬렉션을 메모리에 로드하여 쿼리 효율성을 향상
	err = c.LoadCollection(ctx, collectionName, false)
	if err != nil {
		log.Fatalf("컬렉션 로드에 실패했습니다. 오류: %v", err)
	}

벡터 유사도 검색

   // 검색할 벡터를 준비합니다. 여기서는 이전에 생성된 데이터에서 벡터 데이터의 일부를 추출하여 테스트를 위해 유사한 결과를 검색할 것입니다.
   vec2search := []entity.Vector{
      entity.FloatVector(embeddingList[len(embeddingList)-2]),
      entity.FloatVector(embeddingList[len(embeddingList)-1]),
   }
   begin := time.Now()
   sp, _ := entity.NewIndexIvfFlatSearchParam(16)
   // 벡터 유사도 검색 수행
   sRet, err := c.Search(ctx, collectionName, nil, "", []string{"random"}, vec2search,
      "embeddings", entity.L2, topK, sp)
   end := time.Now()
   if err != nil {
      log.Fatalf("검색 실패, 오류: %v", err)
   }

   log.Println("결과 출력:")
   for _, res := range sRet {
      printResult(&res)
   }

printResult 함수 정의

func printResult(sRet *client.SearchResult) {
   randoms := make([]float64, 0, sRet.ResultCount)
   scores := make([]float32, 0, sRet.ResultCount)

   var randCol *entity.ColumnDouble
   for _, field := range sRet.Fields {
      if field.Name() == randomCol {
         c, ok := field.(*entity.ColumnDouble)
         if ok {
            randCol = c
         }
      }
   }
   for i := 0; i < sRet.ResultCount; i++ {
      val, err := randCol.ValueByIdx(i)
      if err != nil {
         log.Fatal(err)
      }
      randoms = append(randoms, val)
      scores = append(scores, sRet.Scores[i])
   }
   log.Printf("\trandoms: %v, scores: %v\n", randoms, scores)
}

Go Milvus 시작하기 소스 코드의 완전한 데모 소스 코드입니다.