এই অধ্যায়টি মিলভুস ভেক্টর ডাটাবেস ব্যবহার করে গো দিয়ে তাত্ক্ষণিকভাবে পড়া ও লেখার অপারেশনের সাথে কিভাবে শুরু করতে হয় তা নিয়ে সম্পর্কে বিবরণ দেয়।
গো এসডিকে ইনস্টল করা
নোট: গো SDK একটি গো সংস্করণ 1.15 বা তার উর্ধ্বের সংস্করণ প্রয়োজন.
go get -u github.com/milvus-io/milvus-sdk-go/v2
ডিপেন্ডেন্সি ইম্পোর্ট করা
import (
"context"
"fmt"
"log"
"math/rand"
"time"
"github.com/milvus-io/milvus-sdk-go/v2/client"
"github.com/milvus-io/milvus-sdk-go/v2/entity"
)
মিলভুস ডাটাবেসে যোগাযোগ করা
ctx := context.Background()
log.Printf(msgFmt, "মিলভুসে যোগাযোগ করা হচ্ছে")
c, err := client.NewClient(ctx, client.Config{
Address: "localhost:19530",
})
if err != nil {
log.Fatal("মিলভুসে যোগাযোগ করা যাচ্ছে না, ত্রুটি: ", err.Error())
}
defer c.Close()
কালেকশন তৈরি করা
কালেকশন তৈরির প্রসেসটি একটি মাইসকিউএল টেবিল স্ট্রাকচার তৈরি করার মতো, যেখানে আপনাকে প্রতিটি ফিল্ডের ধরণ বর্ণনা করতে হয়।
collectionName = "hello_tizi365"
log.Printf(msgFmt, fmt.Sprintf("কালেকশন, `%s` তৈরি করা হচ্ছে", collectionName))
// কালেকশনের ফিল্ড টাইপ নির্ধারণ করুন, এখানে ID, র্যান্ডম, এবং ইম্বেডিঙ্স ফিল্ড নির্ধারণ করা হয়েছে
schema := entity.NewSchema().WithName(collectionName).WithDescription("কালেকশন বর্ণনা").
WithField(entity.NewField().WithName("ID").WithDataType(entity.FieldTypeInt64).WithIsPrimaryKey(true).WithIsAutoID(false)).
WithField(entity.NewField().WithName("random").WithDataType(entity.FieldTypeDouble)).
WithField(entity.NewField().WithName("embeddings").WithDataType(entity.FieldTypeFloatVector).WithDim(dim))
// ডিফাইন করা ফিল্ড ধরণের ভিত্তিতে কালেকশন তৈরি করুন
if err := c.CreateCollection(ctx, schema, entity.DefaultShardNumber); err != nil {
log.Fatalf("কালেকশন তৈরি করা যাচ্ছে না, ত্রুটি: %v", err)
}
কালেকশনে ডাটা ঢোকানো
idList, randomList := make([]int64, 0, nEntities), make([]float64, 0, nEntities)
embeddingList := make([][]float32, 0, nEntities)
rand.Seed(time.Now().UnixNano())
// পরীক্ষার উদ্দেশ্যে, এখানে কিছু র্যান্ডম পরীক্ষা ডাটা তৈরি করুন
// আইডি তৈরি করুন
for i := 0; i < nEntities; i++ {
idList = append(idList, int64(i))
}
// র্যান্ডম মান তৈরি করুন
for i := 0; i < nEntities; i++ {
randomList = append(randomList, rand.Float64())
}
// ভেক্টর মান তৈরি করুন
for i := 0; i < nEntities; i++ {
vec := make([]float32, 0, dim)
for j := 0; j < dim; j++ {
vec = append(vec, rand.Float32())
}
embeddingList = append(embeddingList, vec)
}
// একাধিক ডেটা সেট ঢোকানো, এবং একাধিক ডেটা জন্য কলামে সংগঠিত করুন
idColData := entity.NewColumnInt64("ID", idList)
randomColData := entity.NewColumnDouble("random", randomList)
embeddingColData := entity.NewColumnFloatVector("embeddings", dim, embeddingList)
// ডাটা ঢোকানো
if _, err := c.Insert(ctx, collectionName, "", idColData, randomColData, embeddingColData); err != nil {
log.Fatalf("ডেটা লিখতে ব্যর্থ হয়েছে, ত্রুটি: %v", err)
}
// ডাটা ডিস্কে ফ্লাশ করুন
if err := c.Flush(ctx, collectionName, false); err != nil {
log.Fatalf("ডাটা ফ্লাশ করতে ব্যর্থ হয়েছে, ত্রুটি: %v", err)
}
ইনডেক্স তৈরি করা
// ইনডেক্স টাইপ নির্ধারণ করুন
idx, err := entity.NewIndexIvfFlat(entity.L2, 128)
if err != nil {
log.Fatalf("ইনডেক্স ডিফাইন করতে ব্যর্থ হয়েছে, ত্রুটি: %v", err)
}
// নির্দিষ্ট কালেকশনের জন্য ইনডেক্স তৈরি করুন
if err := c.CreateIndex(ctx, collectionName, embeddingCol, idx, false); err != nil {
log.Fatalf("ইনডেক্স তৈরি করতে ব্যর্থ হয়েছে, ত্রুটি: %v", err)
}
// কুয়েরি দক্ষতা উন্নত করতে নির্দিষ্ট কালেকশনকে মেমোরিতে লোড করুন
err = c.LoadCollection(ctx, collectionName, false)
if err != nil {
log.Fatalf("কালেকশন লোড করতে ব্যর্থ হয়েছে, ত্রুটি: %v", err)
}
ভেক্টর সদৃশ্য অনুসন্ধান
// অনুসন্ধান করার জন্য ভেক্টর সজ্জ করুন। এখানে আমরা পরীক্ষার জন্য বিষয়বস্তু থেকে পূর্বে তৈরি ডেটা থেকে ভেক্টর ডেটা অংশ বের করব। এই ভেক্টরগুলির মতো ফলাফল অনুসন্ধান করব।
vec2search := []entity.Vector{
entity.FloatVector(embeddingList[len(embeddingList)-2]),
entity.FloatVector(embeddingList[len(embeddingList)-1]),
}
begin := time.Now()
sp, _ := entity.NewIndexIvfFlatSearchParam(16)
// ভেক্টর সদৃশ্য অনুসন্ধান কার্যক্রম পূর্ণ করুন
sRet, err := c.Search(ctx, collectionName, nil, "", []string{"random"}, vec2search,
"embeddings", entity.L2, topK, sp)
end := time.Now()
if err != nil {
log.Fatalf("অনুসন্ধান ব্যর্থ, ত্রুটি: %v", err)
}
log.Println("ফলাফল মুদ্রণ:")
for _, res := range sRet {
printResult(&res)
}
printResult ফাংশনের সংজ্ঞানা
func printResult(sRet *client.SearchResult) {
randoms := make([]float64, 0, sRet.ResultCount)
scores := make([]float32, 0, sRet.ResultCount)
var randCol *entity.ColumnDouble
for _, field := range sRet.Fields {
if field.Name() == randomCol {
c, ok := field.(*entity.ColumnDouble)
if ok {
randCol = c
}
}
}
for i := 0; i < sRet.ResultCount; i++ {
val, err := randCol.ValueByIdx(i)
if err != nil {
log.Fatal(err)
}
randoms = append(randoms, val)
scores = append(scores, sRet.Scores[i])
}
log.Printf("\trandoms: %v, scores: %v\n", randoms, scores)
}
সম্পূর্ণ ডেমোনস্ট্রেশন সোর্স কোড, Go Milvus শুরু প্রাপ্ত সোর্স কোড