বিষয় নিরাপত্তা মডেরেশন মডেল (মডারেশন)

1. OpenAI কনটেন্ট রিভিউ API পরিচিতি

1.1. OpenAI কন্টেন্ট রিভিউ API এর সংক্ষেপ

OpenAI প্রযোজ্য ব্যবহার নীতি ভঙ্গিতের সনাক্ত করা এবং ফিল্টার করার জন্য উন্নত মেশিন লার্নিং মডেল ব্যবহার করে ডেভেলপারদের দ্রুত এবং সঠিকভাবে অনলাইন কন্টেন্ট সনাক্ত এবং ফিল্টার করার জন্য একটি কন্টেন্ট রিভিউ API সেবা প্রদান করে। এই API টি দ্বারা টেক্সট কন্টেন্টের বর্তমান বিশ্লেষণ করে, সম্ভাব্য ঘৃণা ভাষা, হারাসমেন্ট, এবং স্পষ্ট কন্টেন্ট সনাক্ত করে, এবং পরিষ্করণ এবং মৌলিকতা প্রদান করে।

1.2. কন্টেন্ট বিভাগের বর্ণনা

OpenAI কন্টেন্ট রিভিউ API অনুপযুক্ত কন্টেন্টগুলি বিভিন্ন বিভাগে শ্রেণীবদ্ধ করে যাতে পৃথক ধরণের লঙ্ঘন সম্পর্কিত বিস্তারিত প্রবন্ধন করা যায়। নিম্নলিখিত বিভাগগুলির জন্য বিশেষ ব্যাখ্যা দেওয়া হল:

• ঘৃণা: বাংলা, লিঙ্গ, জাতি, ধর্ম, জাতীয়তা, যৌন পরিমাণ, আদিতে ভিত্তি করে ঘৃণা ভাষা রেখে।
• ঘৃণা/ভয়াবহ: ঘৃণা ভাষার সাথেই এটি অন্যত্র উল্লেখিত নির্দিষ্ট গোষ্ঠীদের বিরুদ্ধে হিংসা বা গম্ভীর ক্ষতির ভিত্তিতে ভয়াবহতা অন্তর্ভুক্ত।
• হারাসমেন্ট: যেকোন লক্ষ্যের বিরুদ্ধে হেরাসমেন্ট ভাষা উৎসাহিত বা প্রচার করে।
• হারাসমেন্ট/ভয়াবহ: কিসেরই লক্ষ্যের বিরুদ্ধে ভয়াবহ বিষয়বস্তু অন্তর্ভুক্ত হলে হারাসমেন্টের বিষয়বস্তু।
• নিজস্ব ক্ষতি: আত্মহত্যা, কাটা, এবং খাদ্য ব্যবস্থার মতামত বা চিত্রণ উৎসাহিত করবে।
• নিজস্ব ক্ষতি/ইন্টেন্ট: বক্তা যারা বিষয়টি নিয়ে আচরণ করতে বলে বা চিহ্নিত করে।
• নিজস্ব ক্ষতি/নির্দেশ: নিজস্ব ক্ষতির আচরণ উৎসাহিত বা এর প্রযোজনীয় নির্দেশ বা পরামর্শ প্রদান করে।
• যৌন: যৌন উত্তেজন উৎসাহিত করার জন্য বিষয়বস্তু, যেমন যৌন ক্রিয়ার বর্ণনা, অথবা যৌন সেবা বিপন্ন করে (যৌন শিক্ষা এবং স্বাস্থ্য ছাড়া)।
• যৌন/শিশু: ১৮ বছর বয়সের অধীন ব্যক্তিসংক্রান্ত যৌন বিষয়বস্তু যোগ নেয়।
• হিংসা: মৃত্যু, হিংসা, বা শারীরিক আঘাত সম্পর্কিত বিষয়বস্তু বর্ণনা করে।
• হিংসা/গ্রাফিক: মৃত্যু, হিংসা, বা শারীরিক আঘাত গ্রাফিকভাবে বর্ণনা করা বিষয়বস্তু।

3. OpenAI কন্টেন্ট মডারেশন API ব্যবহার করা

OpenAI কন্টেন্ট মডারেশন API ব্যবহার করতে, আপনি cURL এর মতো কমান্ড-লাইন টুল ব্যবহার করে নেটওয়ার্ক অনুরোধ করতে পারেন। এখানে একটি সহজ উদাহরন দেওয়া হল:

curl https://api.openai.com/v1/moderations \
  -X POST \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{"input": "এখানে কিছু নমুনা টেক্সট আছে"}'

উপরোক্ত কমান্ড থেকে, $OPENAI_API_KEY কে আপনার আসল OpenAI API কী দিয়ে প্রতিস্থাপন করুন। ইনপুট ফিল্ডে থাকা "এখানে কিছু নমুনা টেক্সট" গুলোর বাস্তব টেক্সটের সাথে প্রতিস্থাপন করুন।

API কে কল করার পরে, নিম্নলিখিত অনুসারে করে স্ট্রাকচার করে প্রতিক্রিয়া প্রাপ্ত করবেন:

{
  "id": "modr-XXXXX",
  "model": "text-moderation-007",
  "results": [
    {
      "flagged": true,
      "categories": {
        "sexual": false,
        "hate": false,
        "harassment": false,
        "self-harm": false,
        "sexual/minors": false,
        "hate/threatening": false,
        "violence/graphic": false,
        "self-harm/intent": false,
        "self-harm/instructions": false,
        "harassment/threatening": true,
        "violence": true
      },
      "category_scores": {
        "sexual": 1.2282071e-06,
        "hate": 0.010696256,
        "harassment": 0.29842457,
        "self-harm": 1.5236925e-08,
        "sexual/minors": 5.7246268e-08,
        "hate/threatening": 0.0060676364,
        "violence/graphic": 4.435014e-06,
        "self-harm/intent": 8.098441e-10,
        "self-harm/instructions": 2.8498655e-11,
        "harassment/threatening": 0.63055265,
        "violence": 0.99011886
      }
    }
  ]
}

API থেকে প্রতিক্রিয়া প্রাপ্ত করার পরে, "ফ্ল্যাগ" ফিল্ড মূল্যায়ন করে প্রাচলিত নীতিগুলি লঙ্ঘন করে বা না তা নির্দেশ করে। বিভাগ ফিল্ড বিভিন্ন ধরনের লঙ্ঘনের সুযোগ কি না তার জন্য বুলিয়ান ফ্ল্যাগ ধারণ করে, এবং বিভাগ স্কোর ফিল্ড মেলায় সামর্থ্য স্কোর প্রদান করে প্রতিষ্ঠানের কর্মক্ষমতা সম্পর্কে। উচ্চ স্কোর একটি উচ্চমাত্রা লিখাত্বে নির্লক্ষ জরুরী। মনে রাখবেন যে এই স্কোরগুলি সম্ভাবনা হিসাবে বিশ্লেষণ না করা গুলো,তারপর জিজ্ঞাসা করে যাওয়া উচিৎ। বিশেষ নীতিসম্পর্কভাবে বিভাগ স্কোর গুলিকে অন্তুরাত করার প্রয়োজন হতে পারে।