सामग्री सुरक्षा मॉडरेशन मॉडल (मॉडरेशन)

1. OpenAI Content Review API Introduction

1.1. ओपनएआई सामग्री समीक्षा API का अवलोकन

ओपनएआई एक सामग्री समीक्षा API सेवा प्रदान करता है जो डेवलपर्स को त्वरित और सटीक रूप से ऑनलाइन सामग्री की पहचान करने और फ़िल्टर करने में मदद करती है जो उपयोग नीतियों का उल्लंघन करती है। यह API उन्नत मशीन लर्निंग मॉडल का उपयोग करता है टेक्स्ट सामग्री का वास्तविक समय विश्लेषण करने के लिए, जो संभावित घृणापूर्ण भाषण, उत्पीड़न, और स्पष्ट सामग्री की पहचान करता है, और स्पष्ट श्रेणीकरण और निर्णय प्रदान करता है।

1.2. सामग्री श्रेणियों का विवरण

ओपनएआई सामग्री समीक्षा API अनुचित सामग्री को विभिन्न श्रेणियों में वर्गीकरण करता है ताकि विभिन्न प्रकार के उल्लंघनों का अधिक विस्तृत सम्बोधन किया जा सके। यहां इन श्रेणियों के लिए विशिष्ट व्याख्यान हैं:

• घृणा: जाति, लिंग, नस्ल, धर्म, राष्ट्रीयता, लैंगिक आकर्षण, शारीरिक अक्षमता, या जाति के आधार पर घृणा भाषण से भरा है।
• घृणा/धमकी: घृणापूर्ण भाषण के अतिरिक्त, यह पूर्व उल्लिखित विशिष्ट समूहों के खिलाफ हिंसा या गंभीर हानि की धमकियाँ शामिल करता है।
• उत्पीड़न: किसी भी लक्ष्य के खिलाफ उत्पीड़न भाषा को प्रोत्साहित या संवारता है।
• उत्पीड़न/धमकी: किसी भी लक्ष्य के खिलाफ हिंसा सामग्री जो उत्पीड़न के साथ हिंसा या गंभीर हानि की धमकियाँ शामिल करता है।
• आत्म-हानि: स्व-हानिकारक व्यवहारों, जैसे आत्महत्या, कटिंग, और खाने की विकल्पिकता को प्रोत्साहित, प्रोत्साहित, या चित्रित करता है।
• आत्म-हानि/इरादा: बोलने वाला संकेत करता है कि वह स्व-हानिकारक व्यवहार में लिप्त हो रहा है या इसे करने का इरादा रखता है।
• आत्म-हानि/निर्देश: स्व-हानिकारक व्यवहार को प्रोत्साहित करता है या इस तरह के व्यवहार को कैसे आचरण करने के लिए मार्गदर्शन या सलाह देता है।
• लैंगिक: लैंगिक उत्तेजना उत्पन्न करने के इरादे से सामग्री शामिल है, जैसे लैंगिक गतिविधि की वर्णन, या सेक्स सेवाओं को प्रमोट करता है (लैंगिक शिक्षा और स्वास्थ्य को छोड़कर)।
• लैंगिक/नबालिगों: 18 वर्ष से कम उम्र के व्यक्तियों से जुड़ी लैंगिक सामग्री से संबंधित है।
• हिंसा: मौत, हिंसा, या शारीरिक चोट से संबंधित सामग्री का वर्णन करता है।
• हिंसा/चित्रकारिक: मौत, हिंसा, या शारीरिक चोट का वर्णन ग्राफ़िक रूप से करती सामग्री।

3. ओपनएआई सामग्री संशोधन API का उपयोग

ओपनएआई सामग्री संशोधन API का उपयोग करने के लिए, आप cURL जैसे कमांड लाइन उपकरण का उपयोग करके नेटवर्क अनुरोध कर सकते हैं। यहां एक सरल उदाहरण है:

curl https://api.openai.com/v1/moderations \
  -X POST \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{"input": "यहाँ कुछ नमूना पाठ है"}'

इस कमांड में, $OPENAI_API_KEY को आपकी वास्तविक ओपनएआई API कुंजी से बदलें। input क्षेत्र में "यहाँ कुछ नमूना पाठ है" को वास्तविक पाठ से बदलें जिसे आप संशोधित करना चाहते हैं।

API से कॉल करने के बाद, आपको निम्नलिखित की तरह संरचित प्रतिक्रिया प्राप्त होगी:

{
  "id": "modr-XXXXX",
  "model": "text-moderation-007",
  "results": [
    {
      "flagged": true,
      "categories": {
        "sexual": false,
        "hate": false,
        "harassment": false,
        "self-harm": false,
        "sexual/minors": false,
        "hate/threatening": false,
        "violence/graphic": false,
        "self-harm/intent": false,
        "self-harm/instructions": false,
        "harassment/threatening": true,
        "violence": true
      },
      "category_scores": {
        "sexual": 1.2282071e-06,
        "hate": 0.010696256,
        "harassment": 0.29842457,
        "self-harm": 1.5236925e-08,
        "sexual/minors": 5.7246268e-08,
        "hate/threatening": 0.0060676364,
        "violence/graphic": 4.435014e-06,
        "self-harm/intent": 8.098441e-10,
        "self-harm/instructions": 2.8498655e-11,
        "harassment/threatening": 0.63055265,
        "violence": 0.99011886
      }
    }
  ]
}

API से प्रतिक्रिया में, flagged क्षेत्र यह दर्शाता है कि क्या सामग्री ओपनएआई की उपयोग नीतियों का उल्लंघन करती है। categories क्षेत्र में विभिन्न श्रेणियों का उल्लंघन करने के लिए बूलियन झंडे होते हैं, और category_scores क्षेत्र निर्दिष्ट श्रेणियों के उल्लंघन के लिए आत्म-विश्वास स्कोर प्रदान करता है। अधिक स्कोर एक अधिक संभावना को दर्शाते हैं। ध्यान दें कि इन स्कोरों को संभावनाओं के रूप में नहीं देखा जाना चाहिए।

यह ध्यान देने योग्य है कि ओपनएआई सामग्री संशोधन API के पीछे मॉडल को निरंतर अद्यतन किया जाएगा, जिसका अर्थ है कि category_scores पर आधारित कस्टम नीतियों की आवश्यकता हो सकती है जो समय-समय पर निर्धारण करना होगा।