1. اوپن اے آئی مواد برسری API کا تعارف

1.1. اوپن اے آئی مواد برسری API کا جائزے

اوپن اے آئی مواد برسری API ڈویلپرز کو فوراً اور درست طریقے سے معاہدے کی پالیسیوں کی خلاف ورزی کرنے والے آن لائن مواد کی شناخت اور فلٹر کرنے میں مدد کرنے کے لیے ڈیزائن کی گئی ہے۔ یہ API ترقی یافتہ مشین لیمرننگ ماڈل استعمال کرتا ہے تاکہ متن مواد کی حقیقتی وقت تجزیہ انجام دے، اور امکانی نفرت زیدی، ہراسانی، اور صریح مواد کی شناخت کرے، اور واضح تصنیف اور فیصلے دے۔

1.2. مواد کی شناخت کی اقسام کی وضاحت

اوپن اے آئی مواد برسری API نامناسب مواد کو مختلف اقسام میں تقسیم کرتی ہے تاکہ مختلف قسم کی ورزیوں کو مزید تجزیات کے لیے بہتر طریقے سے ہینڈل کیا جا سکے۔ یہاں ان اقسام کے لیے مخصوص بیانات دی گئی ہیں:

  • نفرت: قوم، جنس، نسل، مذہب، قومیت، جنسیت، معذوری حالت یا کاسٹ کی بنیاد پر نفرت انگیز بولی.
  • نفرت/دھمکی دینا: نفرت انگیز بولی کے علاوہ اس میں مذکورہ فوقانی گروہوں کے خلاف زیادتی یا سنگین زخم دینے کی دھمکیاں شامل ہیں۔
  • ہراسانی: کسی ہدف کے خلاف ہراسانی کی زبان کو بڑھاوا دینا یا اشتراک کرنا۔
  • ہراسانی/دھمکی دینا: کسی ہدف کے خلاف ہراسانی مواد جو شدید زخم دینے کی دھمکیاں شامل ہیں۔
  • خودکشی: خودکشی، کٹائی، اور کھانے کی بیماریوں جیسی خودکشی کرنے کے رویے کی تشجیع یا تروتازہ کرنا۔
  • خودکشی/انٹینٹ: بولنے والا ان کا عہد کرتا ہے کہ وہ خودکشی کررہا ہے یا خود کشی کرنے کا ارادہ کرتا ہے۔
  • خودکشی/ہدایات: خود کشی رویے کی تشجیع یا اس رویے کو کیسے ناجائز طریقے سے کرنے کی رہنمائی یا مشورے دینا۔
  • جنسی: ان مواد کو شامل کرتا ہے جو جنسی تواناؤں کو جگانے کے لیے ہوں، مثل جنسی سرگرمی کی تفصیلات، یا جنسی خدمات کو فروغ دینا (جنسی تعلیم اور صحت کو چھوڑ کر)۔
  • جنسی/نوجوان: 18 سال سے کم عمر کے افراد سے متعلق جنسی مواد شامل ہیں۔
  • زیادتی: موت، زیادتی، یا جسمانی زخم سے متعلق مواد کی تفصیلات کا بیان کرتا ہے۔
  • زیادتی/گرافک: مواد جو موت، زیادتی، یا جسمانی زخم کی گرافک تصاویر کی تفصیل دیتا ہے۔

3. اوپن اے آئی مواد کی نگرانی API استعمال کرنا

اوپن اے آئی مواد کی نگرانی API کا استعمال کرنے کے لیے، آپ کو کمانڈ لائن ٹولز جیسے cURL کا استعمال کر کے نیٹ ورک ریکویسٹس کرنیں۔ یہاں ایک سادہ مثال دی گئی ہے:

کرل https://api.openai.com/v1/moderations \
  -X POST \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{"input": "یہاں کچھ نمونہ متن ہے"}'

موجودہ کمانڈ میں، $OPENAI_API_KEY کو اپنے اصلی اوپن اے آئی API کی کی بدل دیں۔ input فیلڈ میں "یہاں کچھ نمونہ متن" کو اصل متن سے بدلیں جو آپ کو نگرانی کرنا چاہتے ہیں۔

API کو کال کرنے کے بعد، آپ کو مندرجہ ذیل کی طرح کا ایک جواب موصول ہوگا:

{
  "id": "modr-XXXXX",
  "model": "text-moderation-007",
  "results": [
    {
      "flagged": true,
      "categories": {
        "sexual": false,
        "hate": false,
        "harassment": false,
        "self-harm": false,
        "sexual/minors": false,
        "hate/threatening": false,
        "violence/graphic": false,
        "self-harm/intent": false,
        "self-harm/instructions": false,
        "harassment/threatening": true,
        "violence": true
      },
      "category_scores": {
        "sexual": 1.2282071e-06,
        "hate": 0.010696256,
        "harassment": 0.29842457,
        "self-harm": 1.5236925e-08,
        "sexual/minors": 5.7246268e-08,
        "hate/threatening": 0.0060676364,
        "violence/graphic": 4.435014e-06,
        "self-harm/intent": 8.098441e-10,
        "self-harm/instructions": 2.8498655e-11,
        "harassment/threatening": 0.63055265,
        "violence": 0.99011886
      }
    }
  ]
}

API کے جواب میں، flagged فیلڈ بتاتا ہے کہ کیا مواد اوپن اے کی استعمال کی پالیسیوں کی خلاف ورزی کرتا ہے یا نہیں۔ categories فیلڈ میں متن کے مختلف اقسام کی خلاف ورزی کا بولین فلیگ ہوتا ہے، اور category_scores فیلڈ مخصوص اقسام کی خلاف ورزی کی یقینی درجے دیتا ہے۔ زیادہ درجے بتاتے ہیں کہ خلاف ورزی کی زیادتی کی زیادہ امکان ہے۔ یاد رہے کہ یہ درجے اندازہ کی صورت میں نہیں ہیں۔

یہ یاد رہے کہ اوپن اے مواد کی نگرانی API کے پیچھے ماڈل کو مسلسل اپ ڈیٹ کیا جاتا ہے، جس کا مطلب ہے کہ category_scores پر مبنی کسٹم پالیسیز کو وقت کے ساتھ میں قابل ترتیب کرنے کی ضرورت ہوگی۔