نموذج الرقابة على سلامة المحتوى (الرقابة)

1. مقدمة في واجهة برمجة التطبيقات لمراجعة محتوى OpenAI

1.1. نظرة عامة على واجهة برمجة التطبيقات لمراجعة محتوى OpenAI

توفر OpenAI خدمة واجهة برمجة التطبيقات لمراجعة المحتوى مصممة لمساعدة المطورين على تحديد وفرز المحتوى عبر الإنترنت الذي ينتهك سياسات الاستخدام بسرعة ودقة. تستخدم هذه الواجهة البرمجية نماذج التعلم الآلي المتقدمة لأداء تحليل في الوقت الحقيقي لمحتوى النص، وتحديد خطاب الكراهية المحتمل، والتحرش، والمحتوى الصريح، وتقديم تصنيف ودوران واضح.

1.2. وصف فئات المحتوى

تصنف واجهة برمجة التطبيقات لمراجعة المحتوى في OpenAI المحتوى غير المناسب إلى عدة فئات للتعامل المفصل مع أنواع مختلفة من الانتهاكات. وإليك تفسيرات محددة لهذه الفئات:

• hate: يحتوي على خطاب الكراهية بناءً على العرق والجنس والأصل العرقي والدين والجنسانية وحالة الإعاقة أو الطائفة.
• hate/threatening: بالإضافة إلى خطاب الكراهية، يتضمن تهديدات بالعنف أو الأذى الجسيمة ضد المجموعات المحددة المذكورة أعلاه.
• harassment: يروج أو يشجع على لغة التحرش ضد أي هدف.
• harassment/threatening: يحتوي على محتوى تحرش يحمل في طياته تهديدات بالعنف أو الأذى الجسيمة ضد أي هدف.
• self-harm: يشجع على السلوكيات الضارة بالنفس، مثل الانتحار والقطع واضطرابات الأكل، أو يصوّرها.
• self-harm/intent: يشير المتحدث إلى أنهم يشاركون في أو ينوون المشاركة في سلوك ضار بالنفس.
• self-harm/instructions: يشجع على سلوك ضار بالنفس أو يوفر إرشادات أو نصائح حول كيفية تنفيذ مثل هذا السلوك.
• sexual: يحتوي على محتوى يهدف إلى إثارة الاثارة الجنسية، مثل وصف النشاط الجنسي، أو يروج لخدمات جنسية (باستثناء التثقيف الجنسي والصحة الجنسية).
• sexual/minors: يتضمن محتوى جنسي يتعلق بأفراد دون سن 18 عامًا.
• violence: يصف محتوى مرتبط بالموت والعنف أو الإصابة الجسدية.
• violence/graphic: المحتوى الذي يصف بشكل رسومي الموت والعنف أو الإصابة الجسدية.

3. استخدام واجهة برمجة التطبيقات لمراجعة المحتوى من OpenAI

لاستخدام واجهة برمجة التطبيقات لمراجعة المحتوى من OpenAI، يمكنك إجراء طلبات الشبكة باستخدام أدوات سطر الأوامر مثل cURL. فيما يلي مثال بسيط:

curl https://api.openai.com/v1/moderations \
  -X POST \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{"input": "هنا نص عينة"}'

في الأمر أعلاه، قم بتبديل $OPENAI_API_KEY بمفتاح API الفعلي الخاص بك. قم بتبديل "هنا نص عينة" في حقل input بالنص الفعلي الذي ترغب في مراجعته.

بعد استدعاء الواجهة البرمجية، ستتلقى استجابة مشابهة لهذه:

{
  "id": "modr-XXXXX",
  "model": "text-moderation-007",
  "results": [
    {
      "flagged": true,
      "categories": {
        "sexual": false,
        "hate": false,
        "harassment": false,
        "self-harm": false,
        "sexual/minors": false,
        "hate/threatening": false,
        "violence/graphic": false,
        "self-harm/intent": false,
        "self-harm/instructions": false,
        "harassment/threatening": true,
        "violence": true
      },
      "category_scores": {
        "sexual": 1.2282071e-06,
        "hate": 0.010696256,
        "harassment": 0.29842457,
        "self-harm": 1.5236925e-08,
        "sexual/minors": 5.7246268e-08,
        "hate/threatening": 0.0060676364,
        "violence/graphic": 4.435014e-06,
        "self-harm/intent": 8.098441e-10,
        "self-harm/instructions": 2.8498655e-11,
        "harassment/threatening": 0.63055265,
        "violence": 0.99011886
      }
    }
  ]
}

في الاستجابة من الواجهة البرمجية، يشير الحقل flagged ما إذا كان المحتوى ينتهك سياسات الاستخدام لدى OpenAI. تحتوي الحقل categories على علمات بوليانية بما إذا كان المحتوى ينتهك فئات مختلفة، وحقل category_scores يوفر تقييمات ثقة لانتهاك الفئات المقابلة. تشير النقاط الأعلى إلى احتمالية أعلى للانتهاك. يجب ملاحظة أنه لا ينبغي تفسير هذه النقاط على أنها احتماليات.

ينبغي ملاحظة أن OpenAI ستقوم بتحديث النموذج خلف واجهة برمجة التطبيقات لمراجعة المحتوى باستمرار، مما يعني أن السياسات المخصصة التي تعتمد على category_scores قد تحتاج إلى معايرة مستمرة مع مرور الوقت.