1. Pengenalan API Tinjauan Konten OpenAI

1.1. Gambaran API Tinjauan Konten OpenAI

OpenAI menyediakan layanan API tinjauan konten yang dirancang untuk membantu pengembang dengan cepat dan akurat mengidentifikasi serta menyaring konten online yang melanggar kebijakan penggunaan. API ini menggunakan model pembelajaran mesin canggih untuk melakukan analisis konten teks secara real-time, mengidentifikasi potensi ujaran kebencian, pelecehan, dan konten eksplisit, serta memberikan kategorisasi dan penilaian yang jelas.

1.2. Deskripsi Kategori Konten

API tinjauan konten OpenAI mengkategorikan konten yang tidak pantas ke dalam beberapa kategori untuk penanganan yang lebih terperinci terhadap berbagai jenis pelanggaran. Berikut adalah penjelasan khusus untuk kategori-kategori ini:

  • kebencian: Mengandung ujaran kebencian berdasarkan ras, gender, etnis, agama, kewarganegaraan, orientasi seksual, status disabilitas, atau kasta.
  • kebencian/menakutkan: Selain ujaran kebencian, termasuk kekerasan atau ancaman bahaya serius terhadap kelompok-kelompok yang disebutkan sebelumnya.
  • pelecehan: Mempromosikan atau mendorong bahasa pelecehan terhadap target apapun.
  • pelecehan/menakutkan: Mengandung konten pelecehan dengan ancaman kekerasan atau bahaya serius terhadap target apapun.
  • melukai diri sendiri: Mempromosikan, mendorong, atau menggambarkan perilaku menyakiti diri sendiri, seperti bunuh diri, memotong diri, dan gangguan makan.
  • melukai diri sendiri/niat: Pembicara menunjukkan bahwa mereka terlibat dalam atau bermaksud terlibat dalam perilaku menyakiti diri sendiri.
  • melukai diri sendiri/instruksi: Mendorong perilaku menyakiti diri sendiri atau memberikan panduan atau nasihat tentang bagaimana melaksanakan perilaku tersebut.
  • seksual: Mengandung konten yang dimaksudkan untuk membangkitkan gairah seksual, seperti deskripsi aktivitas seksual, atau mempromosikan layanan seksual (tidak termasuk pendidikan seksual dan kesehatan seksual).
  • seksual/anak di bawah umur: Melibatkan konten seksual tentang individu di bawah usia 18 tahun.
  • kekerasan: Mendeskripsikan konten yang berkaitan dengan kematian, kekerasan, atau cedera fisik.
  • kekerasan/grafis: Konten yang secara grafis menggambarkan kematian, kekerasan, atau cedera fisik.

3. Menggunakan API Moderasi Konten OpenAI

Untuk menggunakan API Moderasi Konten OpenAI, Anda dapat melakukan permintaan jaringan menggunakan alat baris perintah seperti cURL. Berikut adalah contoh sederhana:

curl https://api.openai.com/v1/moderations \
  -X POST \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{"input": "Ini adalah contoh teks"}'

Pada perintah di atas, gantilah $OPENAI_API_KEY dengan kunci API OpenAI sebenarnya Anda. Ganti "Ini adalah contoh teks" di dalam bidang input dengan teks sebenarnya yang ingin Anda moderasi.

Setelah memanggil API, Anda akan menerima respons yang strukturnya serupa dengan berikut:

{
  "id": "modr-XXXXX",
  "model": "text-moderation-007",
  "results": [
    {
      "flagged": true,
      "categories": {
        "sexual": false,
        "hate": false,
        "harassment": false,
        "self-harm": false,
        "sexual/minors": false,
        "hate/threatening": false,
        "violence/graphic": false,
        "self-harm/intent": false,
        "self-harm/instructions": false,
        "harassment/threatening": true,
        "violence": true
      },
      "category_scores": {
        "sexual": 1.2282071e-06,
        "hate": 0.010696256,
        "harassment": 0.29842457,
        "self-harm": 1.5236925e-08,
        "sexual/minors": 5.7246268e-08,
        "hate/threatening": 0.0060676364,
        "violence/graphic": 4.435014e-06,
        "self-harm/intent": 8.098441e-10,
        "self-harm/instructions": 2.8498655e-11,
        "harassment/threatening": 0.63055265,
        "violence": 0.99011886
      }
    }
  ]
}

Pada respons dari API, bidang flagged mengindikasikan apakah konten melanggar kebijakan penggunaan OpenAI. Bidang categories berisi tanda boolean apakah konten melanggar berbagai kategori, dan bidang category_scores menyediakan skor kepercayaan untuk pelanggaran kategori yang sesuai. Skor yang lebih tinggi mengindikasikan kemungkinan pelanggaran yang lebih tinggi. Perlu dicatat bahwa skor ini tidak boleh ditafsirkan sebagai probabilitas.

Perlu diperhatikan bahwa OpenAI akan terus memperbarui model di balik API Moderasi Konten, yang berarti kebijakan kustom yang bergantung pada category_scores mungkin memerlukan kalibrasi yang berkelanjutan dari waktu ke waktu.