AI TrackerUnduh
← Semua berita
OpenAIProduk

OpenAI merilis pengklasifikasi gambar CSAM untuk organisasi terverifikasi dan menambahkan peringatan di ChatGPT

OpenAI menyatakan bahwa mereka merilis pengklasifikasi gambar yang mendeteksi potensi materi pelecehan seksual terhadap anak (CSAM), termasuk materi yang dihasilkan AI, dan memberikan skor untuk membantu peninjau menentukan prioritas. Alat ini dikembangkan dengan bantuan National Center for Missing and Exploited Children (NCMEC). Organisasi terverifikasi dapat meminta akses tanpa biaya melalui OpenAI API; OpenAI bekerja sama dengan Tech Coalition dan ROOST untuk membagikannya. Di API, model ini bernama omni-moderation-csam-latest pada endpoint /v1/moderations, dengan sinyal terpisah untuk potensi CSAM dan potensi CSAM yang dihasilkan AI. OpenAI menyebutnya sebagai pengklasifikasi CSAM pertama yang tersedia secara luas dengan sinyal khusus untuk menunjukkan apakah materi mungkin dihasilkan AI, serta telah menerbitkan kartu model.

Dalam evaluasi OpenAI sendiri terhadap gambar yang diunggah pengguna, pengklasifikasi ini akan menandai 48% lebih sedikit gambar daripada alat yang sudah ada, dengan menemukan jumlah gambar pelecehan yang kira-kira sama, dan gambar yang ditandai memiliki kemungkinan sekitar dua kali lebih besar untuk mengandung pelecehan. Mitra awal melaporkan hasil mereka sendiri: fal menyatakan bahwa peninjau mengonfirmasi 72% tanda berkeyakinan tinggi sebagai CSAM baru, invideo AI menyatakan bahwa satu dari empat kasus yang ditandai berujung pada pemblokiran akun, dan SafetyKit menyatakan bahwa mereka mendeteksi 90% kasus yang melibatkan gambar atau animasi.

Bagian lain dari pengumuman:

  • Peringatan ChatGPT: upaya mencari materi pelecehan kini memicu peringatan yang mengarahkan orang ke bantuan. OpenAI menyatakan bahwa mereka menghapus percakapan yang ditandai dan menangguhkan akses ke ChatGPT selama 24 jam, dengan pembatasan lebih lama, penutupan akun, atau laporan kepada pihak berwenang jika pelanggaran berulang.
  • Panduan pengembang: OpenAI menerbitkan panduan CSAM bagi pengembang tentang pencegahan, deteksi, dan pelaporan, serta menyatakan bahwa mereka bekerja sama dengan Anthropic dan Google untuk meminta Tech Coalition menyusun panduan penanganan pengungkapan kasus pelecehan dalam sistem AI.
  • Penegak hukum: unit investigasi keselamatan anak mendapatkan perangkat dan pelatihan baru. Perangkat pertama membantu penyidik meninjau log obrolan dan hasil dari proses hukum, menemukan keterkaitan, serta menyusun linimasa; aksesnya dikelola oleh administrator program.

Dapatkan berita seperti ini lewat push.

AI Tracker memberi tahu Anda saat ada perubahan pada alat yang Anda pakai.

Unduh aplikasinya