OpenAI phát hành bộ phân loại hình ảnh CSAM cho các tổ chức đã được thẩm định và bổ sung cảnh báo trong ChatGPT
OpenAI cho biết đang phát hành một bộ phân loại hình ảnh phát hiện nội dung có khả năng là tài liệu xâm hại tình dục trẻ em (CSAM), bao gồm cả tài liệu do AI tạo ra, đồng thời trả về điểm số để giúp người đánh giá ưu tiên xử lý. Công cụ được phát triển với sự hỗ trợ của National Center for Missing and Exploited Children (NCMEC). Các tổ chức đã được thẩm định có thể yêu cầu quyền truy cập miễn phí thông qua OpenAI API; OpenAI đã phối hợp với Tech Coalition và ROOST để chia sẻ công cụ này. Trong API, đây là model omni-moderation-csam-latest trên endpoint /v1/moderations, với các tín hiệu riêng biệt về CSAM tiềm ẩn và CSAM tiềm ẩn do AI tạo ra. OpenAI mô tả đây là bộ phân loại CSAM đầu tiên được cung cấp rộng rãi có tín hiệu riêng cho biết tài liệu có thể do AI tạo ra hay không, đồng thời đã công bố model card.
Trong đánh giá của OpenAI trên hình ảnh người dùng tải lên, bộ phân loại sẽ gắn cờ ít hơn 48% hình ảnh so với công cụ hiện có, trong khi phát hiện số hình ảnh lạm dụng gần như tương đương; những hình ảnh bị gắn cờ có khả năng chứa nội dung lạm dụng cao gấp khoảng hai lần. Các đối tác ban đầu báo cáo kết quả riêng: fal cho biết người đánh giá xác nhận 72% cảnh báo có độ tin cậy cao là CSAM mới, invideo AI cho biết cứ bốn trường hợp bị gắn cờ thì có một trường hợp dẫn đến lệnh cấm, còn SafetyKit cho biết công cụ phát hiện 90% trường hợp liên quan đến tranh vẽ hoặc hoạt hình.
Các nội dung khác trong thông báo:
- Cảnh báo trong ChatGPT: Các nỗ lực tìm kiếm tài liệu lạm dụng hiện sẽ kích hoạt cảnh báo hướng người dùng đến các nguồn trợ giúp. OpenAI cho biết họ xóa cuộc trò chuyện bị gắn cờ và tạm ngưng quyền truy cập ChatGPT trong 24 giờ; vi phạm lặp lại có thể dẫn đến hạn chế lâu hơn, đóng tài khoản hoặc báo cáo với cơ quan chức năng.
- Hướng dẫn dành cho nhà phát triển: OpenAI đã công bố hướng dẫn về CSAM dành cho nhà phát triển, tập trung vào phòng ngừa, phát hiện và báo cáo; công ty cũng cho biết đã phối hợp với Anthropic và Google để đặt hàng Tech Coalition soạn hướng dẫn về cách xử lý các tiết lộ liên quan đến lạm dụng trong hệ thống AI.
- Cơ quan thực thi pháp luật: Các đơn vị điều tra về an toàn trẻ em được cung cấp công cụ và đào tạo mới. Công cụ đầu tiên giúp điều tra viên xem xét nhật ký trò chuyện và phản hồi theo quy trình pháp lý, tìm mối liên hệ và lập dòng thời gian; quyền truy cập do quản trị viên chương trình quản lý.
Nguồn
Thảo luận
- OpenAI: Strengthening the fight against online child sexual abuseHacker News · 74 bình luận
- Strengthening the fight against online child sexual abuseHacker News · 188 bình luận
Nhận tin như thế này qua thông báo đẩy.
AI Tracker báo cho bạn khi công cụ bạn dùng có thay đổi.