۴۰۴Media می‌نویسد هوش مصنوعی Civitai می‌تواند برای ساخت تصاویری استفاده شود که «ممکن است به‌عنوان سوءاستفاده جنسی کودکان دسته‌بندی شوند.»
OctoML می‌گوید چند روز پس از تحقیقات انجام‌شده توسط ۴۰۴Media، متوجه شد که پلتفرم Civitai می‌تواند تصاویری بسازد که شامل محتوای آسیب‌رسان به کودکان است. در واکنش به این اتفاق، OctoML به روابط تجاری خود با Civitai پایان داد.
Civitai قبلاً برای تولید تصویر به OctoAI متکی بود. در حالی که OctoML در ابتدا اعلام کرد که به همکاری با Civitai ادامه خواهد داد و اقدامات جدیدی را برای جلوگیری از ایجاد تصاویر مضر معرفی کرد، ۴۰۴ Media روز شنبه گزارش داد که این شرکت اکنون تصمیم گرفته است که به‌طور کلی روابط خود را با این پلتفرم قطع کند.
مطابق تحقیقات انجام‌شده، OctoML از ایجاد مطالب هرزه‌نگاری توسط برخی از کاربران Civitai آگاه بوده است که تصاویر بدون مجوز از افراد واقعی و تصاویر مستهجن از کودکان را شامل می‌شود.
در گزارش بعدی، نشریه‌ی ۴۰۴Media اشاره کرد که OctoML قبل از اعلام تصمیم خود برای خروج، فیلتری را برای جلوگیری از تولید تمام محتوای نامناسب در Civitai ایجاد کرد.
Civitai همچنین در پاسخ به تحقیقات، روش‌های نظارتی جدیدی را اضافه کرد، از جمله یک تابع اجباری به نام Civitai Safe Helper (Minor) که مدل را از تولید تصاویر کودکان در صورت «تشخیص تم بالغانه یا کلمه کلیدی خاص» منع می‌کند.
در ماه نوامبر (آبان و آذر)، ۴۰۴Media متوجه شد که از Civitai برای ساختن دیپ‌فیک‌های غیرقانونی از افراد مشهور، اینفلوئنسرها و حتی یک شهروند خصوصی استفاده می‌شود که در بسیاری از موارد ماهیت جنسی داشتند. افراد مورد مطالعه عمدتاً زنان بودند.
OctoML که از سرورهای خدمات وب آمازون استفاده می‌کند، دیگر نمی‌خواهد درگیر این ماجرا باشد. OctoML در بیانیه‌ای گفت: «ما تصمیم گرفتیم روابط تجاری خود را با Civitai قطع کنیم. این تصمیم با تعهد ما برای اطمینان از استفاده‌ی ایمن و مسئولانه از هوش مصنوعی مطابقت دارد.»
زومیت
