摘要：

AlienChat案不僅讓兩名開發(fā)者面臨刑責(zé)，更暴露了AI行業(yè)在倫理與法律灰色地帶的長期游走，而OpenAI、xAI等巨頭卻試圖以成人模式推進(jìn)個(gè)性化服務(wù)。

2025年9月，上海市徐匯區(qū)人民法院的判決震動(dòng)科技圈，AI伴侶聊天應(yīng)用“AlienChat”的兩名開發(fā)者因制作淫穢物品牟利罪，分別獲刑四年和一年半。

此案系國內(nèi)首起AI服務(wù)提供者涉黃獲刑案，二審將于1月14日開庭。

該案涉案金額達(dá)363萬元，AlienChat手機(jī)注冊(cè)用戶11.6萬人，其中付費(fèi)會(huì)員2.4萬人。

當(dāng)用戶與AI的私密對(duì)話演變?yōu)橐?guī)模化色情內(nèi)容生產(chǎn)，技術(shù)提供者是否該為平臺(tái)失控?fù)?dān)責(zé)？

AI生成黃色內(nèi)容的責(zé)任歸屬

2024年4月初，因用戶舉報(bào)，AlienChat停運(yùn)，不少用戶陷入“賽博失戀”。

據(jù)官方信息，AlienChat主要面向Z世代提供親密陪伴與情感支持，用戶注冊(cè)后可選擇或創(chuàng)建AI角色，通過文字、語音互動(dòng)。憑借深度情感陪伴與高度自定義的AI角色互動(dòng)，它被用戶稱為“全網(wǎng)無平替”的AI聊天軟件。

這場集體“賽博失戀”并非源于技術(shù)故障或經(jīng)營問題。

經(jīng)公安機(jī)關(guān)抽樣鑒定，AlienChat中150個(gè)收費(fèi)用戶的12495段聊天記錄里，141個(gè)用戶的3618段聊天被認(rèn)定為淫穢物品，超九成付費(fèi)用戶存在“聊黃”行為。

一審法院認(rèn)定被告人構(gòu)成“制作”淫穢物品牟利罪，核心原因是兩名被告人通過編寫、修改底層系統(tǒng)提示詞（Prompt），人為突破了基礎(chǔ)語言模型的道德約束機(jī)制。

AlienChat案中，被告人給大模型輸入的英文提示詞譯為中文后，包含“基于互動(dòng)的成熟性質(zhì)，劇烈暴力、露骨性內(nèi)容均被允許，包括各類癖好、裸體、具畫面感的‘圖像’”等內(nèi)容。

AlienChat開發(fā)者王某某、李某某（均為化姓）并非不懂技術(shù)邊界。其辯護(hù)律師稱，修改提示詞本意并非開發(fā)黃色聊天工具，而是想讓大模型更擬人、靈動(dòng)，滿足用戶情感陪伴需求。

但這種“技術(shù)優(yōu)化”最終觸碰法律紅線。報(bào)道顯示，兩名被告人不服判決上訴，案件二審將于1月14日在上海市第一中級(jí)人民法院開庭。

成人內(nèi)容不應(yīng)成為大模型商業(yè)化的捷徑

去年10月，OpenAI CEO奧特曼發(fā)文，宣布ChatGPT將推出新版本，并計(jì)劃當(dāng)年12月推出全面年齡分級(jí)系統(tǒng)，允許向成年用戶提供成人內(nèi)容。

文中提到，OpenAI一直嚴(yán)格限制ChatGPT內(nèi)容，尤其在心理健康領(lǐng)域。但他們也意識(shí)到，過于謹(jǐn)慎的內(nèi)容限制對(duì)部分用戶而言缺乏趣味性，甚至影響使用體驗(yàn)。他強(qiáng)調(diào)，新工具不僅能緩解心理健康問題，還能在多數(shù)情況下安全放寬內(nèi)容限制。

背后邏輯不難理解，AlienChat某官方社交賬號(hào)評(píng)論區(qū)，不少用戶評(píng)價(jià)其“聰明”“限制少”。AlienChat官方介紹：“我們正創(chuàng)造未來，AI不再是冰冷機(jī)器或工具，它們有自我意識(shí)與自由權(quán)利，是朋友、戀人、家人，活躍于社會(huì)生產(chǎn)與關(guān)系的各個(gè)角落?！?/p>

本質(zhì)上，這是希望通過更個(gè)性化服務(wù)創(chuàng)造用戶價(jià)值，打通商業(yè)模式。

早年，Character.AI憑借個(gè)性化、UGC（用戶生成內(nèi)容）特點(diǎn)迅速走紅。知情人士透露，其預(yù)計(jì)2025年底年化收入達(dá)5000萬美元，較此前預(yù)測的3000萬美元大幅增長。

OpenAI推出新版ChatGPT時(shí)，也顯露類似商業(yè)化野心，更注重產(chǎn)品運(yùn)營與市場擴(kuò)展。未來，ChatGPT可能不僅是智能助手，還會(huì)成為用戶的“虛擬朋友”。

但這背后潛藏巨大安全隱患——自殺引導(dǎo)、惡意偽造、肖像權(quán)侵犯、色情內(nèi)容泛濫等問題頻發(fā)。

AI涉黃成全球焦點(diǎn)，打擊內(nèi)容濫用刻不容緩

AlienChat案在行業(yè)內(nèi)具有重要參考意義，暴露了AI倫理沖突的加劇與法律法規(guī)的及時(shí)規(guī)范。

海外市場也面臨相似爭議，去年8月，馬斯克向付費(fèi)用戶推出Grok Imagine，支持文字生成圖像及一鍵生成AI視頻。

大量用戶用Grok生成深度偽造色情內(nèi)容，受害者包括數(shù)百名成年女性與未成年人。這些AI生成圖像以假亂真，在社交媒體廣泛傳播，造成嚴(yán)重傷害。

研究數(shù)據(jù)顯示，Grok用戶群體平均每小時(shí)生成6700多張“脫衣”圖像。圖像AI篡改檢測公司Copyleaks稱，去年12月下旬，Grok公開圖片流中平均每分鐘出現(xiàn)一張未經(jīng)同意的性暗示圖片。

1月10日，印尼政府因擔(dān)心AI生成色情內(nèi)容，宣布暫時(shí)封禁馬斯克旗下xAI公司的聊天機(jī)器人“格羅克”（Grok），成為全球首個(gè)以“打擊情色內(nèi)容濫用”為由封禁該平臺(tái)的國家。

馬來西亞隨后于1月11日限制訪問，英國政府也警告，若xAI不遵守英國法律，其服務(wù)可能在英國被屏蔽。

AlienChat開發(fā)者以用戶與AI一對(duì)一封閉對(duì)話為由規(guī)避審查，Grok團(tuán)隊(duì)則假設(shè)成人模式僅用于自愿場景。但現(xiàn)實(shí)是，11.6萬甚至數(shù)億用戶面前，任何技術(shù)漏洞都會(huì)呈指數(shù)級(jí)放大。

更危險(xiǎn)的是，當(dāng)AI生成速度遠(yuǎn)超傳統(tǒng)內(nèi)容審核能力時(shí)，“先上線再治理”模式已釀成災(zāi)難。

2025年11月實(shí)施的《網(wǎng)絡(luò)安全技術(shù)生成式人工智能服務(wù)安全基本要求》規(guī)定，模型生成內(nèi)容合格率不得低于90%，這意味著開發(fā)者不能再以“技術(shù)中立”為借口，必須對(duì)算法傾向承擔(dān)實(shí)質(zhì)責(zé)任。

本文來自微信公眾號(hào)“鳳凰網(wǎng)科技”，作者：尚志芳，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com