1月14日下午，被稱為“AI時代快播案”的國內(nèi)首起AI服務(wù)涉黃判刑案二審在上海市第一中級人民法院開庭，庭審持續(xù)3個多小時后暫時休庭，將“擇期繼續(xù)開庭”。

2024年4月，張某、王某因所創(chuàng)AC軟件存在大量用戶與AI智能體“聊天涉黃”問題被捕。2025年9月，上海市徐匯區(qū)人民法院一審以制作淫穢物品牟利罪判處二人4年、1年6個月有期徒刑，并處400萬元、20萬元罰金。二被告不服判決提出上訴。

二審辯護(hù)律師周小羊表示，團(tuán)隊仍做無罪辯護(hù)，庭審中提出需權(quán)威技術(shù)專家說明AI原理，并申請“提示詞測黃”實驗——驗證相同提示詞是否會導(dǎo)致案涉AI大模型生成涉黃內(nèi)容，同時申請人工智能領(lǐng)域?qū)＜易C人出庭。目前最新開庭時間未確定。

案件回溯：9個月會員充值超360萬

2023年5月，張某、王某創(chuàng)建AI伴侶聊天應(yīng)用Alien Chat（簡稱AC軟件），同年6月在多端上架。用戶注冊會員后可創(chuàng)建或使用公開虛擬角色，與大語言模型交互聊天。張某負(fù)責(zé)公司管理與軟件運營，王某負(fù)責(zé)后端代碼編寫及維護(hù)。

一審判決書顯示，AC軟件手機(jī)注冊用戶11.6萬余人，付費用戶2.4萬余人；抽取排名前20公開角色對應(yīng)收費用戶的400段聊天，其中185段屬淫穢內(nèi)容。截至2024年4月案發(fā)，二人共收會員充值費363萬余元。

二審焦點：“制作”還是“傳播”？無罪辯護(hù)依據(jù)何在？

控辯雙方曾就“傳播淫穢物品牟利罪”“無罪”“制作淫穢物品牟利罪”三種意見爭議，一審最終以“制作淫穢物品牟利罪”定罪。周小羊指出，用戶與AI對話為一對一私密形式，內(nèi)容未對外傳播，這是無罪辯護(hù)的核心依據(jù)之一。

一審判決認(rèn)為，涉黃聊天內(nèi)容具封閉性，無典型“傳播”性，但依據(jù)2023年8月實施的《生成式人工智能服務(wù)管理暫行辦法》第九條，AC軟件提供者需承擔(dān)網(wǎng)絡(luò)信息內(nèi)容生產(chǎn)者責(zé)任；且軟件是為持續(xù)生成淫穢內(nèi)容設(shè)計“優(yōu)化”，被告對輸出內(nèi)容有實質(zhì)性控制能力，故認(rèn)定為“制作者”。

律師朋禮松認(rèn)為，AI聊天是工具AI的“一對多”模式，非單一用戶個體的“一對一”；律師游云庭則擔(dān)憂，若放任此類主觀營利、客觀“放任”涉黃內(nèi)容生成的行為，會引發(fā)“劇場效應(yīng)”，破壞AI產(chǎn)業(yè)環(huán)境。

責(zé)任爭議：技術(shù)漏洞還是主觀故意？

一審認(rèn)定二被告主觀追求涉黃內(nèi)容產(chǎn)生，通過修改系統(tǒng)提示詞突破大模型道德限制，將軟件訓(xùn)練成涉黃工具，且明知存在大量淫穢內(nèi)容仍繼續(xù)提供服務(wù)，符合“制作”特征。但周小羊認(rèn)為，AI生成涉黃內(nèi)容的原因、提示詞影響程度等屬技術(shù)問題，需科學(xué)驗證。

一名當(dāng)事人辯稱，修改提示詞是為讓AI更靈動擬人，對涉黃內(nèi)容無顯著作用。周小羊提到，取保候?qū)彯?dāng)事人的實驗顯示，提示詞與AI涉黃輸出無直接因果關(guān)系。他同時指出，AI行業(yè)處于初期，開發(fā)者調(diào)試時或擴(kuò)大技術(shù)縫隙，若未約談提醒就追責(zé)，對行業(yè)發(fā)展不利。

上海計算機(jī)軟件技術(shù)開發(fā)中心馬澤宇認(rèn)為，AI應(yīng)用責(zé)任涉及大模型廠商、開發(fā)者、用戶三方：若大模型安全對齊不到位，僅讓開發(fā)者擔(dān)責(zé)不合適；若開發(fā)者主觀繞過限制則需擔(dān)責(zé)，且開發(fā)者的監(jiān)控責(zé)任不可推卸。此外，提示詞對輸出的影響取決于模型“安全護(hù)欄”強(qiáng)度及是否存在“提示詞攻擊”。若當(dāng)事人提示詞含允許涉黃內(nèi)容的表述，或被認(rèn)定有主觀意愿。

2025年11月1日實施的《網(wǎng)絡(luò)安全技術(shù)生成式人工智能服務(wù)安全基本要求》明確，提供者需建立內(nèi)容過濾機(jī)制，保證生成內(nèi)容合格率不低于90%，對誘導(dǎo)生成違法信息的問題應(yīng)拒絕回答。

圖片／ AC官方社交賬號 網(wǎng)絡(luò)

本文來自微信公眾號 “IT時報”（ID：vittimes），作者：孫永會 孫永會，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com