作者 | 玉城風(fēng)
編輯 | 向現(xiàn)
“AI人文學(xué)”·序章
本月開(kāi)始，所有備受原創(chuàng)內(nèi)容的AI侵權(quán)之?dāng)_、深受AI造假資訊困擾之苦的群體，迎來(lái)了福音。
9月1日起，國(guó)家網(wǎng)信辦等四部門聯(lián)合發(fā)布的《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》正式施行。這一新規(guī)的關(guān)鍵變化在于：從國(guó)家層面明確要求，所有AI生成的文字、圖片、視頻等內(nèi)容都要“亮明身份”。
《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》通知 / 圖源：中國(guó)網(wǎng)信網(wǎng)
此次的“標(biāo)識(shí)辦法”界定，所謂“人工智能生成合成內(nèi)容”，是指利用人工智能技術(shù)生成、合成的文本、圖片、音頻、視頻、虛擬場(chǎng)景等信息。而所要求的“標(biāo)識(shí)”則包括顯式標(biāo)識(shí)和隱式標(biāo)識(shí)。辦法要求，平臺(tái)在服務(wù)提供者的內(nèi)容上架或上線時(shí)，有責(zé)任進(jìn)行審核，核驗(yàn)生成合成內(nèi)容標(biāo)識(shí)。一旦發(fā)現(xiàn)未標(biāo)識(shí)或疑似生成內(nèi)容，則須添加風(fēng)險(xiǎn)提示，從而在傳播端阻斷虛假信息擴(kuò)散。
這一“標(biāo)識(shí)辦法”的出臺(tái)，實(shí)現(xiàn)了同《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》等法規(guī)的充分銜接與補(bǔ)充，將為“AI創(chuàng)作”（特別是某些所謂“二次創(chuàng)作”）畫(huà)出一條明規(guī)亮矩、定分止?fàn)幍募t線。
AI換臉：以假亂真的深度幻象
今年春的全國(guó)兩會(huì)上，小米董事長(zhǎng)雷軍代表提交了一份關(guān)于加強(qiáng)“AI換臉擬聲”違法侵權(quán)重災(zāi)區(qū)治理的建議。
雷軍提交這一建議，是有前因的。上一個(gè)國(guó)慶假期，網(wǎng)上有人用AI捏造雷軍配音，所謂“雷軍語(yǔ)音包”層出不窮，從吐槽假期到惡意罵人，花樣迭出。
對(duì)此，雷軍本人還專門發(fā)視頻，呼吁大家不要再惡搞：“這段時(shí)間，看到很多人在玩‘雷軍語(yǔ)音包’。有網(wǎng)友說(shuō)國(guó)慶被我罵了整整7天，這事確實(shí)讓我挺困擾的。”
雷軍的困擾，顯然只是這類問(wèn)題的冰山一角。
如果說(shuō)“AI換音”尚屬隱形的幽靈，那么“AI換臉”就是超真實(shí)世界的幻象。后者以前所未有的方式挑戰(zhàn)著人類的認(rèn)知極限。
小羅伯特·唐尼的臉被替換為馬斯克的臉
通過(guò)這項(xiàng)技術(shù)，人們可以輕松地將一個(gè)人的臉部特征替換到另一個(gè)人的身上，生成幾乎能夠以假亂真的視頻。這種技術(shù)在娛樂(lè)、廣告等領(lǐng)域有著廣泛的應(yīng)用前景，但同時(shí)也為惡意造假者傳授了“芝麻開(kāi)門”的咒語(yǔ)。
七八年前，換臉軟件Deepfake（深度偽造）剛剛亮相就引起轟動(dòng)。美國(guó)社交新聞網(wǎng)站Reddit的成人交流社區(qū)里，一個(gè)用戶把《神奇女俠》“女一號(hào)”蓋爾·加朵的臉，嫁接到了一部成人電影女主角身上，并將視頻上傳至該網(wǎng)站。這個(gè)以假亂真的視頻，極大混淆了視聽(tīng)，也引起了公眾的不適和反感。Reddit官方以該換臉視頻涉及不當(dāng)內(nèi)容，且侵犯了他人隱私為由，將視頻發(fā)布者進(jìn)行了封號(hào)處理。
還有一起“莫迪跳舞”事件，轟動(dòng)一時(shí)。
兩年前的印度大選年期間，印度總理莫迪的一段跳舞視頻，引發(fā)了印度國(guó)內(nèi)外的廣泛關(guān)注和熱議。莫迪本人很快辟謠稱，這個(gè)視頻是由AI合成的深度偽造視頻，并警告此類深度偽造“是印度目前面臨的最大威脅之一，有可能造成社會(huì)混亂”。印度電子和信息技術(shù)部部長(zhǎng)也表示，防止錯(cuò)誤信息傳播是社交媒體的“法律義務(wù)”。他強(qiáng)調(diào)，深度偽造品的制作者和流通者，將受到罰款 10 萬(wàn)盧比和監(jiān)禁 3 年的嚴(yán)厲處罰。
虛假帖子中的視頻（左）與 真實(shí)視頻（右）的截圖對(duì)比
這類惡搞視頻，不僅侵犯了個(gè)人形象權(quán)，更讓我們深刻意識(shí)到AI換臉技術(shù)的巨大風(fēng)險(xiǎn)。如果這項(xiàng)技術(shù)被用于制造重大虛假新聞、惡意攻擊政敵等目的，后果將不堪設(shè)想。
此外，換臉視頻也成為電信詐騙歹徒的“利器”，讓不少老人上當(dāng)受騙、損失慘重。
深度偽造視頻之所以能做到這么逼真，緣于它高明的算法邏輯。比如，Deepfake就使用了一種知名的深度學(xué)習(xí)算法GANs(Generative Adversarial Networks，譯作“生成式對(duì)抗網(wǎng)絡(luò)”)。通俗講法是，這個(gè)“對(duì)抗性”的算法，會(huì)訓(xùn)練兩個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，讓它們彼此競(jìng)爭(zhēng)，就好像現(xiàn)實(shí)中一個(gè)山寨作者和一個(gè)真跡鑒別家之間的“切磋”。
一個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)被稱為“生成網(wǎng)絡(luò)”，就是“山寨作者”，它的任務(wù)不言而喻，就是造假；另一個(gè)神經(jīng)網(wǎng)絡(luò)就是鑒別器，好比“鑒定專家”，會(huì)將前者生成的偽作與原始數(shù)據(jù)庫(kù)中的大量“真跡”進(jìn)行比對(duì)、分辨真?zhèn)巍?/p>
利用神經(jīng)網(wǎng)絡(luò)對(duì)另一個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行鑒別 / AI制圖（諾言）
而基于每一次“對(duì)抗”結(jié)果，“山寨作者”都會(huì)及時(shí)調(diào)整參數(shù)、進(jìn)行完善，直到能順利“騙過(guò)”鑒別器。此時(shí)理論上，偽造的視頻基本就達(dá)到以假亂真的水準(zhǔn)了。
從文化學(xué)的角度來(lái)看，AI換臉這樣的深度偽造技術(shù)，打破了傳統(tǒng)身份認(rèn)知的邊界，使得人們的身份和形象在互聯(lián)網(wǎng)上可以被隨意篡改和重塑。
而對(duì)于新聞傳播學(xué)的從業(yè)者和研究者而言，更值得擔(dān)心的是，AI換臉造假事件的頻發(fā)，會(huì)加劇信息環(huán)境的復(fù)雜性和不確定性——類似虛假信息的傳播，不僅極易造成信息混亂，損害公眾的知情權(quán)，也必然嚴(yán)重?cái)D占和侵蝕主流媒體的傳播力和公信力。
AI洗稿：文字背后的幽靈
與需要一定成本投入與技術(shù)門檻的視覺(jué)深度偽造相比，文本的“合成”與造假現(xiàn)象更為低成本和普遍化，這幾年在互聯(lián)網(wǎng)世界所引起的信息紊亂、傳播失范，也更為顯著。
以至于，對(duì)于當(dāng)前AI寫(xiě)作、AI洗稿所導(dǎo)致的網(wǎng)上充斥大量垃圾信源的現(xiàn)狀，有人憤怒地將其稱為“電子糞坑”。
這些“電子排泄物”的生成流程很簡(jiǎn)單——海量的網(wǎng)絡(luò)博主們、各種運(yùn)營(yíng)性賬號(hào)操盤手們，利用AI工具和洗稿軟件，對(duì)主流媒體或知名大V的原創(chuàng)文章，通過(guò)替換同義詞、調(diào)整句子結(jié)構(gòu)等手段，瞬間進(jìn)行改寫(xiě)、重組（據(jù)說(shuō)可以做到“洗稿”后與原文查重率不超過(guò)25%），并批量炮制出看似新穎實(shí)則雷同、“乍看吸睛、細(xì)看嘆氣”的垃圾內(nèi)容。
2025年5月29日，上海警方偵破一起利用人工智能技術(shù)編造、傳播網(wǎng)絡(luò)謠言損害企業(yè)權(quán)益案，圖為嫌疑人聊天下單截圖 / 圖源：新京報(bào)
而原創(chuàng)者的聲音則越來(lái)越微弱?！癆I洗稿”這類行徑，將原創(chuàng)者的心血竊為己有，不僅侵犯了原創(chuàng)作者的知識(shí)產(chǎn)權(quán)，更扭曲了信息市場(chǎng)的競(jìng)爭(zhēng)機(jī)制。
這些“洗”出來(lái)文章，又會(huì)再度撒入互聯(lián)網(wǎng)信息的汪洋大海之中，被其他AI洗稿工具、賬號(hào)當(dāng)成原創(chuàng)內(nèi)容重新抓取、洗稿、發(fā)布……于是，以訛傳訛，謬以千里。漫山遍野的“AI洗稿”，令垃圾稿件大量充斥于某些知名搜索引擎和社交媒體，讓普通人似乎置身“內(nèi)容黑市”，亦讓人們的選擇和甄別變得愈發(fā)困難。在這些充滿虛假與雷同的平臺(tái)上，怎樣才能找到真正的知識(shí)、有用的信息，成為考驗(yàn)每個(gè)閱讀者“眼力”的技術(shù)活兒。
洗稿猖獗為哪般？
還是無(wú)利不起早。2024年10月，一則標(biāo)題為“大媽擺攤賣水果被罰16萬(wàn)，監(jiān)管局回應(yīng)不交就罰145萬(wàn)”的“報(bào)道”在網(wǎng)絡(luò)上廣為流傳，引發(fā)眾多網(wǎng)民關(guān)注和議論。
仔細(xì)查閱這篇文章可以發(fā)現(xiàn)，除了博眼球的標(biāo)題，文章內(nèi)容也非常具體和豐富，可謂是言之鑿鑿。
2024年10月，一篇題為《大媽擺攤賣水果被罰16萬(wàn)，監(jiān)管局回應(yīng)不交就罰145萬(wàn)》的文章在多個(gè)網(wǎng)絡(luò)平臺(tái)傳播 / 圖源：央視新聞
然而，經(jīng)民警查明，當(dāng)?shù)馗緵](méi)有發(fā)生過(guò)這一事件。濟(jì)南市場(chǎng)監(jiān)管局隨即發(fā)布了辟謠聲明并報(bào)警。由于這則虛假信息出自湖南長(zhǎng)沙的一家傳媒公司，隨后濟(jì)南警方與長(zhǎng)沙警方聯(lián)合辦案，發(fā)現(xiàn)這篇引發(fā)熱議的文章，居然是該傳媒公司通過(guò)AI工具生成的。
警方調(diào)查發(fā)現(xiàn)，這家傳媒公司早就是“慣犯”。他們?nèi)粘０l(fā)布的文章，主要聚焦虛假的社會(huì)矛盾糾紛。而之所以選擇這樣的題材，是因?yàn)樗麄儼l(fā)現(xiàn)，矛盾沖突越激烈的文章，閱讀量越高，也更容易讓經(jīng)營(yíng)的賬號(hào)盈利。
這家公司的內(nèi)部運(yùn)營(yíng)流程手冊(cè)上赫然寫(xiě)著：法律類文章要能引起公憤，比如農(nóng)民被罰、執(zhí)法部門執(zhí)法不當(dāng)，開(kāi)出天價(jià)罰款、政府霸占農(nóng)民土地不還等等……其宗旨一言以蔽之，就是：用戶看完感到憤怒的，就是一篇優(yōu)秀的“報(bào)道”。這些文章均以博眼球的罰款金額作為標(biāo)題，內(nèi)容多為小攤販擺攤賣草莓、香蕉、煙葉等被罰款，文章除了地點(diǎn)、人物不同，其余的內(nèi)容如出一轍。
先尋找高熱度文章，再用AI仿寫(xiě)洗稿；炮制虛假糾紛，制造對(duì)立情緒引流獲利——這就是洗稿者毫無(wú)底線的“生意經(jīng)”。
而且，此類洗稿團(tuán)隊(duì)背后，往往還有著一條黑色產(chǎn)業(yè)鏈，涵蓋“選題”“策劃”“洗稿”“買粉”“買流量”“養(yǎng)號(hào)”“賺廣告費(fèi)”等等一連串操作。
這些人不生產(chǎn)文字，他們只是文字的盜竊者和“格格巫”。
算法繭房與AI造假：認(rèn)知投喂的雙重陷阱
拜算法所賜，人們仿佛被一股神秘力量牽引，走進(jìn)了一個(gè)個(gè)由算法精心編織的“信息繭房”。它們就如同無(wú)形的信息泡泡，將人緊緊包裹其中。
算法，這位窺探著你每一次眼球轉(zhuǎn)動(dòng)、心情起伏的“配餐員”，根據(jù)人們的興趣、偏好和行為習(xí)慣，量身定制了一份份信息菜單，精準(zhǔn)“配餐”、定點(diǎn)“投喂”。
起初，人們很開(kāi)心，覺(jué)得平臺(tái)很貼心，讓自己在海量信息中找到了舒適區(qū)、歸屬感。但漸漸地，有些人醒悟過(guò)來(lái)，發(fā)現(xiàn)已經(jīng)陷在了一個(gè)狹小的資訊世界里，自己的認(rèn)知和判斷，被這個(gè)繭房悄悄地限制和重塑了。
人們其實(shí)早已被困在信息繭房里 / 圖源：pexels
一個(gè)巴掌拍不響。AI造假技術(shù)的出現(xiàn)，讓又一個(gè)幽靈潛進(jìn)了這個(gè)繭房。
在這個(gè)新的天地間，借助AI洗稿、AI深度偽造這些新道具，“造假格格巫”們?nèi)玺~(yú)得水。根據(jù)眼球經(jīng)濟(jì)的大數(shù)據(jù)分析，就能更有針對(duì)性地炮制出成千上萬(wàn)噱頭十足的吸睛內(nèi)容；對(duì)照繭房上的“標(biāo)簽”類別，借助算法之手，就能更為輕而易舉地實(shí)現(xiàn)對(duì)繭房之中眾多“蠶寶寶”的配餐和投喂。
這些帶毒的“飼料”，“色香味”俱全，卻毒性深重、遺禍無(wú)窮，輕則造成“營(yíng)養(yǎng)不良”（資訊畸形），次則引發(fā)“內(nèi)分泌失調(diào)”（認(rèn)知偏差），再則導(dǎo)致“慢性病”（偏執(zhí)綜合征），重則“致癌”（狂躁惡性腫瘤）。
造假術(shù)與“繭房”相互纏繞、沆瀣一氣，用溫水煮青蛙的溫柔刀法，共同營(yíng)建著對(duì)公眾認(rèn)知的雙重陷阱。
破解AI造假的路徑與藥方
正視AI造假帶來(lái)的種種挑戰(zhàn)和危機(jī)，方能找到應(yīng)對(duì)、破解之策。
何以破解？這無(wú)疑是一個(gè)復(fù)雜的系統(tǒng)工程，目前來(lái)看，至少應(yīng)從技術(shù)、法律、教育、合作等多個(gè)層面進(jìn)行探究——
其一，以技術(shù)之燭，照亮真相。
解鈴還須系鈴人。技術(shù)進(jìn)步的“副作用”，還需技術(shù)手段來(lái)療治。
一方面，我們當(dāng)前迫切需要加強(qiáng)AI技術(shù)應(yīng)用的監(jiān)管。政府和相關(guān)機(jī)構(gòu)應(yīng)加強(qiáng)對(duì)AI技術(shù)的監(jiān)管力度，制定嚴(yán)格的技術(shù)標(biāo)準(zhǔn)和規(guī)范，防止其被用于惡意造假和商業(yè)化的認(rèn)知操控。
因此，《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》的生效，是一個(gè)非常令人振奮和欣慰的事件。很顯然，它的立法原意，就是要求所有涉及AI生成內(nèi)容的音視頻、圖文和虛擬場(chǎng)景等，從生產(chǎn)環(huán)節(jié)到傳播分發(fā)環(huán)節(jié)，所有的主體都必須承擔(dān)起“標(biāo)識(shí)”和“告知”其他所有人“這個(gè)產(chǎn)品涉及AI合成內(nèi)容，請(qǐng)不要誤以為真”的義務(wù)。
《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》辦法中對(duì)于圖文的新規(guī)定 / 圖源：中國(guó)網(wǎng)信網(wǎng)
這一辦法的出臺(tái)，非常及時(shí)和重要，對(duì)前段時(shí)間部分平臺(tái)上充斥著大量魚(yú)目混珠的AI生成內(nèi)容亂象，將起到“一劍封喉”的作用。它不僅給久因“被抄襲”“被洗稿”而憤慨的內(nèi)容創(chuàng)作者們祭出了“斬妖劍”，也為飽受“假新聞”“假養(yǎng)生知識(shí)”之苦、之害的廣大網(wǎng)民帶來(lái)了福音。
另一方面，我們還應(yīng)推進(jìn)AI虛假內(nèi)容檢測(cè)技術(shù)的普及。
比如，服務(wù)提供者將被強(qiáng)制要求運(yùn)用可能涉及標(biāo)識(shí)的諸多技術(shù)，如水印算法、元數(shù)據(jù)格式、服務(wù)商編碼等，而這些信息將幫助執(zhí)法部門在發(fā)現(xiàn)虛假違法內(nèi)容時(shí)快速識(shí)別內(nèi)容來(lái)源，從而精準(zhǔn)地追蹤到服務(wù)提供者或者用戶。
又如，可由政府部門牽頭，利用深度學(xué)習(xí)等先進(jìn)技術(shù)，建立完善的監(jiān)測(cè)系統(tǒng)，對(duì)網(wǎng)絡(luò)上傳播的內(nèi)容進(jìn)行實(shí)時(shí)監(jiān)測(cè)和分析，更好實(shí)現(xiàn)及時(shí)發(fā)現(xiàn)、處置虛假和編造類信息，避免其進(jìn)一步發(fā)酵、變形和升級(jí)。
及時(shí)對(duì)網(wǎng)絡(luò)傳播的內(nèi)容進(jìn)行監(jiān)測(cè) /《目之所及》劇照
其二，以法律之盾，守護(hù)正義。
國(guó)際上的立法思路主要分為兩種，一種是海洋法系，偏重事后追責(zé)與判例約束；另一種是大陸法系，強(qiáng)調(diào)預(yù)先防范與法典規(guī)范。我國(guó)立法傳統(tǒng)相對(duì)接近大陸法系，本就擅長(zhǎng)于未雨綢繆。因此，未來(lái)對(duì)于AI造假等新型犯罪，我國(guó)的法律體系特質(zhì)，使得我們可在進(jìn)一步增強(qiáng)法規(guī)制定的預(yù)見(jiàn)性方面，體現(xiàn)出更明顯的優(yōu)勢(shì)。
同時(shí)，針對(duì)不斷出現(xiàn)的新問(wèn)題，也要快速立法修法，及時(shí)補(bǔ)漏堵洞，確保法律體系的靈活性與適應(yīng)性。
而對(duì)已有法律法規(guī)，亦要用好用足。比如，對(duì)于利用AI技術(shù)進(jìn)行詐騙、侵犯?jìng)€(gè)人隱私等行為，現(xiàn)行法律法規(guī)已有不少制約條款，只要積極用好用足，亦可以對(duì)不法行為做到嚴(yán)懲不貸，提高違法成本，形成有效震懾。
其三，以教育之樹(shù)，播撒“抗體”。
科技發(fā)展健步如飛、日行千里。數(shù)據(jù)顯示，我國(guó)生成式人工智能產(chǎn)品的用戶規(guī)模已達(dá)2.3億人。然而，很多中老年人大半輩子養(yǎng)成的媒介閱聽(tīng)?wèi)T性一時(shí)難改。
大部人中老年人已形成媒介閱聽(tīng)?wèi)T性 / AI制圖（諾言）
這也為AI造假者提供了可觀的“用武之地”。
因此，必須盡快提升公眾的媒介素養(yǎng)。要通過(guò)教育和培訓(xùn)等方式，提高公眾對(duì)AI技術(shù)的認(rèn)識(shí)和了解程度，增強(qiáng)其辨識(shí)虛假信息的能力。
同時(shí)，在信息爆炸的時(shí)代，批判性思維顯得尤為重要。要通過(guò)多種方式和渠道提示公眾：面對(duì)海量信息須時(shí)刻保持頭腦清醒，盡可能學(xué)會(huì)從多個(gè)角度審視和分析問(wèn)題。
其四，以治理之網(wǎng)，多元共治。
防范AI造假是個(gè)系統(tǒng)工程，必須構(gòu)建多元共治格局，合力“驅(qū)魔”。
一方面，要推動(dòng)行業(yè)自律與倫理建設(shè)。在AI技術(shù)快速發(fā)展的背景下，行業(yè)自律和科技倫理理應(yīng)成為第一道防火墻。相關(guān)行業(yè)協(xié)會(huì)和組織應(yīng)制定行業(yè)規(guī)范和倫理準(zhǔn)則，引導(dǎo)企業(yè)和技術(shù)開(kāi)發(fā)者在技術(shù)研發(fā)和應(yīng)用過(guò)程中，更好遵循科技倫理和道德標(biāo)準(zhǔn)。同時(shí)，建立行業(yè)自律機(jī)制，對(duì)違反規(guī)范和準(zhǔn)則的行為進(jìn)行懲罰和制裁。
行業(yè)自律和科技倫理應(yīng)該是第一道防火墻 / 圖源：unsplash
另一方面，也要加強(qiáng)國(guó)際間的技術(shù)交流與合作?；ヂ?lián)網(wǎng)世界是平的，AI科技讓這個(gè)世界更“平”。因此，面對(duì)AI亂象，沒(méi)有一個(gè)國(guó)家能夠獨(dú)善其身。建立國(guó)際技術(shù)合作平臺(tái)或聯(lián)盟等機(jī)制，共同應(yīng)對(duì)跨國(guó)AI造假行為等挑戰(zhàn)，宜早不宜遲。同時(shí)，應(yīng)通過(guò)加強(qiáng)信息共享、聯(lián)合執(zhí)法等方式，建立國(guó)際追訴機(jī)制，形成對(duì)跨國(guó)AI造假犯罪的有效遏制和打擊。
這些，都是需要多方協(xié)作、耗時(shí)甚巨的系統(tǒng)工程、長(zhǎng)期工程，既不能操之過(guò)急，也不應(yīng)熟視無(wú)睹。
當(dāng)虛擬照進(jìn)現(xiàn)實(shí)，當(dāng)AI造假易如反掌，“魔”與“道”的博弈遭遇新的命題。破解之道，不在墨守陳規(guī)，更不在放棄原則，而在于與時(shí)俱進(jìn)、順勢(shì)而為、學(xué)會(huì)駕馭。
唯有讓“人”更清醒、更聰明，讓防火墻更牢固，讓紅線更有震懾力，方能讓技術(shù)謙卑于常識(shí)和法律之下，讓算法臣服于倫理和人性之前，方能在數(shù)字洪流中守護(hù)好事實(shí)真相和主流價(jià)值觀的方舟。
（作者是AI人文學(xué)研究者）