為保護用戶權(quán)益，防止賬號被盜，很多社交軟件都設(shè)置了人臉識別的登錄驗證環(huán)節(jié)。然而，這一驗證環(huán)節(jié)可能并不需要本人來操作，在湖北黃石就剛剛破獲一起用AI換臉技術(shù)解鎖社交賬號并倒賣獲利的詐騙案。

?前段時間，湖北黃石的王先生偶然進入某炒股直播間，王先生添加了直播間推送的社交賬號后，跟對方一起進行股票投資。隨著投資金額不斷增加，當王先生想要提現(xiàn)時，發(fā)現(xiàn)對方的社交賬號因涉嫌詐騙已被凍結(jié)，資金無法取出。

受害人 王先生：一直取不出來，這個時候就發(fā)現(xiàn)了不對，因為他老是找各種理由讓你取不了錢。后來我發(fā)現(xiàn)他的社交賬號被凍結(jié)了。

警方在偵辦案件過程中，意外發(fā)現(xiàn)該涉案社交賬號突然解凍并重新登錄，推測可能有團伙幫助詐騙嫌疑人解封了賬號。調(diào)查發(fā)現(xiàn)賬號IP所在地在河南，黃石警方在當?shù)嘏浜舷?，很快抓獲三名嫌疑人，現(xiàn)場查獲13臺電腦、9部平板、119部手機和80張電話卡。經(jīng)訊問，高某與許某2023年9月底開始在網(wǎng)上販賣和幫他人解鎖社交賬號，通過AI換臉融合的動態(tài)視頻幫人解鎖一些被平臺凍結(jié)的交友賬號。

湖北省黃石市公安局下陸分局指揮中心民警 王楚奇：他通過自己在網(wǎng)上購買的一款視頻合成軟件，按照社交賬號要求解封作認證的這些規(guī)定動作，利用他自己的人臉和他合成的那個視頻，生成的AI視頻上傳到社交賬號的后臺，來進行認證。

據(jù)了解，這個團伙每解鎖一個賬號收費15元至30元不等，其中許多賬號是因涉嫌詐騙被凍結(jié)的賬號。該團伙共解凍了2107個賬號，從中獲利40萬元。民警告訴記者，AI合成視頻已經(jīng)成為新型網(wǎng)絡(luò)詐騙的重要手段。

湖北省黃石市公安局下陸分局新下陸派出所治安巡防副隊長 張軍：不要將自己的身份證號、身份證頭像、手機號等等自己的隱私信息在網(wǎng)上進行暴露，加強自己的隱私信息的保護。

我們常說“眼見為實”，但在AI時代，肉眼所看見的也不一定是真相。一些不法分子利用“AI換臉”技術(shù)實施詐騙，已成為一種新型騙局。一張“肖像照片”、一段“貌似熟人的視頻”，都可能被不法分子利用作為詐騙的手段和工具。

在工業(yè)和信息化部反詐專班的實驗室里，技術(shù)人員向記者演示了兩種常用的AI換臉技術(shù)。通過一張事先從網(wǎng)絡(luò)上公開獲取的記者本人照片，經(jīng)過一段時間的模型訓練。這張照片就能在演示者的控制下像真人一樣做出轉(zhuǎn)頭、張嘴、眨眼、微笑等表情和動作。

工業(yè)和信息化部反詐工作專班專家 李坤：不法分子首先會通過各種公開的渠道獲取受害人的個人肖像或視頻，然后利用AI技術(shù)，對這些照片中的面容特征進行學習，從而模仿眨眼、搖頭等動作，實現(xiàn)以假亂真的效果。

李坤表示，除了讓照片上的人像活化，AI換臉技術(shù)還能實現(xiàn)在即時視頻通信狀態(tài)下的實時換臉。技術(shù)人員也通過AI換臉技術(shù)讓記者體驗了一下與另一個“自己”視頻對話的效果。

工業(yè)和信息化部反詐工作專班 技術(shù)人員：主要找了一些公開的社交媒體平臺，去拉取一些公共的視頻。拿了這些數(shù)據(jù)，整體的訓練時間差不多花了1天，24小時達到目前這個效果。 如果時間長點的話，我們畫面的清晰會有所提升。

技術(shù)人員告訴記者，所有用于AI換臉訓練的記者照片和視頻都是從網(wǎng)上公開收集的，總共只用了四五張照片和不到五分鐘的素材。如果有充足的訓練時間，仿真效果會更好。除了面容以外，聲音也可以通過同樣的技術(shù)來仿冒。專家指出，雖然目前AI換臉和仿聲有一定的技術(shù)門檻和較高的實現(xiàn)成本，但如果被不法分子掌握，就可能在即時通信或者社交軟件上偽裝成他人，開展相應(yīng)的詐騙活動。

利用AI技術(shù)制作換臉視頻或合成聲音來實施詐騙的確讓人防不勝防，那么如何防范這種風險呢？有關(guān)部門正在開發(fā)相關(guān)的反制技術(shù)和手段。

工業(yè)和信息化部反詐專班專家 李坤：我們正在會同行業(yè)內(nèi)的手機終端企業(yè)，將推出AI換臉詐騙風險提醒功能。這項功能僅在手機端來本地運行，能夠有效保護用戶數(shù)據(jù)不泄露，經(jīng)過用戶授權(quán)后，可為用戶提供AI換臉詐騙風險預(yù)警提醒。

記者在反詐專班的實驗室現(xiàn)場體驗了正在測試中的AI換臉詐騙檢測與預(yù)警技術(shù)。當用AI換了臉的技術(shù)人員與記者發(fā)起視頻通話時，測試手機終端提示“對方疑似假冒身份”。點擊檢測按鈕，經(jīng)過圖像掃描，系統(tǒng)提示“AI換臉合成概率93%”。

據(jù)了解，AI換臉主要是使用深度合成技術(shù)?！痘ヂ?lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》提出了算法備案、安全評估的手段，要求深度合成服務(wù)提供者對深度合成的內(nèi)容添加顯式或隱式水印。

中國信通院人工智能所安全與元宇宙部專家 陳文弢：要對生成合成的內(nèi)容去添加一些水印，這個水印的本質(zhì)其實就是要一方面去提示公眾這個內(nèi)容是由AI生成或者合成的，另一方面也是要追溯它的來源。

專家提醒，AI詐騙是隱私信息泄露與詐騙陷阱的結(jié)合，要加強對個人隱私的保護，不輕易提供人臉、指紋等個人生物信息給他人，不過度公開或分享動圖、視頻等，尤其涉及“朋友”“領(lǐng)導(dǎo)”等熟人要求轉(zhuǎn)賬、匯款的，務(wù)必通過多種途徑核實確認，不要未經(jīng)核實隨意轉(zhuǎn)賬匯款。

（總臺記者 孫薊濰 唐志堅 徐之昊 孫麗鵬 黃石臺）

來源：央視新聞客戶端

https://content-static.cctvnews.cctv.com/snow-book/index.html?item_id=13119823288096370648&toc_style_id=feeds_default&share_to=wechat&track_id=90b9c22d-183a-49a5-aeec-43040e3aaf3c

點擊查看 中國科普資源名錄 資源展示

點擊查看 中國科普資源名錄 資源需求

歡迎掃碼關(guān)注深i科普！

我們將定期推出

公益、免費、優(yōu)惠的科普活動和科普好物！