國家安全部今日發(fā)布安全提示，指出人工智能訓(xùn)練數(shù)據(jù)存在虛假信息、虛構(gòu)內(nèi)容及偏見性觀點(diǎn)等問題，導(dǎo)致數(shù)據(jù)源污染，威脅AI安全。

新研究提示：訓(xùn)練數(shù)據(jù)哪怕混入萬分之一虛假文本，模型有害輸出即可顯著放大，且虛假內(nèi)容會(huì)回流網(wǎng)絡(luò)、逐代累積，形成“污染遺留”。在金融、公共安全等場(chǎng)景，此類數(shù)據(jù)投毒可能觸發(fā)市場(chǎng)操縱、輿論誤導(dǎo)等，現(xiàn)實(shí)風(fēng)險(xiǎn)不容忽視。

人工智能技術(shù)的濫用正催生新型市場(chǎng)操縱手段。通過定向污染訓(xùn)練數(shù)據(jù)，攻擊者可系統(tǒng)性生成虛假市場(chǎng)信號(hào)，如虛構(gòu)企業(yè)合作、虛增財(cái)務(wù)指標(biāo)等，利用AI生成內(nèi)容的傳播裂變效應(yīng)，短期內(nèi)引發(fā)市場(chǎng)認(rèn)知偏差，進(jìn)而操控特定標(biāo)的交易價(jià)格。

目前來看，虛假信息主要有三板斧，首先是虛構(gòu)企業(yè)合作，篡改官網(wǎng)信息、偽造會(huì)議紀(jì)要、誘導(dǎo)模型生成“戰(zhàn)略簽約”結(jié)論；其次是虛增財(cái)務(wù)指標(biāo)，在論壇、問答社會(huì)大量植入“超預(yù)期盈利”帖子，訓(xùn)練集吸收后，AI研報(bào)自動(dòng)給出“上調(diào)評(píng)級(jí)”；最后是深度偽造視頻，有些AI模型已經(jīng)出現(xiàn)偽造“創(chuàng)始人官宣即將上線某交易所”的短片，配合社交媒體裂變傳播，曾在加密市場(chǎng)造成代幣短時(shí)暴漲后閃崩。

實(shí)驗(yàn)表明，訓(xùn)練集中混入約萬分之一虛假文本，模型輸出的有害或誤導(dǎo)性內(nèi)容即可出現(xiàn)兩位數(shù)的增幅；污染信息一旦上網(wǎng)，又會(huì)被新一輪爬蟲抓取，形成“遞歸污染”閉環(huán)。

監(jiān)管部門已把“AI數(shù)據(jù)投毒”列為新型市場(chǎng)操縱手段，要求券商、基金在采購第三方大模型服務(wù)時(shí)，必須提供數(shù)據(jù)來源與清洗報(bào)告；交易所亦在測(cè)試實(shí)時(shí)語義水印，識(shí)別并阻斷異常生成的“研報(bào)”與“快訊”。

對(duì)投資者而言，凡遇“AI生成”的利好利空，需交叉核驗(yàn)原始出處；于機(jī)構(gòu)而言，應(yīng)把訓(xùn)練數(shù)據(jù)溯源、對(duì)抗樣本檢測(cè)納入常規(guī)風(fēng)控，防止模型成為操縱市場(chǎng)的“放大器”。

【以上內(nèi)容不構(gòu)成投資決策依據(jù)。投資有風(fēng)險(xiǎn)，入市需謹(jǐn)慎?！?/p>