編者薦語(yǔ)

本文嘗試深入剖析基于生成式人工智能的安全防御技術(shù)，探索如何利用這一前沿技術(shù)的強(qiáng)大能力，為網(wǎng)絡(luò)空間認(rèn)知領(lǐng)域構(gòu)建起一道堅(jiān)不可摧的安全防線。

摘　要

近年來(lái)，人工智能、大數(shù)據(jù)分析等前沿技術(shù)的應(yīng)用與發(fā)展，尤其是生成式人工智能大模型的快速發(fā)展，加快了人—網(wǎng)絡(luò)平臺(tái)—物理空間的三元融合發(fā)展的趨勢(shì)，促使物理空間、網(wǎng)絡(luò)空間和認(rèn)知空間的交織融合。網(wǎng)絡(luò)空間認(rèn)知領(lǐng)域存在惡意信息多、個(gè)體信息易泄露、信息傳播易操縱等諸多安全風(fēng)險(xiǎn)，極易傳導(dǎo)至物理空間引發(fā)社會(huì)問(wèn)題。基于“人工智能+”的思想，嘗試分析基于生成式人工智能的安全防御技術(shù)，為促進(jìn)未來(lái)網(wǎng)絡(luò)安全產(chǎn)業(yè)發(fā)展提供新思路。

論文結(jié)構(gòu)

0　引　言

1　認(rèn)知域面臨的主要技術(shù)風(fēng)險(xiǎn)

1.1　惡意信息

1.2　信息操縱

1.3　網(wǎng)絡(luò)水軍

2　認(rèn)知域安全防御技術(shù)

2.1 惡意信息檢測(cè)

2.2 傳播影響力預(yù)警

2.3　網(wǎng)絡(luò)水軍識(shí)別

2.4　開源情報(bào)生成

3　對(duì)產(chǎn)業(yè)發(fā)展的促進(jìn)

3.1 認(rèn)知域安全產(chǎn)業(yè)需求明顯

3.2 認(rèn)知域安全防御技術(shù)轉(zhuǎn)化可行

3.3　認(rèn)知域安全產(chǎn)品初見成效

4　結(jié)　語(yǔ)

0　引　言

社交網(wǎng)絡(luò)、短視頻等網(wǎng)絡(luò)媒體平臺(tái)的快速發(fā)展與應(yīng)用，使得網(wǎng)絡(luò)空間成為信息傳遞、思想交流的主陣地。由于網(wǎng)絡(luò)空間上的意識(shí)形態(tài)滲透具有成本低、代價(jià)小、難溯源等特點(diǎn)，結(jié)合數(shù)據(jù)分析、人工智能、衛(wèi)星通信等新一代信息技術(shù)的融合應(yīng)用，以美國(guó)為首的西方國(guó)家正逐步將認(rèn)知作戰(zhàn)的主戰(zhàn)場(chǎng)從物理空間轉(zhuǎn)移到網(wǎng)絡(luò)空間。網(wǎng)絡(luò)空間的認(rèn)知域安全與政治安全、軍事安全等各領(lǐng)域安全相互影響、聯(lián)動(dòng)保障，逐漸成為保障國(guó)家安全的重要組成部分 。快速發(fā)展的生成式人工智能技術(shù)，在給網(wǎng)絡(luò)空間認(rèn)知域安全帶來(lái)風(fēng)險(xiǎn)挑戰(zhàn)的同時(shí)，也為網(wǎng)絡(luò)空間認(rèn)知域安全防御提供了可能。

1　認(rèn)知域面臨的主要技術(shù)風(fēng)險(xiǎn)
在國(guó)際競(jìng)爭(zhēng)日益激烈的大背景下，以美國(guó)為首的西方國(guó)家為實(shí)現(xiàn)其政治目的，組建專業(yè)的作戰(zhàn)力量，在網(wǎng)絡(luò)空間通過(guò)滲透與反滲透、干預(yù)與反干預(yù)、控制與反控制等認(rèn)知戰(zhàn)行動(dòng)，影響他國(guó)民眾的心理狀態(tài)、價(jià)值觀和行為決策。例如，美國(guó)成立專門的網(wǎng)絡(luò)作戰(zhàn)司令部，整合各軍種認(rèn)知作戰(zhàn)力量；英國(guó)成立第 15 心理作戰(zhàn)群，開展戰(zhàn)場(chǎng)心理作戰(zhàn)活動(dòng)。近年來(lái)，網(wǎng)絡(luò)空間面臨的認(rèn)知域威脅比以往更嚴(yán)重。從技術(shù)角度來(lái)看，網(wǎng)絡(luò)空間認(rèn)知域的安全主要受無(wú)處不在的惡意信息、隱蔽無(wú)形的信息操縱、真假難辨的網(wǎng)絡(luò)水軍等因素的威脅。

1.1　惡意信息

物理空間中存在政治宣傳、認(rèn)知戰(zhàn)、商業(yè)營(yíng)銷、詐騙傳銷等多種意圖，這些意圖會(huì)在網(wǎng)絡(luò)空間中產(chǎn)生大量的虛假新聞、詐騙信息、摻雜誘導(dǎo)性內(nèi)容的事實(shí)闡述、陰謀論等惡意信息，進(jìn)而影響民眾的認(rèn)知域安全。

生成式人工智能技術(shù)的發(fā)展與應(yīng)用也給惡意信息的制造帶來(lái)了一定的便利。隨著美國(guó)開放人工智能研究中心（OpenAI）的“ChatGPT”、谷歌公司的“Gemma”、百度的“文心一言”、阿里巴巴的“通義千問(wèn)”等智能大模型的推出和升級(jí)迭代，使得文本、圖片、視頻等內(nèi)容的自動(dòng)生成過(guò)程朝著效率越來(lái)越高、成本越來(lái)越低、真?zhèn)涡栽絹?lái)越難以區(qū)分等方向發(fā)展，進(jìn)而導(dǎo)致網(wǎng)絡(luò)空間認(rèn)知域風(fēng)險(xiǎn)越來(lái)越高。

1.2　信息操縱

國(guó)家、媒體平臺(tái)、商業(yè)團(tuán)體等組織為實(shí)現(xiàn)其政治、影響力、盈利等目的，利用人工智能、大數(shù)據(jù)分析等技術(shù)在網(wǎng)絡(luò)空間實(shí)施信息操縱，影響公眾的輿論、態(tài)度和行動(dòng)。信息操縱包含用戶特征畫像、群體精準(zhǔn)傳播等關(guān)鍵環(huán)節(jié)。其中，用戶特征畫像主要是使用技術(shù)手段對(duì)網(wǎng)絡(luò)主體的活動(dòng)軌跡、行為方式、特點(diǎn)等進(jìn)行數(shù)據(jù)化表示，最早被應(yīng)用于電子商務(wù)的個(gè)性化推薦、針對(duì)性營(yíng)銷與服務(wù)等領(lǐng)域，后來(lái)被廣泛應(yīng)用于信息操縱、圖書推薦、電子商務(wù)、旅游管理等領(lǐng)域。群體精準(zhǔn)傳播主要使用人工智能、機(jī)器學(xué)習(xí)等技術(shù)手段對(duì)目標(biāo)群體進(jìn)行建模，根據(jù)不同群體的特點(diǎn)，針對(duì)性地選取信息傳播的內(nèi)容數(shù)據(jù)、傳播源、傳播路徑等，進(jìn)而實(shí)現(xiàn)對(duì)特定群體的大面積、快速傳播的目的。

2016 年的美國(guó)大選就是信息操縱的真實(shí)案例。大選前，劍橋分析公司在社交媒體平臺(tái)“臉書”上獲取了約 5 000 萬(wàn)個(gè)注冊(cè)用戶信息，融合 2007 年“臉書”上以“學(xué)術(shù)”為名收集的上千萬(wàn)用戶的心理測(cè)試數(shù)據(jù)，分析臉書用戶的心理特征和政治傾向，得到用戶的特征畫像。大選期間，劍橋分析公司實(shí)時(shí)收集用戶言論，分析用戶的支持傾向，基于用戶的特征畫像結(jié)果，使用智能技術(shù)向潛在支持民眾、中立民眾等不同類型群眾精準(zhǔn)推送定制化的競(jìng)選廣告，致使一些民眾的認(rèn)知心理發(fā)生變化，進(jìn)而左右民眾的投票結(jié)果。

1.3　網(wǎng)絡(luò)水軍

在流量至上的互聯(lián)網(wǎng)思維主導(dǎo)下，基于自主機(jī)器人、生成式人工智能等技術(shù)的網(wǎng)絡(luò)水軍應(yīng)運(yùn)而生。網(wǎng)絡(luò)水軍是指具有特殊目的的公關(guān)公司或組織，根據(jù)雇主或者委托方的需求，在網(wǎng)絡(luò)空間中偽裝成普通網(wǎng)民，針對(duì)特定內(nèi)容、特定人群、特定話題等，發(fā)布、回復(fù)或者傳播網(wǎng)絡(luò)內(nèi)容以炒作某個(gè)話題、人物或事件，進(jìn)而達(dá)成影響網(wǎng)絡(luò)空間用戶認(rèn)知、情感、行為、輿論傾向等目的的群體。

網(wǎng)絡(luò)水軍已經(jīng)發(fā)展成為一種黑色產(chǎn)業(yè)鏈，給網(wǎng)絡(luò)空間輿論環(huán)境、市場(chǎng)經(jīng)濟(jì)秩序、社會(huì)穩(wěn)定甚至國(guó)家安全造成了嚴(yán)重的威脅。2013—2014 年，中央廣播電視總臺(tái)“3·15”晚會(huì)連續(xù) 2 年曝光網(wǎng)絡(luò)水軍黑色產(chǎn)業(yè)鏈。從作案工具來(lái)看，網(wǎng)絡(luò)水軍產(chǎn)業(yè)涉及隱藏真實(shí)身份的手機(jī)黑卡、網(wǎng)絡(luò) IP 地址秒撥工具、全球定位系統(tǒng)（Global PositioningSystem，GPS）定位模擬器、智能終端控制器，以及包含用戶賬號(hào)信息的智能終端設(shè)備等多種現(xiàn)代化工具。從技術(shù)特點(diǎn)來(lái)看，網(wǎng)絡(luò)水軍可以是各行業(yè)的普通用戶，甚至是非自然人的社交機(jī)器人，其對(duì)計(jì)算機(jī)理論、內(nèi)容制作、信息傳播等行業(yè)知識(shí)的要求門檻低，可以通過(guò)在多個(gè)網(wǎng)絡(luò)平臺(tái)擇時(shí)活動(dòng)、模仿真實(shí)用戶網(wǎng)絡(luò)軌跡等方式隱蔽網(wǎng)絡(luò)水軍行為。

2　認(rèn)知域安全防御技術(shù)

近年來(lái)，以生成式人工智能為代表的前沿技術(shù)的發(fā)展給網(wǎng)絡(luò)空間的認(rèn)知域安全帶來(lái)了風(fēng)險(xiǎn)挑戰(zhàn)。從解決技術(shù)問(wèn)題的角度來(lái)看，生成式人工智能技術(shù)在網(wǎng)絡(luò)空間認(rèn)知的安全防御應(yīng)用研究方面嶄露頭角；從學(xué)術(shù)研究的角度來(lái)看，生成式人工智能技術(shù)為網(wǎng)絡(luò)安全技術(shù)產(chǎn)業(yè)的發(fā)展提供了新的思路。本文主要從惡意信息檢測(cè)、傳播影響力預(yù)警、網(wǎng)絡(luò)水軍識(shí)別、開源情報(bào)生成等方面，總結(jié)生成式人工智能技術(shù)如何用于認(rèn)知域安全防御。

2.1　惡意信息檢測(cè)

惡意信息通常具有內(nèi)容顛覆性、情感極端性、陰謀詭辯性等特點(diǎn)，極易吸引人的眼球，通過(guò)社交媒體平臺(tái)，這種“病毒式傳播”方式能夠在短時(shí)間內(nèi)形成流行趨勢(shì)。從網(wǎng)絡(luò)空間認(rèn)知域安全防御的需求來(lái)看，快速準(zhǔn)確地檢測(cè)出惡意信息，并在其傳播早期采取相關(guān)管控手段，能夠盡可能地減少受影響的人數(shù)，提高防御效果。從技術(shù)角度來(lái)看，生成式人工智能技術(shù)可以從 2 個(gè)方面實(shí)現(xiàn)惡意信息檢測(cè)。一是生成惡意信息，提高惡意信息檢測(cè)大模型的準(zhǔn)確率。GPT、Sora 等生成式人工智能大模型，能夠生成涉及領(lǐng)域廣、規(guī)模大的文本及音視頻類惡意信息數(shù)據(jù)樣本，借助對(duì)抗神經(jīng)網(wǎng)絡(luò)技術(shù)訓(xùn)練這些樣本數(shù)據(jù)，能夠訓(xùn)練出惡意信息檢測(cè)準(zhǔn)確率高的大模型。二是提取惡意信息特征并對(duì)其進(jìn)行分類。與傳統(tǒng)手工提取惡意信息特征的方法相比，利用生成式人工智能技術(shù)自動(dòng)學(xué)習(xí)惡意信息特征的方法能夠節(jié)省大量的人力和時(shí)間消耗，并且能夠處理更復(fù)雜的惡意信息。

在具體實(shí)現(xiàn)上，生成式人工智能在惡意信息檢測(cè)中的應(yīng)用可以結(jié)合自然語(yǔ)言處理、圖像識(shí)別等其他技術(shù)手段。例如，對(duì)于惡意文本信息的檢測(cè)，可以利用自然語(yǔ)言處理技術(shù)提取文本中的關(guān)鍵詞、短語(yǔ)和語(yǔ)義特征，然后利用生成式人工智能進(jìn)行特征匹配和分類。對(duì)于惡意圖片和視頻的檢測(cè)，可以利用圖像識(shí)別技術(shù)提取圖像和視頻中的特征，然后利用生成式人工智能進(jìn)行異常檢測(cè)和分類。

當(dāng)前，國(guó)內(nèi)外已出現(xiàn)一些基于生成式人工智能的認(rèn)知安全防御技術(shù)工具。人民日?qǐng)?bào)社成立的傳播內(nèi)容認(rèn)知國(guó)家重點(diǎn)實(shí)驗(yàn)室發(fā)布了深度合成內(nèi)容檢測(cè)工具“AIGC-X”，該工具使用生成式人工智能技術(shù)從文本內(nèi)容中捕捉困惑度、突現(xiàn)頻次等隱式特征，能夠?qū)W習(xí)到機(jī)器生成文本與人工生成文本的分布差異。此外，機(jī)器生成內(nèi)容檢測(cè)工具還包括普林斯頓大學(xué)推出的專門檢測(cè)教育行業(yè)機(jī)器生成內(nèi)容的 GPTZero 工具、美國(guó)創(chuàng)業(yè)公司推出的專門用于檢測(cè)英文機(jī)器生成內(nèi)容的 WordAi 工具等。

2.2　傳播影響力預(yù)警

從認(rèn)知域面臨的技術(shù)風(fēng)險(xiǎn)來(lái)看，有目的的信息操縱會(huì)在短時(shí)間內(nèi)產(chǎn)生大規(guī)模的輿情傳播現(xiàn)象，具有危害范圍廣、極易傳導(dǎo)至物理空間、易引爆次生輿情事件等特點(diǎn)，對(duì)輿情傳播的影響力預(yù)警能夠?yàn)樾畔⒉倏v的及時(shí)發(fā)現(xiàn)、處置贏得時(shí)間。

從技術(shù)角度來(lái)看，生成式人工智能技術(shù)可以從 2 個(gè)方面實(shí)現(xiàn)傳播影響力的預(yù)警。一是預(yù)測(cè)傳播規(guī)模。借助循環(huán)神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)技術(shù)，設(shè)計(jì)能夠模擬泊松過(guò)程等傳播機(jī)制的數(shù)學(xué)模型，試圖保留傳播規(guī)律、傳播影響力等主要特點(diǎn)，通過(guò)現(xiàn)有傳播數(shù)據(jù)訓(xùn)練模型，以達(dá)到預(yù)測(cè)傳播規(guī)模的效果。二是預(yù)測(cè)傳播路徑。首先，收集文本、圖片、視頻、社交媒體互動(dòng)等多種形式的傳播數(shù)據(jù)；其次，基于生成式人工智能網(wǎng)絡(luò)結(jié)合用戶之間的關(guān)系、傳播時(shí)間等信息，從這些數(shù)據(jù)中學(xué)習(xí)信息的傳播模式、用戶的行為習(xí)慣和興趣偏好等特征；最后，基于學(xué)習(xí)到的數(shù)據(jù)特征，生成式人工智能能夠生成與現(xiàn)有內(nèi)容相似或全新的內(nèi)容，并通過(guò)模擬用戶的反饋和行為預(yù)測(cè)這些內(nèi)容的傳播路徑。

國(guó)內(nèi)外對(duì)傳播規(guī)模和傳播路徑的預(yù)測(cè)研究開展較早，主要基于特征工程、隨機(jī)過(guò)程、圖表示、深度學(xué)習(xí)等方法，對(duì)傳播規(guī)律、用戶特征、群體行為等進(jìn)行建模，并根據(jù)所學(xué)到的模型預(yù)測(cè)傳播規(guī)模和路徑。與其他方法相比，基于深度學(xué)習(xí)方法的模型在通用性、對(duì)傳播規(guī)律與用戶的特征提取能力、預(yù)測(cè)準(zhǔn)確率、預(yù)測(cè)效率等方面更具優(yōu)勢(shì)，因此，該方法頗受廣大學(xué)者的關(guān)注。

基于“變換器”模型（Transformer）、生成式對(duì)抗網(wǎng)絡(luò)、變分自編碼器等生成式人工智能技術(shù)，作為深度學(xué)習(xí)的一種，也逐漸被廣大學(xué)者所關(guān)注。該技術(shù)被用于對(duì)傳播行為、用戶特征等數(shù)據(jù)進(jìn)行建模，以預(yù)測(cè)傳播規(guī)模和傳播路徑。

2.3　網(wǎng)絡(luò)水軍識(shí)別

早在 2014 年，國(guó)內(nèi)學(xué)者就闡述了網(wǎng)絡(luò)水軍的識(shí)別技術(shù)，并將其劃分為基于內(nèi)容特征的識(shí)別技術(shù)、基于環(huán)境特征的識(shí)別技術(shù)和基于用戶特征的識(shí)別技術(shù) 3 大類。

隨著互聯(lián)網(wǎng)平臺(tái)與智能技術(shù)的協(xié)同發(fā)展，網(wǎng)絡(luò)水軍識(shí)別面臨一系列技術(shù)挑戰(zhàn)。一是微博、短視頻平臺(tái)、知識(shí)問(wèn)答平臺(tái)等多種社交網(wǎng)絡(luò)平臺(tái)在網(wǎng)絡(luò)空間齊頭并進(jìn)，傳統(tǒng)網(wǎng)絡(luò)水軍識(shí)別技術(shù)通常是針對(duì)某一類社交網(wǎng)絡(luò)設(shè)計(jì)的，其平臺(tái)遷移能力較弱。二是生成式人工智能技術(shù)的應(yīng)用降低了網(wǎng)絡(luò)水軍快速生成語(yǔ)料庫(kù)、制定傳播策略的門檻。三是隨著各大網(wǎng)絡(luò)平臺(tái)加深對(duì)用戶隱私的重視，網(wǎng)絡(luò)用戶的特征數(shù)據(jù)更難獲取。四是網(wǎng)絡(luò)水軍借助智能化工具模仿真實(shí)個(gè)體的網(wǎng)絡(luò)行為，提升了對(duì)開源數(shù)據(jù)的水軍標(biāo)注的難度，導(dǎo)致網(wǎng)絡(luò)水軍更難識(shí)別。

國(guó)內(nèi)外已有學(xué)者嘗試使用深度學(xué)習(xí)，尤其是生成式人工智能技術(shù)，探索解決傳統(tǒng)方法難以處理的網(wǎng)絡(luò)水軍識(shí)別問(wèn)題。生成式人工智能在識(shí)別網(wǎng)絡(luò)水軍方面，其關(guān)鍵技術(shù)路線可以概括為以下幾個(gè)步驟：一是數(shù)據(jù)收集與預(yù)處理。收集社交媒體帖子、評(píng)論、論壇討論等網(wǎng)絡(luò)數(shù)據(jù)，并對(duì)這些數(shù)據(jù)進(jìn)行去除噪聲、標(biāo)準(zhǔn)化文本、標(biāo)記已知的水軍賬號(hào)等預(yù)處理。二是特征提取。使用自然語(yǔ)言處理技術(shù)，從文本中提取詞頻、短語(yǔ)、句法結(jié)構(gòu)等關(guān)鍵特征。從發(fā)布時(shí)間、頻率、內(nèi)容主題等，提取網(wǎng)絡(luò)水軍的行為模式。三是生成式模型訓(xùn)練。利用收集到的數(shù)據(jù)和提取的特征，構(gòu)建生成式模型，學(xué)習(xí)正常用戶和網(wǎng)絡(luò)水軍的行為模式和文本風(fēng)格，以生成新的、類似的數(shù)據(jù)。四是異常檢測(cè)。通過(guò)生成式模型生成正常用戶與水軍行為的模擬數(shù)據(jù)，將其與實(shí)際數(shù)據(jù)做對(duì)比，通過(guò)甄別異常行為或文本，達(dá)到檢測(cè)網(wǎng)絡(luò)水軍的目的。

相比于傳統(tǒng)的機(jī)器學(xué)習(xí)等方法，生成式人工智能技術(shù)在處理網(wǎng)絡(luò)水軍識(shí)別方面具有一定的優(yōu)勢(shì)。一是生成式人工智能技術(shù)在特征提取和學(xué)習(xí)模式方面效率更高、提取的規(guī)則更多、更易遷移到其他社交網(wǎng)絡(luò)平臺(tái)。二是生成式人工智能能夠處理和提取文本、圖像和語(yǔ)音等多元復(fù)雜數(shù)據(jù)中的特征，使得生成式人工智能技術(shù)在社交機(jī)器人檢測(cè)中具有優(yōu)勢(shì)。三是生成式人工智能技術(shù)在許多情況下能夠勝過(guò)傳統(tǒng)的機(jī)器學(xué)習(xí)分類器，特別是在識(shí)別具有人類行為特征的社交機(jī)器人時(shí)，生成對(duì)抗網(wǎng)絡(luò)等生成式人工智能技術(shù)具有較高效率和準(zhǔn)確率。四是網(wǎng)絡(luò)水軍數(shù)據(jù)集是提高算法模型識(shí)別結(jié)果有效性的重要因素，生成式人工智能技術(shù)可用于從用戶行為、用戶特征等不同角度大規(guī)模生成可用數(shù)據(jù)集，能夠解決標(biāo)注數(shù)據(jù)缺失問(wèn)題。

2.4　開源情報(bào)生成

在網(wǎng)絡(luò)空間安全領(lǐng)域，開源情報(bào)不僅是情報(bào)獲取和分析的重要手段，更是構(gòu)筑立體化、智能化安全防護(hù)體系不可或缺的基石。搜集、加工、生成開源情報(bào)能夠在早期洞悉網(wǎng)絡(luò)空間的安全風(fēng)險(xiǎn)，為防范化解認(rèn)知域安全威脅提供時(shí)間優(yōu)勢(shì)和決策依據(jù)，是智能媒體時(shí)代網(wǎng)絡(luò)空間認(rèn)知域安全的關(guān)鍵資源。

網(wǎng)絡(luò)空間開源數(shù)據(jù)規(guī)模爆發(fā)式增長(zhǎng)，傳統(tǒng)的以人工編目匯總、分析的方法難以滿足現(xiàn)代情報(bào)生成需求。同時(shí)，相比于傳統(tǒng)的機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析等方法，生成式人工智能技術(shù)具有高度自動(dòng)化、智能化的特點(diǎn)，不僅能夠理解情報(bào)文本的表面含義，還能通過(guò)跨文本、跨語(yǔ)言的情報(bào)關(guān)聯(lián)手段分析情報(bào)數(shù)據(jù)的潛在關(guān)系和隱含意義，在減少人工參與、節(jié)約人力成本的同時(shí)，通過(guò)持續(xù)的自我迭代學(xué)習(xí)提升對(duì)復(fù)雜問(wèn)題的理解和應(yīng)對(duì)能力。

生成式人工智能在開源情報(bào)生成中的應(yīng)用主要涉及文本摘要生成、文本翻譯等。從技術(shù)角度來(lái)看，文本摘要生成主要基于 Transformer 架構(gòu)捕捉文本中的序列依賴性和上下文信息，能夠用于情報(bào)數(shù)據(jù)中的新聞?wù)⑽恼赂乓⑸缃幻襟w內(nèi)容提煉等場(chǎng)景；文本翻譯也基于 Transformer 架構(gòu)，捕獲情報(bào)數(shù)據(jù)文本中的上下文信息，并生成流暢、準(zhǔn)確的翻譯。

以大語(yǔ)言模型 ChatGPT 為代表的生成式人工智能技術(shù)在金融、科技、教育等眾多領(lǐng)域的通用性，以及在處理生成文本、圖表、視頻、代碼等多源數(shù)據(jù)方面的能力，促使國(guó)內(nèi)外學(xué)者積極探索融合生成式人工智能技術(shù)的開源情報(bào)處理、生成等問(wèn)題。例如，P?zik 等人基于谷歌 T5 模型框架，在開源數(shù)據(jù)語(yǔ)料庫(kù)上，研究文本翻譯、基于短文本的術(shù)語(yǔ)抽取等多任務(wù)情報(bào)處理問(wèn)題；Hassanzadeh分析 ChatGPT 等生成式人工智能技術(shù)對(duì)人員、企業(yè)和組織的知識(shí)管理影響，認(rèn)為生成式人工智能將對(duì)未來(lái)知識(shí)情報(bào)管理產(chǎn)生重大變革；夏匯川等人從問(wèn)題分類法視角評(píng)估生成式人工智能在情報(bào)工作中的應(yīng)用效能，分析了生成式人工智能對(duì)情報(bào)工作者的優(yōu)勢(shì)和局限。

3　對(duì)產(chǎn)業(yè)發(fā)展的促進(jìn)
生成式人工智能技術(shù)給網(wǎng)絡(luò)空間安全帶來(lái)了風(fēng)險(xiǎn)與挑戰(zhàn)，為確保網(wǎng)絡(luò)空間認(rèn)知域安全，可以從技術(shù)對(duì)抗技術(shù)的角度研發(fā)相關(guān)防御技術(shù)，這將進(jìn)一步促進(jìn)網(wǎng)絡(luò)安全產(chǎn)業(yè)的發(fā)展，同時(shí)將推動(dòng)網(wǎng)絡(luò)空間認(rèn)知域安全防御技術(shù)融入網(wǎng)絡(luò)安全產(chǎn)業(yè)的范疇。網(wǎng)絡(luò)空間的認(rèn)知域安全已經(jīng)上升到國(guó)家安全戰(zhàn)略的層面，是國(guó)家整體安全的重要組成部分。隨著各國(guó)加大對(duì)網(wǎng)絡(luò)空間認(rèn)知域安全的重視，網(wǎng)絡(luò)空間認(rèn)知域安全防護(hù)也將逐步落地見效。2024 年中央經(jīng)濟(jì)工作會(huì)議強(qiáng)調(diào)：“以顛覆性技術(shù)和前沿技術(shù)催生新產(chǎn)業(yè)、新模式、新動(dòng)能，發(fā)展新質(zhì)生產(chǎn)力。”以生成式人工智能為代表的前沿技術(shù)有望催生一批未來(lái)產(chǎn)業(yè)，同時(shí)對(duì)網(wǎng)絡(luò)安全產(chǎn)業(yè)產(chǎn)生深刻影響，因此洞悉網(wǎng)絡(luò)安全產(chǎn)業(yè)的未來(lái)發(fā)展并進(jìn)行前瞻性布局具有重要意義。

3.1　認(rèn)知域安全產(chǎn)業(yè)需求明顯

從產(chǎn)業(yè)需求來(lái)看，網(wǎng)絡(luò)空間認(rèn)知域安全防御不僅是政府、軍隊(duì)等國(guó)家相關(guān)部門的戰(zhàn)略所需，也是跨國(guó)公司、國(guó)際組織等實(shí)體維護(hù)其金融、消費(fèi)市場(chǎng)、企業(yè)形象、國(guó)際商貿(mào)合作等領(lǐng)域利益的關(guān)鍵，因此，網(wǎng)絡(luò)空間認(rèn)知域安全防護(hù)的產(chǎn)業(yè)需求逐漸顯現(xiàn)。以近年來(lái)我國(guó)遭受的多起由美國(guó)發(fā)起的認(rèn)知戰(zhàn)為例，美國(guó)在國(guó)際輿論場(chǎng)炮制關(guān)于我國(guó)“一帶一路”倡議、“經(jīng)濟(jì)崩潰論”等議題，是對(duì)我國(guó)惡意的污蔑和抹黑，這類行為在威脅我國(guó)國(guó)家戰(zhàn)略利益和總體安全的同時(shí)，也給相關(guān)涉華企業(yè)和組織的海外貿(mào)易、金融借貸等業(yè)務(wù)帶來(lái)負(fù)面影響。由此看來(lái)，無(wú)論是國(guó)家，還是企業(yè)、行業(yè)組織，都將是網(wǎng)絡(luò)空間認(rèn)知安全防御類產(chǎn)品的潛在用戶群。

3.2　認(rèn)知域安全防御技術(shù)轉(zhuǎn)化可行

從技術(shù)可行性來(lái)看，本文分析了生成式人工智能在惡意信息監(jiān)測(cè)、傳播影響力預(yù)警、網(wǎng)絡(luò)水軍識(shí)別、開源情報(bào)生成等網(wǎng)絡(luò)空間安全認(rèn)知防御領(lǐng)域的應(yīng)用可行性，國(guó)內(nèi)外已有學(xué)者開展了基于生成式人工智能技術(shù)的理論研究探索，形成了一些算法模型，從理論上論證了基于生成式人工智能技術(shù)的可行性及與傳統(tǒng)技術(shù)相比的優(yōu)勢(shì)。未來(lái)，隨著全球?qū)ι墒饺斯ぶ悄芗夹g(shù)研究的進(jìn)一步深化，有望推動(dòng)網(wǎng)絡(luò)空間認(rèn)知域安全防御研究與之深度融合、快速發(fā)展。

3.3　認(rèn)知域安全產(chǎn)品初見成效

從產(chǎn)品落地來(lái)看，網(wǎng)絡(luò)空間認(rèn)知安全防御相關(guān)產(chǎn)品已初現(xiàn)端倪。例如，美國(guó)圣母大學(xué)推出了虛假信息預(yù)警系統(tǒng)，該系統(tǒng)能夠識(shí)別被惡意篡改的圖像、視頻和虛假信息等，隨后美國(guó)圣母大學(xué)在 2019 年印度尼西亞大選中測(cè)試了該系統(tǒng)。哈弗工學(xué)院與國(guó)際商業(yè)機(jī)器公司研究院的專家聯(lián)合推出了機(jī)器生成文本的檢測(cè)工具“GLTR”，該檢測(cè)工具能夠用于識(shí)別人工智能生成的虛假文本、誤導(dǎo)性文章等惡意內(nèi)容。百度推出智能云，能夠識(shí)別偽造篡改。阿里云推出智能內(nèi)容風(fēng)控服務(wù)，能夠深度理解并分析文本、圖像等內(nèi)容，快速識(shí)別出涉恐、惡意推廣等惡意信息。新浪微博與公安機(jī)關(guān)建立了水軍線索上報(bào)機(jī)制，借助智能手段開展新浪微博平臺(tái)上的水軍識(shí)別工作，為公安機(jī)關(guān)提供水軍黑產(chǎn)相關(guān)線索，協(xié)助偵辦網(wǎng)絡(luò)安全相關(guān)案件。中國(guó)知網(wǎng)推出輿情情報(bào)決策服務(wù)平臺(tái)，能夠?qū)崟r(shí)監(jiān)測(cè)網(wǎng)頁(yè)、微信、微博等輿情信息，智能分析網(wǎng)絡(luò)空間發(fā)生的事件、事件發(fā)展趨勢(shì)、信息傳播路徑等，支持短信、微信等多種形式的預(yù)警推送，并智能化生成輿情傳播情報(bào)分析報(bào)告。相信隨著全球?qū)W(wǎng)絡(luò)空間認(rèn)知域安全市場(chǎng)需求的增長(zhǎng)，網(wǎng)絡(luò)空間安全認(rèn)知域安全防御的產(chǎn)業(yè)鏈將逐步完善、產(chǎn)品種類將逐漸增多，產(chǎn)品可用性和易用性也將隨之提高。

4　結(jié)　語(yǔ)

技術(shù)的發(fā)展往往具有兩面性，生成式人工智能等前沿技術(shù)在給人類的科研、文字整理、文學(xué)創(chuàng)作等方面帶來(lái)便利的同時(shí)，也使得網(wǎng)絡(luò)空間認(rèn)知領(lǐng)域的安全風(fēng)險(xiǎn)進(jìn)一步加深。從技術(shù)角度來(lái)看，網(wǎng)絡(luò)空間認(rèn)知域所面臨的風(fēng)險(xiǎn)挑戰(zhàn)，可以通過(guò)融合生成式人工智能技術(shù)以強(qiáng)化風(fēng)險(xiǎn)應(yīng)對(duì)能力。隨著全球?qū)W(wǎng)絡(luò)空間認(rèn)知域安全的需求拉動(dòng)、生成式人工智能的技術(shù)發(fā)展驅(qū)動(dòng)，以及技術(shù)落地產(chǎn)品的效果推動(dòng)，未來(lái)網(wǎng)絡(luò)空間認(rèn)知域安全防御將發(fā)展成為網(wǎng)絡(luò)安全產(chǎn)業(yè)的一個(gè)重要分支。

引用格式

劉超超 , 陳雪 , 肖冰 . 基于生成式人工智能的網(wǎng)絡(luò)認(rèn)知域安全技術(shù) [J]. 信息安全與通信保密 ,2024(8):41-48.

作者簡(jiǎn)介

• 劉超超（1991—），男，博士，工程師，主要研究方向?yàn)槿斯ぶ悄堋⑿畔⒒瘧?zhàn)略；
• 陳　雪（1984—），女，博士，講師，主要研究方向?yàn)樯疃葘W(xué)習(xí)、復(fù)雜網(wǎng)絡(luò)和計(jì)算法學(xué)；
• 肖　冰（1986—），通信作者，男，博士，副研究員，主要研究方向?yàn)橹R(shí)產(chǎn)權(quán)管理與知識(shí)產(chǎn)權(quán)法。