鄭 曦（北京外國(guó)語大學(xué)法學(xué)院教授）

摘 要科技企業(yè)參與人工智能司法應(yīng)用，是在法院沉重的案件數(shù)量壓力和企業(yè)追求商業(yè)利益本能這兩方面驅(qū)動(dòng)力作用下的必然現(xiàn)象。在人工智能司法應(yīng)用中，科技企業(yè)除了扮演產(chǎn)品研發(fā)者、系統(tǒng)維護(hù)者、平臺(tái)運(yùn)營(yíng)者等技術(shù)角色外，還實(shí)質(zhì)上擔(dān)任數(shù)據(jù)處理者、程序控制者和裁判參與者等角色。這可能與審判基本原理發(fā)生沖突，導(dǎo)致訴訟模式改變，并帶來其他外部政策性風(fēng)險(xiǎn)。針對(duì)這些風(fēng)險(xiǎn)，應(yīng)當(dāng)合理區(qū)分科技企業(yè)參與人工智能司法應(yīng)用中的公私界限，明確“有限參與”的基本要求，并對(duì)其參與過程進(jìn)行必要監(jiān)管。據(jù)此，可以通過調(diào)適法院與科技企業(yè)的關(guān)系、確立相應(yīng)的技術(shù)標(biāo)準(zhǔn)、科以數(shù)據(jù)安全保護(hù)義務(wù)等措施，合理規(guī)制科技企業(yè)在人工智能司法應(yīng)用中的參與程度，使其參與符合法治的基本要求。

關(guān)鍵詞科技企業(yè) 人工智能 審判權(quán) 數(shù)據(jù)安全

一、問題的提出

在數(shù)字時(shí)代，人類生活的改變既是主觀需要，又是客觀事實(shí)。在司法領(lǐng)域，為適應(yīng)此種社會(huì)變革，數(shù)字司法建設(shè)成為重要主題，其中尤以法院對(duì)人工智能司法應(yīng)用之熱忱為典型。例如，上海的“206系統(tǒng)”、北京的“睿法官”、江蘇的“法務(wù)云”、河北的“智審”、重慶的“法治云”等辦案輔助系統(tǒng)，均是人工智能司法應(yīng)用的重要產(chǎn)品。2022年11月，隨著ChatGPT等生成式人工智能的問世，“司法+人工智能”得到了進(jìn)一步深化和應(yīng)用。例如，廣東省珠海市香洲區(qū)人民法院在全流程無紙化辦案的基礎(chǔ)上，深耕“人工智能＋場(chǎng)景運(yùn)用”，于2024年9月29日正式啟用“香法AI·云上智審”平臺(tái)。該平臺(tái)所使用的人工智能大模型是全國(guó)首個(gè)由基層人民法院研發(fā)訓(xùn)練的人工智能司法大模型，能夠完成“法律你問我答”“提綱生成”“裁判文書書寫”等司法任務(wù)。再如，上海市第二中級(jí)人民法院所使用的“小至數(shù)字助手”輔助辦案系統(tǒng)，在法律領(lǐng)域大語言模型應(yīng)用的基礎(chǔ)上，通過學(xué)習(xí)法官智能輔助辦案系統(tǒng)（C2J）積累的法律法規(guī)庫(kù)、裁判文書庫(kù)、企業(yè)信息庫(kù)、案例庫(kù)等9大數(shù)據(jù)庫(kù)實(shí)現(xiàn)了知識(shí)增強(qiáng)，能夠?qū)υ瓕徫臅干婧贤⑵鹪V狀、答辯狀等進(jìn)行智能解析和歸納，實(shí)現(xiàn)筆錄規(guī)整歸納、案件事實(shí)比對(duì)確認(rèn)、訴辯爭(zhēng)議內(nèi)容歸納等功能。

由于法律人與人工智能技術(shù)之間存在疏離，法院無法獨(dú)立完成人工智能司法應(yīng)用工作，因此向科技企業(yè)借力成為最佳的、幾乎也是唯一的選擇。對(duì)于科技企業(yè)參與人工智能司法應(yīng)用的做法，中央從“推動(dòng)大數(shù)據(jù)、人工智能等科技創(chuàng)新成果同司法工作深度融合”的要求出發(fā)予以肯認(rèn)。然而，在人工智能司法應(yīng)用中開展“公私合作”，屬“私”的科技企業(yè)以技術(shù)為接口進(jìn)入司法領(lǐng)域，必然會(huì)對(duì)屬“公”的審判制度帶來一定影響。就此問題，已有學(xué)者敏銳地察覺并進(jìn)行了分析和反思。例如，馬長(zhǎng)山教授發(fā)現(xiàn)科技企業(yè)在參與包括人工智能司法應(yīng)用在內(nèi)的公共服務(wù)平臺(tái)建設(shè)過程中缺少民眾參與和對(duì)社會(huì)訴求的吸納，公民始終“不在場(chǎng)”；左衛(wèi)民教授認(rèn)為科技企業(yè)對(duì)于法律人工智能等技術(shù)的投入仍有限、技術(shù)水平也不高；劉艷紅教授提出在將人工智能技術(shù)運(yùn)用于司法時(shí)，應(yīng)限定法院與科技企業(yè)的合作限度；張凌寒教授指出科技企業(yè)的參與可能導(dǎo)致法院對(duì)企業(yè)的技術(shù)依賴；王祿生教授發(fā)現(xiàn)人工智能司法應(yīng)用中存在技術(shù)話語與司法話語的沖突；筆者也曾對(duì)科技企業(yè)參與人工智能司法應(yīng)用可能削弱法院的審判權(quán)并帶來腐敗風(fēng)險(xiǎn)表達(dá)過擔(dān)憂。但當(dāng)前這些分析和反思尚顯零散，缺少系統(tǒng)性研究。事實(shí)上，針對(duì)科技企業(yè)參與人工智能司法應(yīng)用，有必要思考以下問題：科技企業(yè)參與人工智能司法應(yīng)用的驅(qū)動(dòng)力何在？科技企業(yè)在其中扮演何種角色、發(fā)揮什么作用？此種參與會(huì)帶來哪些問題和風(fēng)險(xiǎn)？此種參與應(yīng)遵循何種思路？有無對(duì)此種參與進(jìn)行有效規(guī)制的制度或手段？只有對(duì)這些問題予以認(rèn)真關(guān)注、充分考慮，才能有效發(fā)揮科技企業(yè)在人工智能司法應(yīng)用中的積極作用，并盡量降低其負(fù)面影響，實(shí)現(xiàn)良性的“公”“私”互動(dòng)與合作。

二、科技企業(yè)參與人工智能司法應(yīng)用的驅(qū)動(dòng)力及角色

人工智能司法應(yīng)用中借力科技企業(yè)的技術(shù)已然常見，但科技企業(yè)如此積極參與的動(dòng)力何在？因何而成？其在人工智能司法應(yīng)用過程及后續(xù)的運(yùn)作中究竟扮演何種角色？這些問題都值得思考。若不回答這些問題，則對(duì)科技企業(yè)參與所帶來的問題或風(fēng)險(xiǎn)進(jìn)而如何對(duì)其進(jìn)行規(guī)制等后續(xù)問題的研究都將難以為繼。

（一）科技企業(yè)參與人工智能司法應(yīng)用的驅(qū)動(dòng)力

科技企業(yè)對(duì)人工智能司法應(yīng)用的參與，是在整個(gè)社會(huì)數(shù)字化浪潮的推動(dòng)下展開的。人工智能技術(shù)的普遍運(yùn)用塑造了社會(huì)生活的新形態(tài)，推進(jìn)或裹挾著社會(huì)生活的數(shù)字化、智能化轉(zhuǎn)型。在我國(guó)，“數(shù)字中國(guó)”建設(shè)甚至成為國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展的重要主題，被政府發(fā)展規(guī)劃反復(fù)強(qiáng)調(diào)。這樣的外部環(huán)境促成了作為人類社會(huì)生活不可分割部分的司法領(lǐng)域的智能化變革，科技企業(yè)參與人工智能司法應(yīng)用的外在驅(qū)動(dòng)力由此而來。相較于此種宏觀的、顯見的外部驅(qū)動(dòng)力，源自法院系統(tǒng)和科技企業(yè)這兩方主體的內(nèi)在需求對(duì)科技企業(yè)積極投身于人工智能司法建設(shè)起到了更為顯著的激勵(lì)作用。這兩方面的內(nèi)在需求促使法院與科技企業(yè)的視線交匯，并驅(qū)動(dòng)人工智能司法應(yīng)用的進(jìn)程以公私合作的樣態(tài)向前推進(jìn)。

從法院的視角看，允許、要求科技企業(yè)參與人工智能司法應(yīng)用的最大內(nèi)在驅(qū)動(dòng)力源自沉重的案件數(shù)量壓力。現(xiàn)代社會(huì)正處于訴訟爆炸的時(shí)代，法院面臨著案件數(shù)量過多的巨大壓力。2023年我國(guó)各級(jí)人民法院收案4 557.4萬件，結(jié)案4 526.8萬件，同比分別增長(zhǎng)15.6%、13.4%。面對(duì)如此重壓，法院增加辦案人員數(shù)量的空間又十分有限，于是只剩下兩個(gè)選擇：一是適當(dāng)壓縮甚至部分放棄對(duì)程序公正的追求，將案件進(jìn)行分流處理，如認(rèn)罪協(xié)商制度；二是寄希望于現(xiàn)代技術(shù)，期冀通過人工智能等新技術(shù)的運(yùn)用提高司法效率。基于此種提高司法效率的價(jià)值追求，法院將人工智能司法應(yīng)用的產(chǎn)品研發(fā)、系統(tǒng)維護(hù)、平臺(tái)運(yùn)營(yíng)等技術(shù)性工作外包給科技企業(yè)，既不必大幅增加相應(yīng)的人力資源和技術(shù)成本投入，又能在較短時(shí)間內(nèi)取得明顯可見的成效。因此，從法院的角度看，在人工智能司法應(yīng)用中向科技企業(yè)“引援”，無疑是最符合其利益的選擇，法院自然愿意將此種技術(shù)性工作轉(zhuǎn)交給科技企業(yè)處理。在這個(gè)意義上，案件數(shù)量壓力客觀上成為促使法院開展人工智能司法應(yīng)用并將其中的技術(shù)性工作外包給科技企業(yè)的內(nèi)在驅(qū)動(dòng)力。

從科技企業(yè)的視角看，其積極參與人工智能司法應(yīng)用的根本內(nèi)在驅(qū)動(dòng)力來自追求經(jīng)濟(jì)利益的商業(yè)本能。以獲取經(jīng)濟(jì)利益為根本目標(biāo)，對(duì)于科技企業(yè)而言乃是天經(jīng)地義之事，至于其社會(huì)責(zé)任、良善信念等則是獲得經(jīng)濟(jì)利益以保證企業(yè)生存和發(fā)展前提之下的副產(chǎn)品，這一點(diǎn)無可厚非。就科技企業(yè)而言，開展技術(shù)研發(fā)亦需要首先考慮經(jīng)濟(jì)利益，其中最主要的是兩方面的問題：一是技術(shù)研發(fā)需要投入多少資金成本，二是研發(fā)出的產(chǎn)品是否能夠“變現(xiàn)”并覆蓋成本，獲得盡可能高的回報(bào)率。人工智能司法應(yīng)用恰好在成本和利潤(rùn)兩方面均為科技企業(yè)提供了較好的選擇：一方面，人工智能司法應(yīng)用作為“數(shù)字中國(guó)”建設(shè)宏觀規(guī)劃圖景的重要組成部分，國(guó)家通過財(cái)政撥款、設(shè)立科研招標(biāo)項(xiàng)目的方式為其提供了巨額資金。科技企業(yè)通過與法院合作申請(qǐng)此類課題項(xiàng)目，可以有效解決相關(guān)研發(fā)中的資金投入難題。另一方面，科技企業(yè)參與人工智能司法應(yīng)用最終確實(shí)也能夠獲得較為豐厚的利潤(rùn)回報(bào)。以科大訊飛公司為例，2023年其智慧政法行業(yè)應(yīng)用的營(yíng)業(yè)收入達(dá)7.28億元。如此一來，科技企業(yè)投身于人工智能司法應(yīng)用項(xiàng)目建設(shè)，既可以從國(guó)家財(cái)政獲得研發(fā)經(jīng)費(fèi)支持，又可以在后續(xù)運(yùn)營(yíng)過程中獲得巨大的利潤(rùn)回報(bào)，這自然使得科技企業(yè)的積極參與具有了強(qiáng)大的內(nèi)在驅(qū)動(dòng)力。

（二）科技企業(yè)在人工智能司法應(yīng)用中的角色

在前述因素的驅(qū)動(dòng)下，科技企業(yè)積極參與人工智能司法應(yīng)用，其內(nèi)容主要包括實(shí)現(xiàn)司法行政管理智能化、開發(fā)智能化審判輔助工具等，承擔(dān)著由法院外包的人工智能司法應(yīng)用中的技術(shù)性司法輔助工作。針對(duì)這些工作內(nèi)容，從表面看，這些科技企業(yè)的角色是一目了然、顯而易見的，即它們主要扮演著產(chǎn)品研發(fā)者、系統(tǒng)維護(hù)者、平臺(tái)運(yùn)營(yíng)者等技術(shù)角色。然而，由于司法輔助工作與司法工作之間并不存在“楚河漢界”般清晰的邊界，因此參與人工智能司法應(yīng)用的科技企業(yè)可能超越這些表面意義上的角色和職能而實(shí)際扮演以下3種實(shí)質(zhì)性角色。

第一，數(shù)據(jù)處理者。數(shù)據(jù)是人工智能的基礎(chǔ)性原料。參與人工智能司法應(yīng)用的科技企業(yè)在產(chǎn)品研發(fā)、系統(tǒng)維護(hù)或平臺(tái)運(yùn)營(yíng)的過程中，必然會(huì)對(duì)海量數(shù)據(jù)進(jìn)行收集、存儲(chǔ)、使用、加工、傳輸、提供和公開，因而具有數(shù)據(jù)處理者的身份。例如，北京華宇信息技術(shù)有限公司為全國(guó)法院建設(shè)了5 000余個(gè)科技法庭，每天處理的庭審音視頻時(shí)長(zhǎng)超過2萬小時(shí)，成為人工智能司法應(yīng)用中的重要數(shù)據(jù)處理者。需要注意的是，人工智能司法應(yīng)用中所使用的數(shù)據(jù)有相當(dāng)部分來源于法院以往的司法行政和案件審理工作。從數(shù)據(jù)分級(jí)的角度看，這些數(shù)據(jù)既包括一般數(shù)據(jù)，也涵蓋《中華人民共和國(guó)數(shù)據(jù)安全法》（以下簡(jiǎn)稱《數(shù)據(jù)安全法》）第21條所指的重要數(shù)據(jù)，甚至還包含關(guān)系國(guó)家安全、國(guó)民經(jīng)濟(jì)命脈、重要民生以及重大公共利益的國(guó)家核心數(shù)據(jù)；從數(shù)據(jù)分類的角度看，既有政府?dāng)?shù)據(jù)，也有個(gè)人數(shù)據(jù)，其中個(gè)人數(shù)據(jù)又分為一般數(shù)據(jù)與敏感個(gè)人數(shù)據(jù)。科技企業(yè)參與人工智能司法應(yīng)用需以數(shù)據(jù)為底料，除收集使用一般數(shù)據(jù)外，極有可能處理各類重要數(shù)據(jù)，如合議庭秘密評(píng)議的相關(guān)數(shù)據(jù)、案件分配相關(guān)數(shù)據(jù)、公民指紋或脫氧核糖核酸（DNA）等生物識(shí)別數(shù)據(jù)等，甚至可能接觸到某些特殊案件中包含的國(guó)家核心數(shù)據(jù)。作為數(shù)據(jù)處理者，無論出于故意還是過失，科技企業(yè)一旦因非法獲取或非法使用這些數(shù)據(jù)而導(dǎo)致數(shù)據(jù)被篡改或泄露等，則都可能給國(guó)家利益、公共利益和公民個(gè)人的合法利益造成嚴(yán)重?fù)p失。因此，對(duì)于科技企業(yè)在人工智能司法應(yīng)用中所扮演的數(shù)據(jù)處理者角色，應(yīng)當(dāng)予以充分重視。

第二，程序控制者。智能化司法要求將一部分司法行政工作交由人工智能工具來處理。在歐盟，絕大多數(shù)國(guó)家的法院均有企業(yè)資源規(guī)劃（ERP）一類的案件管理系統(tǒng)，負(fù)責(zé)案件分配、過程管理等工作。在我國(guó)，對(duì)于法官的案件審理工作，也可通過人工智能工具予以督促、評(píng)估和考核。如此一來，這些人工智能工具對(duì)于案件分配、繁簡(jiǎn)分流、審理時(shí)長(zhǎng)、執(zhí)行流程等程序性事項(xiàng)就掌握了相當(dāng)強(qiáng)的控制權(quán)，在一定程度上能夠影響案件的進(jìn)程。而在這些對(duì)程序具有控制力的人工智能工具背后，是參與人工智能司法應(yīng)用的科技企業(yè)。例如，安徽省合肥高新技術(shù)產(chǎn)業(yè)開發(fā)區(qū)人民法院與科大訊飛公司合作成立了司法輔助事務(wù)集約中心，設(shè)置電子送達(dá)專員、排期專員、速錄員等多個(gè)崗位，使原來分散進(jìn)行的各案件節(jié)點(diǎn)程序性事項(xiàng)實(shí)現(xiàn)集約化運(yùn)行。從這個(gè)意義上看，科技企業(yè)參與人工智能司法應(yīng)用在某種程度上扮演了程序控制者的角色。

第三，裁判參與者。當(dāng)前法院使用的人工智能工具雖然仍處于“弱人工智能”階段，在中短期內(nèi)仍難以全面、深刻地推行AI法官，但人工智能應(yīng)用已對(duì)司法裁判產(chǎn)生實(shí)質(zhì)影響。這些人工智能工具通過類案推送、證據(jù)審查、社會(huì)危險(xiǎn)性評(píng)估等方式參與法官心證過程，從而影響案件的事實(shí)認(rèn)定與法律適用。例如，哥倫比亞有法官參考ChatGPT的意見做出判決，并在裁判文書中引用其與ChatGPT的對(duì)話作為裁判依據(jù)；印度亦有法官依據(jù)ChatGPT的意見對(duì)是否給予被告人保釋做出決定。在我國(guó)，人工智能工具參與裁判的情形亦不鮮見，法院雖然將人工智能定位為司法輔助工具，并不要求法官必然遵循其所提出的意見，但由于人工智能工具具有科學(xué)化外觀及形式理性品格，因此法官在做出相反裁判時(shí)也難免承受巨大壓力，不得不再三考慮，甚至屈從于人工智能工具之結(jié)論。因此，人工智能工具實(shí)質(zhì)地對(duì)案件裁判工作產(chǎn)生影響，其即便對(duì)于案件的裁判結(jié)果不具有完全、最終的決定權(quán)，也至少參與并深刻作用于法官的裁判過程。由此，研發(fā)此種人工智能工具的科技企業(yè)也扮演了裁判參與者的角色。

三、科技企業(yè)參與人工智能司法應(yīng)用可能帶來的風(fēng)險(xiǎn)

參與人工智能司法應(yīng)用的科技企業(yè)不但在形式上發(fā)揮產(chǎn)品研發(fā)者、系統(tǒng)維護(hù)者與平臺(tái)運(yùn)營(yíng)者的作用，而且在實(shí)質(zhì)上扮演數(shù)據(jù)處理者、程序控制者、裁判參與者等角色。這可能與傳統(tǒng)訴訟理念產(chǎn)生沖突，帶來訴訟結(jié)構(gòu)的改變，甚至產(chǎn)生外部政策性風(fēng)險(xiǎn)，對(duì)此應(yīng)有充分認(rèn)識(shí)。

（一）理念性風(fēng)險(xiǎn)：與審判原理的沖突

科技企業(yè)所扮演的數(shù)據(jù)處理者、程序控制者和裁判參與者角色，是傳統(tǒng)訴訟中所未見的。其固然源自法院數(shù)字化轉(zhuǎn)型的必然需求，但也可能與傳統(tǒng)的審判原理不合，甚至發(fā)生沖突與抵觸，具體體現(xiàn)在以下兩個(gè)方面。

一方面，對(duì)法院而言，科技企業(yè)參與人工智能司法應(yīng)用可能會(huì)干預(yù)法官的審判權(quán)。法院行使審判權(quán)的核心要義在于，審判權(quán)由法院獨(dú)占行使，其他任何人不得分享此種權(quán)力。這是審判權(quán)獨(dú)立運(yùn)行的基本要求，是國(guó)家權(quán)力配置原理的體現(xiàn)，對(duì)于保證審判公正、維護(hù)司法權(quán)威均具有重要意義。因而，聯(lián)合國(guó)《公民權(quán)利和政治權(quán)利國(guó)際公約》第14條第1款要求審判由“依法設(shè)立的合格的、獨(dú)立的和無偏倚的法庭”負(fù)責(zé)，《中華人民共和國(guó)刑事訴訟法》（以下簡(jiǎn)稱《刑事訴訟法》）第3條、《中華人民共和國(guó)民事訴訟法》第6條、《中華人民共和國(guó)行政訴訟法》第4條亦要求審判權(quán)由人民法院行使，其他任何機(jī)關(guān)、團(tuán)體和個(gè)人均無權(quán)行使審判權(quán)。然而，科技企業(yè)所扮演的角色，尤其是其對(duì)程序的控制和對(duì)裁判的參與，都實(shí)際地從法院審判權(quán)中“分一杯羹”，可能干預(yù)法院在案件分配、程序分流、對(duì)“裁判時(shí)機(jī)”的把握等方面的程序性權(quán)力，以及在證據(jù)審查判斷、事實(shí)認(rèn)定、量刑適用等方面的實(shí)體性權(quán)力，甚至可能出現(xiàn)從“法官的審判”變成“機(jī)器的審判”或“技術(shù)人員的審判”的現(xiàn)象。此種風(fēng)險(xiǎn)已非想象，司法實(shí)踐中已經(jīng)出現(xiàn)機(jī)器審判帶來公正價(jià)值嚴(yán)重偏差的案例。

另一方面，對(duì)公民而言，科技企業(yè)參與人工智能司法應(yīng)用可能侵犯公民的訴訟權(quán)利。訴訟權(quán)利保障是現(xiàn)代法治的產(chǎn)物和要求，直接影響到公民享有公平正義的機(jī)會(huì)，同時(shí)也是建設(shè)法治社會(huì)的重要體現(xiàn)，既符合訴訟中人權(quán)保障的基本價(jià)值追求，也有利于對(duì)公權(quán)力的運(yùn)行進(jìn)行監(jiān)督制約。然而，科技企業(yè)以數(shù)據(jù)處理者、程序控制者、裁判參與者等身份介入訴訟，可能對(duì)公民訴訟權(quán)利特別是被告人質(zhì)證權(quán)的保障造成障礙。被告人質(zhì)證權(quán)的核心是圍繞不利于己的證據(jù)進(jìn)行辯論、質(zhì)疑和反駁，其基本前提是有明確的質(zhì)證對(duì)象以及有出庭的、可與之進(jìn)行質(zhì)證的對(duì)手。而科技企業(yè)在人工智能司法應(yīng)用中扮演的角色，特別是其對(duì)裁判結(jié)果的實(shí)質(zhì)影響，則可能削弱了這兩方面的前提。科技企業(yè)對(duì)案件裁判結(jié)果的影響，是以一種“隱身”的方式借由其開發(fā)的人工智能產(chǎn)品而實(shí)現(xiàn)的。而人工智能產(chǎn)品提出意見或做出結(jié)論所依據(jù)的算法、數(shù)據(jù)均不公開，于是被告人即便對(duì)其意見或結(jié)論有異議，也無法就其依據(jù)進(jìn)行質(zhì)證，也不知該與何人質(zhì)證，從而阻礙了質(zhì)證權(quán)的行使。此外，科技企業(yè)作為數(shù)據(jù)處理者亦可能對(duì)公民的數(shù)據(jù)權(quán)利造成損害。公民因參與訴訟而主動(dòng)或被動(dòng)地向法院呈交數(shù)據(jù)，并期待這些數(shù)據(jù)只為法院等公權(quán)力機(jī)構(gòu)所掌握，且僅被用于訴訟目的，并在法定條件成就時(shí)被封存或刪除。然而，科技企業(yè)在人工智能司法應(yīng)用中充當(dāng)實(shí)際的數(shù)據(jù)處理者，使得掌握公民數(shù)據(jù)的主體數(shù)量增加，其作為商業(yè)機(jī)構(gòu)的逐利性本能也增大了數(shù)據(jù)被不當(dāng)處理的可能性，進(jìn)而增加了數(shù)據(jù)失控的風(fēng)險(xiǎn)和公民數(shù)據(jù)權(quán)利保護(hù)的難度。

（二）結(jié)構(gòu)性風(fēng)險(xiǎn)：對(duì)訴訟模式的改變

科技企業(yè)參與人工智能司法應(yīng)用而處理數(shù)據(jù)、控制程序并參與審判，改變了原有的訴訟模式，給已然穩(wěn)定的訴訟結(jié)構(gòu)帶來了新的沖擊，從而可能產(chǎn)生以下風(fēng)險(xiǎn)。

首先，審判結(jié)構(gòu)因科技企業(yè)的參與而可能發(fā)生變化。所謂結(jié)構(gòu)，即為各方之間的關(guān)系。審判通常應(yīng)當(dāng)呈現(xiàn)出兩造具備、法官居中的正三角結(jié)構(gòu)，以使得控辯審三方的關(guān)系穩(wěn)定，進(jìn)而保證平等對(duì)抗和審判中立，以維護(hù)審判的權(quán)威性。此種三角審判結(jié)構(gòu)存在的必要性已成為共識(shí)。然而，科技企業(yè)以裁判參與者的身份加入，可能干預(yù)甚至分享法官的審判權(quán)力，改變?cè)腥菍徟薪Y(jié)構(gòu)。如此一來，原本控辯審三方關(guān)系中又增加了科技企業(yè)這一隱性的裁判參與者，使得控辯審三方關(guān)系中又增加了更多不穩(wěn)定的因素。三角審判結(jié)構(gòu)的改變雖然可能提升訴訟便利性和效率，但對(duì)于其可能帶來的司法公正風(fēng)險(xiǎn)，也需保持足夠的警惕。一是依據(jù)排除價(jià)值判斷的人工智能工具之意見做出的裁判，是否符合人類基于價(jià)值判斷而形成的一般社會(huì)公正觀念的要求，從而能否為公眾所接受？二是是否存在科技企業(yè)出于逐利之本能或技術(shù)人員基于其某種固有觀念，而在人工智能工具中“夾帶私貨”之可能？如企業(yè)在研發(fā)相關(guān)產(chǎn)品時(shí)，可能會(huì)設(shè)計(jì)有利于己之算法；持有歧視觀念的技術(shù)人員亦可能將對(duì)某少數(shù)群體的敵對(duì)情緒注入相關(guān)程序。

其次，科技企業(yè)參與人工智能司法應(yīng)用可能導(dǎo)致審判對(duì)技術(shù)的過度依賴。審判本應(yīng)由法官“本著誠(chéng)實(shí)之良心去尋找針對(duì)被告人提出的證據(jù)以及被告人提出的辯護(hù)理由在他們理智上產(chǎn)生的印象”，但是在人工智能司法應(yīng)用中，人工智能技術(shù)以科學(xué)之名介入審判，導(dǎo)致法官的權(quán)威降低，進(jìn)而可能形成審判的技術(shù)依賴。例如，許多法院運(yùn)用的人工智能系統(tǒng)不但能向法官進(jìn)行類案推送，促使法官對(duì)類似案件做出近似判決，還會(huì)在法官的裁判結(jié)果與其預(yù)測(cè)性判斷發(fā)生重大偏離時(shí)自動(dòng)預(yù)警，觸發(fā)法院領(lǐng)導(dǎo)對(duì)該案的關(guān)注。這使得法官在做出與人工智能系統(tǒng)不一致的裁判時(shí)必然背負(fù)巨大壓力，技術(shù)中性無偏的理念迫使法官依賴于其提出的意見或結(jié)論。長(zhǎng)此以往，在強(qiáng)勢(shì)的人工智能技術(shù)面前，法官的自信心和判斷力都會(huì)受到?jīng)_擊。為逃避壓力和責(zé)任，法官可能傾向于采納人工智能工具的裁判意見而放棄獨(dú)立判斷，于是技術(shù)依賴不但會(huì)侵蝕法官在審判中的決策權(quán)力，也將削弱法官的裁判能力。需要注意的是，人工智能司法應(yīng)用中法官對(duì)技術(shù)的依賴，實(shí)質(zhì)是對(duì)研發(fā)和運(yùn)營(yíng)相應(yīng)人工智能技術(shù)的科技企業(yè)的依賴。此種依賴一旦形成，倘若不予以嚴(yán)格監(jiān)管，那么其后果將極為嚴(yán)重。

最后，對(duì)科技企業(yè)在訴訟中的實(shí)質(zhì)參與進(jìn)行監(jiān)管和追責(zé)極為困難。對(duì)審判活動(dòng)的監(jiān)督管理，包括案件程序和流程監(jiān)控、案件質(zhì)量評(píng)查與司法績(jī)效評(píng)估乃至個(gè)案監(jiān)督等，是保證審判活動(dòng)依法進(jìn)行的必要措施。科技企業(yè)參與人工智能司法應(yīng)用而處理數(shù)據(jù)、控制程序、參與裁判，同樣應(yīng)受此種監(jiān)管。然而，此種監(jiān)管卻難以實(shí)施。原因在于：（1）參與人工智能司法應(yīng)用的科技企業(yè)具有技術(shù)壟斷優(yōu)勢(shì)，這使得來自外部的監(jiān)管存在技術(shù)障礙。法院及其他監(jiān)管機(jī)構(gòu)對(duì)于技術(shù)的疏離，導(dǎo)致其在面對(duì)科技企業(yè)時(shí)往往如同“技術(shù)盲”一般存在專業(yè)知識(shí)的鴻溝。加之出于保護(hù)商業(yè)秘密和知識(shí)產(chǎn)權(quán)的需要，科技企業(yè)的技術(shù)具有高度保密性、算法不公開等已經(jīng)引起普遍關(guān)注的問題，使得對(duì)科技企業(yè)的監(jiān)管亦難以進(jìn)行。（2）來自外部的監(jiān)管缺少明確的標(biāo)準(zhǔn)和規(guī)范，使得由外部機(jī)構(gòu)進(jìn)行監(jiān)管缺乏制度依據(jù)。由于人工智能技術(shù)的變革異常迅速，而技術(shù)本身以一定的容錯(cuò)率為發(fā)展前提，因此很難制定一套明確的標(biāo)準(zhǔn)來判斷某項(xiàng)技術(shù)的科學(xué)性。目前，此種監(jiān)管規(guī)范的缺失使得由外部機(jī)構(gòu)對(duì)參與人工智能司法應(yīng)用的科技企業(yè)實(shí)施監(jiān)管的工作難以落實(shí)。（3）科技企業(yè)的自我監(jiān)管既缺乏動(dòng)力又無足夠可信度，使得自我監(jiān)管容易流于形式。科技企業(yè)進(jìn)行嚴(yán)格的自我監(jiān)管需要付出大量的金錢、人力和技術(shù)成本，這與其追求經(jīng)濟(jì)利益的商業(yè)目標(biāo)不符。加之自我監(jiān)管本身存在缺陷，此種監(jiān)管的實(shí)際效果值得懷疑。監(jiān)管難以施行，通過監(jiān)管去發(fā)現(xiàn)并追究科技企業(yè)因主觀故意或技術(shù)缺陷而造成的不當(dāng)行為責(zé)任也就無從談起。在如此缺乏監(jiān)管和追責(zé)機(jī)制的現(xiàn)狀下，僅依靠科技企業(yè)自身的道德觀念和企業(yè)責(zé)任的約束就保證其依法、合理地參與人工智能司法應(yīng)用，不免風(fēng)險(xiǎn)過高。

（三）外部政策性風(fēng)險(xiǎn)：在審判之外的影響

科技企業(yè)對(duì)人工智能司法應(yīng)用的參與，不但可能帶來前述的理念性風(fēng)險(xiǎn)和結(jié)構(gòu)性風(fēng)險(xiǎn)，而且在實(shí)踐操作中也可能存在一些其他風(fēng)險(xiǎn)。這些風(fēng)險(xiǎn)不像前兩者那樣直接指向?qū)徟斜旧恚菚?huì)對(duì)審判之外的其他價(jià)值追求造成影響。借用美國(guó)法學(xué)家威格摩爾在對(duì)證據(jù)規(guī)則進(jìn)行分類時(shí)所使用的概念，可將此種風(fēng)險(xiǎn)暫稱為“外部政策性風(fēng)險(xiǎn)”。

1.數(shù)據(jù)濫用風(fēng)險(xiǎn)。如前所述，科技企業(yè)在人工智能司法應(yīng)用中扮演數(shù)據(jù)處理者的角色，一旦非法處理數(shù)據(jù)就可能帶來嚴(yán)重危害。然而，此種可能性卻是現(xiàn)實(shí)存在的。盡管已有預(yù)防數(shù)據(jù)濫用的法律法規(guī)，企業(yè)通常也有數(shù)據(jù)合規(guī)制度，但出于獲取經(jīng)濟(jì)利益的商業(yè)本能，此種數(shù)據(jù)濫用風(fēng)險(xiǎn)依然存在。更重要的是，相較于作為企業(yè)行為的數(shù)據(jù)濫用，因企業(yè)中某一或若干員工的不當(dāng)行為而導(dǎo)致的數(shù)據(jù)濫用則更為常見。由“內(nèi)鬼”所導(dǎo)致的數(shù)據(jù)泄露是數(shù)據(jù)濫用的重要原因。科技企業(yè)因參與人工智能司法應(yīng)用所處理的數(shù)據(jù)可能包括重要數(shù)據(jù)甚至國(guó)家核心數(shù)據(jù)，這些數(shù)據(jù)一旦被泄露、篡改等非法處理，后果將不堪設(shè)想。

2.“以次充好”風(fēng)險(xiǎn)。此種風(fēng)險(xiǎn)是指科技企業(yè)因覬覦參與人工智能司法應(yīng)用的巨大經(jīng)濟(jì)利益或其他原因，在技術(shù)水平尚不成熟時(shí)為降低成本，利用前述法律人與技術(shù)的疏離關(guān)系，以低水平的人工智能產(chǎn)品甚至“偽”人工智能產(chǎn)品濫竽充數(shù)。該現(xiàn)象可能帶來兩方面的嚴(yán)重后果：一是致使國(guó)帑枉費(fèi)。一些企業(yè)在獲得國(guó)家立項(xiàng)和撥款之后，在項(xiàng)目的研究過程中馬馬虎虎，最終以質(zhì)量極低的成果交差了事；在與基層法官們的交流中，也有許多法官抱怨法院的智慧系統(tǒng)智能化程度低、使用體驗(yàn)差，以致法官們不愿甚至拒絕使用。如此，國(guó)家對(duì)于人工智能司法應(yīng)用所投入的經(jīng)費(fèi)就無法獲得與其預(yù)期相匹配的產(chǎn)出。二是低技術(shù)含量特別是安全技術(shù)水平較低的人工智能產(chǎn)品接入法院系統(tǒng)后，其所存在的潛在安全漏洞可能給針對(duì)法院系統(tǒng)的外部攻擊提供路徑和機(jī)會(huì)，從而帶來網(wǎng)絡(luò)和數(shù)據(jù)安全隱患。

3.腐敗風(fēng)險(xiǎn)。法院在選擇科技企業(yè)參與人工智能司法應(yīng)用開發(fā)時(shí)需要考慮眾多因素，如技術(shù)能力、實(shí)踐經(jīng)驗(yàn)等，并經(jīng)過招投標(biāo)等程序。國(guó)家投資項(xiàng)目的招投標(biāo)環(huán)節(jié)容易出現(xiàn)腐敗風(fēng)險(xiǎn)，企業(yè)與公職人員在此環(huán)節(jié)易發(fā)生利益勾結(jié)、捆綁現(xiàn)象，而此現(xiàn)象在科技企業(yè)參與人工智能司法應(yīng)用中同樣可能發(fā)生。此外，在人工智能司法應(yīng)用的系統(tǒng)維護(hù)、平臺(tái)運(yùn)營(yíng)、軟硬件采購(gòu)等過程中亦有滋生腐敗的空間。科技企業(yè)參與人工智能司法應(yīng)用可能導(dǎo)致的腐敗風(fēng)險(xiǎn)，與其他領(lǐng)域的腐敗風(fēng)險(xiǎn)在本質(zhì)上并無區(qū)別，可能導(dǎo)致民眾對(duì)法院?jiǎn)适湃巍⑵茐纳鐣?huì)倫理道德基礎(chǔ)等嚴(yán)重后果，因此應(yīng)當(dāng)給予高度重視。對(duì)此，最高人民法院網(wǎng)絡(luò)安全和信息化領(lǐng)導(dǎo)小組會(huì)議要求堅(jiān)持不懈抓好信息化建設(shè)領(lǐng)域黨風(fēng)廉政建設(shè)，嚴(yán)格落實(shí)廉政風(fēng)險(xiǎn)防控制度，確保建設(shè)廉潔工程。一些法院也已有深刻認(rèn)識(shí)，如江蘇省常州市鐘樓區(qū)人民法院曾召開信息化建設(shè)領(lǐng)域集體廉政談話會(huì)，強(qiáng)調(diào)在信息化建設(shè)中應(yīng)規(guī)范采購(gòu)流程、嚴(yán)守廉潔底線。

四、規(guī)制科技企業(yè)參與人工智能司法應(yīng)用的基本思路

針對(duì)上述風(fēng)險(xiǎn)，應(yīng)對(duì)科技企業(yè)參與人工智能司法應(yīng)用予以必要規(guī)制。可以從合理區(qū)分公私界限、明確要求科技企業(yè)“有限參與”并對(duì)其參與過程進(jìn)行必要監(jiān)管著手，提出規(guī)制科技企業(yè)參與人工智能司法應(yīng)用的基本思路。

（一）公私界限的合理區(qū)分

人工智能司法應(yīng)用中的科技企業(yè)參與、公私合作確有現(xiàn)實(shí)必要性，但應(yīng)以明確公私界限為前提，劃分各自的“勢(shì)力范圍”，防止相互間權(quán)責(zé)越界。為此，應(yīng)當(dāng)再次明確并強(qiáng)調(diào)科技企業(yè)在人工智能司法應(yīng)用中作為技術(shù)提供者的這一輔助性身份。引入科技企業(yè)參與人工智能司法應(yīng)用的初衷是彌補(bǔ)法院在智能技術(shù)方面的短板。然而，科技企業(yè)在實(shí)踐中逐步形成的程序控制者和審判參與者等角色，實(shí)際上不符合人工智能司法應(yīng)用的最初設(shè)定。為正本清源，應(yīng)在人工智能司法應(yīng)用中強(qiáng)調(diào)對(duì)法院審判權(quán)的維護(hù)，明確案件的審判工作，無論程序之推進(jìn)、證據(jù)之審查、事實(shí)之認(rèn)定還是法律之適用，都屬于審判權(quán)之內(nèi)容，應(yīng)由法官行使。科技企業(yè)研發(fā)運(yùn)營(yíng)的人工智能工具原則上只能提供提醒、建議、參考等服務(wù)，不應(yīng)越界而實(shí)質(zhì)地影響甚至干預(yù)審判。對(duì)于這一點(diǎn)，2022年《最高人民法院關(guān)于規(guī)范和加強(qiáng)人工智能司法應(yīng)用的意見》第5條已經(jīng)作出明確規(guī)定。

基于審判權(quán)由法院行使的理念和科技企業(yè)作為技術(shù)提供者的輔助性職責(zé)定位，法官獨(dú)立行使審判權(quán)并承擔(dān)責(zé)任的原則在人工智能司法應(yīng)用中仍應(yīng)嚴(yán)格適用，即法官獨(dú)立行使審判權(quán)，不受“其他任何機(jī)關(guān)、團(tuán)體和個(gè)人”等外來力量的干預(yù)。在人工智能司法應(yīng)用的背景下，還應(yīng)當(dāng)排除運(yùn)用于數(shù)字法院建設(shè)的人工智能技術(shù)及其背后科技企業(yè)的影響，確保法官不受干擾地、超越工具理性地獨(dú)立行使審判權(quán)，如此方能滿足“讓審理者裁判”的前提，進(jìn)而要求“由裁判者負(fù)責(zé)”，讓法官承擔(dān)錯(cuò)案裁判的司法責(zé)任。若非如此，法官的裁判既然是在人工智能技術(shù)及其背后的科技企業(yè)的影響甚至干預(yù)下做出的，那么在追究責(zé)任時(shí)不免出現(xiàn)各方互相推諉、“甩鍋”的現(xiàn)象，司法責(zé)任的追究也就失去了實(shí)際操作的合理性根據(jù)。

為確保審判權(quán)獨(dú)立行使，在人工智能司法應(yīng)用背景下，對(duì)法官心理認(rèn)知方面的引導(dǎo)、調(diào)適亦值得重視。如前所述，法院在人工智能工具面前容易形成技術(shù)依賴，此種依賴亦影響法官的心理認(rèn)知。尤其當(dāng)此種身著“科學(xué)”外衣的人工智能工具給出某種信息或指出某種方向時(shí)，法官會(huì)不自覺地接受此種信息并沿著其方向做出決策，這就是心理學(xué)上的“錨定效應(yīng)”。為防止法官的決策即案件的裁判結(jié)果向最初“錨定值”方向偏移而導(dǎo)致認(rèn)識(shí)偏差，應(yīng)對(duì)法官做心理認(rèn)知方面的教育和培訓(xùn)，幫助其準(zhǔn)確理解人工智能工具所提供的信息在審判工作中的價(jià)值和意義，正視“錨定效應(yīng)”的存在，并分析人工智能工具的表面權(quán)威性及其固有缺陷，從而為突破此種“錨定效應(yīng)”提供心理認(rèn)知上的準(zhǔn)備和寬松的裁判環(huán)境。

（二）“有限參與”的明確要求

科技企業(yè)在人工智能司法應(yīng)用中的參與應(yīng)當(dāng)受到必要限制，這是因?yàn)槠鋮⑴c的原初目的僅僅是給法院提供技術(shù)方面的支持，而非對(duì)訴訟程序和法官裁判形成制約。基于此種有限目的，科技企業(yè)參與人工智能司法應(yīng)用的內(nèi)容、行為方式等也應(yīng)當(dāng)受限，以保證與其參與目的相一致。

一方面，科技企業(yè)在人工智能司法應(yīng)用中的參與事項(xiàng)應(yīng)有限。原則上，科技企業(yè)的參與工作應(yīng)當(dāng)限定于技術(shù)層面，如應(yīng)法院之需求研發(fā)符合要求的人工智能產(chǎn)品，在產(chǎn)品使用的過程中開展人工智能系統(tǒng)維護(hù)、故障排除工作，在發(fā)生網(wǎng)絡(luò)安全或數(shù)據(jù)泄露事件時(shí)采取相應(yīng)的應(yīng)急措施等。明確法院工作中的某些關(guān)鍵事項(xiàng)只能由法院完成，并將其排除在科技企業(yè)的參與范圍之外。這些事項(xiàng)包括：（1）法官創(chuàng)制規(guī)則的過程應(yīng)當(dāng)排除科技企業(yè)的參與。即便在我國(guó)這樣的成文法國(guó)家，也存在通過裁判創(chuàng)制規(guī)則的空間，這些規(guī)則具有多樣性特征，又可能升格為較高位階的規(guī)則，甚至面臨“究竟是依照法律抑或是參酌情理來裁判”的抉擇。這需要法官協(xié)調(diào)情理與法理、做出價(jià)值判斷，該過程需要極高的法理專業(yè)技能，不宜有外力的干預(yù)。（2）審判中的一些最重要事項(xiàng)應(yīng)當(dāng)排除科技企業(yè)的參與。例如，刑事案件審判中的定罪問題、行政案件中行政行為的合法性判斷問題，不但事關(guān)重大，而且是判斷是否出現(xiàn)錯(cuò)案、明確司法責(zé)任承擔(dān)的關(guān)鍵問題，因此應(yīng)由法官獨(dú)立做出裁判。

另一方面，科技企業(yè)在人工智能司法應(yīng)用中對(duì)數(shù)據(jù)的處理應(yīng)有限度。科技企業(yè)在人工智能司法應(yīng)用中處理數(shù)據(jù)，是法院將部分公權(quán)力外包的結(jié)果。根據(jù)比例原則的要求，其數(shù)據(jù)處理行為不得超出為人工智能司法應(yīng)用提供技術(shù)支持的目的，并以最小侵害的方式進(jìn)行。這一要求也符合數(shù)據(jù)安全保護(hù)領(lǐng)域的“數(shù)據(jù)最小化原則”，即數(shù)據(jù)的處理應(yīng)充分、相關(guān)，并以數(shù)據(jù)處理目的之必要為限度。具體而言，應(yīng)當(dāng)根據(jù)數(shù)據(jù)分類分級(jí)的規(guī)則，分別設(shè)置科技企業(yè)的處理權(quán)限。（1）對(duì)于國(guó)家核心數(shù)據(jù)，由于其關(guān)系“國(guó)家安全、國(guó)民經(jīng)濟(jì)命脈、重要民生、重大公共利益”，因此不應(yīng)由作為私主體的科技企業(yè)處理。（2）對(duì)于重要數(shù)據(jù)，雖然可以允許科技企業(yè)基于人工智能司法應(yīng)用之目的而處理，但需要有相關(guān)的嚴(yán)格監(jiān)督制約，如制定數(shù)據(jù)處理的合規(guī)計(jì)劃、在數(shù)據(jù)處理前進(jìn)行安全評(píng)估、建立數(shù)據(jù)處理過程中的監(jiān)測(cè)預(yù)警機(jī)制等。（3）對(duì)司法數(shù)據(jù)和個(gè)人數(shù)據(jù)設(shè)置不同的處理方案。針對(duì)司法數(shù)據(jù)的處理，其重點(diǎn)應(yīng)聚焦于相關(guān)數(shù)據(jù)的安全保障問題；針對(duì)個(gè)人數(shù)據(jù)的處理，特別是在處理其中經(jīng)作為數(shù)據(jù)主體的公民個(gè)人同意而取得的數(shù)據(jù)時(shí)，應(yīng)當(dāng)注重對(duì)公民個(gè)人數(shù)據(jù)權(quán)利的必要保護(hù)。限制科技企業(yè)的數(shù)據(jù)處理權(quán)限，有助于防止科技企業(yè)參與人工智能司法應(yīng)用時(shí)的“越軌”行為。

（三）參與過程的必要監(jiān)管

盡管存在前述種種困境，但科技企業(yè)參與人工智能司法應(yīng)用所涉法益重大，若不加以監(jiān)管則可能帶來嚴(yán)重后果。為對(duì)其在人工智能司法應(yīng)用中的參與過程進(jìn)行監(jiān)管，有以下3個(gè)方面問題需要解決。

第一，監(jiān)管途徑。對(duì)于科技企業(yè)在人工智能司法應(yīng)用中的參與過程，可以有兩方面的監(jiān)管路徑。（1）來自公權(quán)力機(jī)構(gòu)的監(jiān)管。我國(guó)已有較為完備的監(jiān)督系統(tǒng)，紀(jì)檢監(jiān)察部門對(duì)于人工智能司法應(yīng)用中科技企業(yè)的參與可能帶來的貪腐、瀆職等違法犯罪行為有調(diào)查監(jiān)督的權(quán)責(zé)，檢察機(jī)關(guān)作為法定的法律監(jiān)督機(jī)關(guān)亦有監(jiān)督審判權(quán)行使合法性的職責(zé)，此外，與科技企業(yè)進(jìn)行人工智能司法應(yīng)用方面合作的法院應(yīng)對(duì)科技企業(yè)的參與依法進(jìn)行監(jiān)管。（2）來自公民的監(jiān)督。公民通過行使權(quán)利可以實(shí)現(xiàn)對(duì)科技企業(yè)依法行事的制約，如因科技企業(yè)控制程序、參與裁判而受到權(quán)利侵害的訴訟參與人，可以根據(jù)《刑事訴訟法》第49、117條等條文的規(guī)定提出申訴、控告；若科技企業(yè)在人工智能司法應(yīng)用的目的之外非法處理數(shù)據(jù)，導(dǎo)致公民個(gè)人數(shù)據(jù)被濫用、受到其他權(quán)利侵害或遭受損失的，相關(guān)公民可以向數(shù)據(jù)監(jiān)管機(jī)構(gòu)投訴或舉報(bào)。

第二，技術(shù)公開。出于保護(hù)商業(yè)秘密和知識(shí)產(chǎn)權(quán)等的考慮，科技企業(yè)不公開其技術(shù)特別是核心技術(shù)固然有其合理性，但此種技術(shù)的封閉性和秘密性加大了對(duì)參與人工智能司法應(yīng)用的科技企業(yè)的監(jiān)管難度。例如，算法不公開擴(kuò)大了算法歧視的空間、帶來了算法黑箱的憂慮，因此有學(xué)者主張?jiān)黾铀惴ㄅ董h(huán)節(jié)，以滿足公開公正的監(jiān)管需求。為兼顧監(jiān)管需求與合理的商業(yè)利益，科技企業(yè)的技術(shù)公開應(yīng)有限度：一方面，公開的技術(shù)內(nèi)容應(yīng)與其所涉法益平衡，只有當(dāng)其對(duì)司法公正、公民核心權(quán)利保障產(chǎn)生重大影響時(shí)才應(yīng)當(dāng)公開；另一方面，技術(shù)公開可以僅在有限范圍內(nèi)進(jìn)行，如可以采取在法院、科技企業(yè)與受其影響的公民個(gè)人之間簽署保密協(xié)議的方式，規(guī)范被公開技術(shù)的使用方式及其違約后果，同時(shí)限制技術(shù)公開的范圍。

第三，保障機(jī)制。（1）競(jìng)爭(zhēng)機(jī)制。獨(dú)家經(jīng)營(yíng)往往會(huì)妨礙數(shù)據(jù)產(chǎn)品的多樣化，可能導(dǎo)致不當(dāng)提高數(shù)據(jù)產(chǎn)品的定價(jià)。因此，為防止科技企業(yè)用低技術(shù)水平的產(chǎn)品“以次充好”，應(yīng)當(dāng)引入競(jìng)爭(zhēng)機(jī)制，避免在人工智能司法應(yīng)用中對(duì)某一家科技企業(yè)的排他性授權(quán)。（2）退出機(jī)制。規(guī)定科技企業(yè)在人工智能司法應(yīng)用中的權(quán)利和義務(wù)，對(duì)于未能提供合格人工智能產(chǎn)品、存在不當(dāng)行為或自身經(jīng)營(yíng)出現(xiàn)困難的科技企業(yè)，設(shè)置主動(dòng)或被動(dòng)退出人工智能司法應(yīng)用工作的相應(yīng)機(jī)制，以防止人工智能司法應(yīng)用的公私合作協(xié)議變成“鐵券丹書”，從而保證國(guó)家財(cái)政經(jīng)費(fèi)得到合理使用。（3）追責(zé)機(jī)制。當(dāng)科技企業(yè)不當(dāng)行為導(dǎo)致嚴(yán)重后果或者涉及違法犯罪時(shí)，應(yīng)當(dāng)有相應(yīng)的追責(zé)機(jī)制。例如，科技企業(yè)在運(yùn)營(yíng)平臺(tái)、處理數(shù)據(jù)中因疏忽大意導(dǎo)致發(fā)生網(wǎng)絡(luò)安全和數(shù)據(jù)泄露事件的，應(yīng)當(dāng)按照《中華人民共和國(guó)網(wǎng)絡(luò)安全法》《數(shù)據(jù)安全法》《中華人民共和國(guó)個(gè)人信息保護(hù)法》等相關(guān)法律法規(guī)承擔(dān)責(zé)任。

五、規(guī)制科技企業(yè)參與人工智能司法應(yīng)用的制度展開

在上述討論的基礎(chǔ)上，從制度層面規(guī)制科技企業(yè)在人工智能司法應(yīng)用中的參與，應(yīng)當(dāng)從調(diào)適法院與科技企業(yè)的關(guān)系、確立技術(shù)標(biāo)準(zhǔn)、科以數(shù)據(jù)安全保護(hù)義務(wù)、保障審判權(quán)獨(dú)立運(yùn)行、保護(hù)公民訴訟權(quán)利等方面展開。其中，法院與科技企業(yè)關(guān)系的調(diào)整是規(guī)范科技企業(yè)參與人工智能司法應(yīng)用的基本前提，確立技術(shù)標(biāo)準(zhǔn)與科以數(shù)據(jù)安全保護(hù)義務(wù)是實(shí)現(xiàn)對(duì)科技企業(yè)參與行為有效規(guī)制的具體手段，而保障審判權(quán)獨(dú)立運(yùn)行和保護(hù)公民訴訟權(quán)利則是科技企業(yè)參與人工智能司法應(yīng)用是否符合法治之要求的重要判斷標(biāo)準(zhǔn)。

（一）法院與科技企業(yè)關(guān)系的具體調(diào)適

在人工智能司法應(yīng)用中，妥善處理法院與科技企業(yè)的關(guān)系，是緩解或避免科技企業(yè)參與所帶來的理念性和結(jié)構(gòu)性風(fēng)險(xiǎn)，實(shí)現(xiàn)對(duì)科技企業(yè)的有效監(jiān)管、防止腐敗發(fā)生的必要前提。此種調(diào)適符合前文所述的公私權(quán)限劃分及科技企業(yè)“有限參與”的基本理念。為處理好二者的關(guān)系，應(yīng)設(shè)置以下兩方面的具體要求。

1.公私合作下的各司其職。人工智能司法應(yīng)用中法院與科技企業(yè)的公私合作以技術(shù)為接口，此種在技術(shù)層面展開的合作并不影響二者各司其職。科技企業(yè)本質(zhì)上是技術(shù)的提供者和維護(hù)者，其對(duì)數(shù)據(jù)的處理、程序的控制和裁判的參與，只不過是其通過技術(shù)參與人工智能司法應(yīng)用后的客觀的甚至是不得已的結(jié)果，應(yīng)當(dāng)予以限制乃至避免。而法院應(yīng)當(dāng)依法獨(dú)立行使審判權(quán)，在審判過程中發(fā)現(xiàn)其在技術(shù)方面的需要后，向參與人工智能司法應(yīng)用的科技企業(yè)提出需求，由科技企業(yè)提出解決方案。在此過程中，法院既是需求的提出者，又是人工智能技術(shù)的運(yùn)用者，其主導(dǎo)者的地位十分明確。法院的核心權(quán)力即審判權(quán)不應(yīng)受到科技企業(yè)的干預(yù)，同時(shí)法院在人工智能司法應(yīng)用中還應(yīng)對(duì)科技企業(yè)的技術(shù)提供行為進(jìn)行指導(dǎo)和監(jiān)管。而科技企業(yè)在通過提供技術(shù)承擔(dān)“司法輔助職能”時(shí)，其明顯超越界限的行為應(yīng)當(dāng)?shù)玫接行е浦埂?/p>

2.雙方交往的適度隔離。法院與科技企業(yè)、法院工作人員與科技企業(yè)工作人員“過從甚密”不但可能帶來職司混淆的風(fēng)險(xiǎn)，還為腐敗的發(fā)生提供了空間和機(jī)會(huì)。因此，在雙方的交往中進(jìn)行適度的隔離，無論從保證雙方職司分離還是從預(yù)防貪腐的角度看都有重要價(jià)值。此種適度隔離尤其應(yīng)在招投標(biāo)和技術(shù)運(yùn)用兩個(gè)環(huán)節(jié)得到充分重視。（1）在招投標(biāo)環(huán)節(jié)，評(píng)標(biāo)專家需要與作為投標(biāo)人的科技企業(yè)保持足夠距離，從而保證中立客觀立場(chǎng)，防止其間發(fā)生經(jīng)濟(jì)利益的勾連而導(dǎo)致腐敗。目前實(shí)踐中通常以隨機(jī)性評(píng)審的方式來保證評(píng)審專家的中立性。以上海市為例，人工智能司法應(yīng)用的招投標(biāo)是政府采購(gòu)部門從既有的專家?guī)熘须S機(jī)抽取評(píng)標(biāo)專家進(jìn)行評(píng)審的。這種做法雖然能夠奠定招投標(biāo)公正性的基石，但仍應(yīng)注意兩方面的問題：一是要保證專家?guī)鞌?shù)量足夠、輪換及時(shí)，二是要防止法院作為委托方在招投標(biāo)環(huán)節(jié)以傾向性意見影響專家評(píng)審。（2）在技術(shù)運(yùn)用環(huán)節(jié)，法官們?cè)谑褂萌斯ぶ悄芗夹g(shù)產(chǎn)品時(shí)難免遇到技術(shù)障礙，需要向參與人工智能司法應(yīng)用的科技企業(yè)尋求技術(shù)支持。在此種情形下，為避免因二者直接接觸而導(dǎo)致科技企業(yè)及其技術(shù)人員對(duì)案件審理產(chǎn)生影響，法官的相關(guān)技術(shù)需求宜通過法院的行政裝備管理、技術(shù)管理等部門提出，并由這些部門與科技企業(yè)聯(lián)系而統(tǒng)一協(xié)調(diào)安排，從而在審理案件的法官與科技企業(yè)之間設(shè)置屏障以限制其直接交往。

（二）技術(shù)標(biāo)準(zhǔn)之確立

人工智能司法應(yīng)用中技術(shù)標(biāo)準(zhǔn)的缺失不但令針對(duì)參與人工智能司法應(yīng)用的科技企業(yè)的監(jiān)管缺少依據(jù)，而且存在前述“以次充好”、侵吞國(guó)帑、貪污腐敗等風(fēng)險(xiǎn)。此外，人工智能司法應(yīng)用“基礎(chǔ)設(shè)施技術(shù)標(biāo)準(zhǔn)的空白使各系統(tǒng)和平臺(tái)缺乏整體性規(guī)劃、互操作性受限，訴訟服務(wù)數(shù)據(jù)標(biāo)準(zhǔn)、資源分類標(biāo)準(zhǔn)、開放式繼承模型與集成標(biāo)準(zhǔn)的缺失致使標(biāo)準(zhǔn)化、規(guī)范化、集約化受限，司法審判場(chǎng)景下算法可解釋性標(biāo)準(zhǔn)的缺失可能引發(fā)決策偏誤和正當(dāng)性隱憂”，從人工智能司法應(yīng)用整體發(fā)展的角度看，確立技術(shù)標(biāo)準(zhǔn)亦有基礎(chǔ)性意義，符合加強(qiáng)監(jiān)督的基本理念要求。

1.人工智能司法應(yīng)用的技術(shù)標(biāo)準(zhǔn)應(yīng)有科學(xué)性。盡管目前人工智能、大數(shù)據(jù)等技術(shù)都處在快速變革、迅猛發(fā)展的階段，制定完全統(tǒng)一、規(guī)范的技術(shù)標(biāo)準(zhǔn)的難度極大，但業(yè)界對(duì)某些基本原理和核心原則已達(dá)成共識(shí)。這些共識(shí)為構(gòu)建人工智能司法應(yīng)用技術(shù)標(biāo)準(zhǔn)的科學(xué)基礎(chǔ)提供了可靠支撐。例如，目前科學(xué)界的共識(shí)是人工智能技術(shù)仍處在低智能水平階段，因而將其運(yùn)用于司法領(lǐng)域就應(yīng)更為審慎，特別是在其技術(shù)水平仍不足以滿足案件審理的正當(dāng)化要求時(shí)，不應(yīng)將其用于證據(jù)審查判斷、案件事實(shí)認(rèn)定等審判的核心事項(xiàng)。又如，人工智能技術(shù)的研發(fā)需要允許一定的容錯(cuò)率，這是科學(xué)研究的基本常識(shí)。相關(guān)容錯(cuò)率標(biāo)準(zhǔn)的制定只要符合技術(shù)發(fā)展的客觀現(xiàn)狀，就可以作為科技企業(yè)參與人工智能司法應(yīng)用的免責(zé)理由。

2.人工智能司法應(yīng)用的技術(shù)標(biāo)準(zhǔn)還應(yīng)有一定的靈活性。根據(jù)《中華人民共和國(guó)標(biāo)準(zhǔn)化法》第2條的規(guī)定，標(biāo)準(zhǔn)按照制定主體可以分為國(guó)家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、地方標(biāo)準(zhǔn)和團(tuán)體標(biāo)準(zhǔn)、企業(yè)標(biāo)準(zhǔn)，按照強(qiáng)制效力可以分為強(qiáng)制性標(biāo)準(zhǔn)與推薦性標(biāo)準(zhǔn)。從目前人工智能司法應(yīng)用相關(guān)技術(shù)發(fā)展的現(xiàn)實(shí)情況看，制定統(tǒng)一的強(qiáng)制性國(guó)家標(biāo)準(zhǔn)的難度較大，可以考慮在企業(yè)標(biāo)準(zhǔn)的基礎(chǔ)上逐步制定行業(yè)的推薦性標(biāo)準(zhǔn)，以此作為判斷科技企業(yè)提供的人工智能產(chǎn)品技術(shù)水平的依據(jù)。此外，可以在企業(yè)技術(shù)研發(fā)的不同階段，針對(duì)響應(yīng)需求、復(fù)制需求和創(chuàng)造需求等不同目的，制定多元技術(shù)標(biāo)準(zhǔn)，以促進(jìn)科技企業(yè)對(duì)法院技術(shù)需求的響應(yīng)。

3.人工智能司法應(yīng)用技術(shù)標(biāo)準(zhǔn)的制定要有充分的協(xié)商性，并體現(xiàn)各方利益。我國(guó)目前在制定人工智能技術(shù)標(biāo)準(zhǔn)時(shí)，常通過全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)網(wǎng)站、電子信息技術(shù)標(biāo)準(zhǔn)化平臺(tái)等網(wǎng)站公示以及紙質(zhì)文件和電子郵件的定向分發(fā)等方式征詢意見，參與面過于狹窄。作為公共產(chǎn)品，人工智能司法應(yīng)用中的技術(shù)標(biāo)準(zhǔn)制定應(yīng)當(dāng)充分聽取法院、科技企業(yè)、社會(huì)公眾等各方意見，并在協(xié)商的基礎(chǔ)上體現(xiàn)各方利益。尤其此種技術(shù)標(biāo)準(zhǔn)將用于對(duì)參與人工智能司法應(yīng)用的科技企業(yè)的評(píng)價(jià)，因而對(duì)于其提出的意見應(yīng)當(dāng)給予足夠重視，以保證其合法利益。

（三）數(shù)據(jù)安全保護(hù)義務(wù)之履行

科技企業(yè)在人工智能司法應(yīng)用中扮演數(shù)據(jù)處理者的角色，應(yīng)以數(shù)據(jù)處理者的身份，根據(jù)《數(shù)據(jù)安全法》等相關(guān)法律承擔(dān)數(shù)據(jù)安全保護(hù)之義務(wù)。根據(jù)前文所述，必要監(jiān)管之基本理念中亦有監(jiān)管科技企業(yè)履行數(shù)據(jù)安全保護(hù)義務(wù)的內(nèi)容。具體而言，在數(shù)據(jù)處理前、數(shù)據(jù)處理中、數(shù)據(jù)處理后以及發(fā)生數(shù)據(jù)安全事件時(shí)這四種場(chǎng)景下，分別需要承擔(dān)以下義務(wù)。

1.數(shù)據(jù)處理前的審查評(píng)估義務(wù)。處理數(shù)據(jù)之前應(yīng)根據(jù)數(shù)據(jù)分類分級(jí)方式，審查不同類型數(shù)據(jù)的屬性和處理后果，以針對(duì)不同類型的數(shù)據(jù)做好相應(yīng)的安全風(fēng)險(xiǎn)防范。需要注意的是，此種數(shù)據(jù)處理前的審查評(píng)估工作究竟應(yīng)由法院來做還是科技企業(yè)來做，值得思考。根據(jù)數(shù)據(jù)分級(jí)的要求，科技企業(yè)本就不應(yīng)“染指”國(guó)家核心數(shù)據(jù)，因此法院有篩除國(guó)家核心數(shù)據(jù)的初步義務(wù)，以盡量避免科技企業(yè)接觸此類數(shù)據(jù)。完成此種初步義務(wù)后，評(píng)估審查工作可以交由科技企業(yè)完成，由其根據(jù)重要數(shù)據(jù)與一般數(shù)據(jù)的不同分級(jí)以及不同數(shù)據(jù)的內(nèi)容和屬性，采取不同的處理方式。

2.數(shù)據(jù)處理中的安全控制義務(wù)。科技企業(yè)在數(shù)據(jù)處理中的安全控制義務(wù)主要體現(xiàn)在3個(gè)方面：（1）建立數(shù)據(jù)處理的安全監(jiān)測(cè)規(guī)范和制度，如設(shè)置加密、記錄處理日志、開展安全巡查等，以保證數(shù)據(jù)處理常規(guī)化地符合數(shù)據(jù)安全保護(hù)的要求；（2）針對(duì)數(shù)據(jù)安全風(fēng)險(xiǎn)應(yīng)有預(yù)警機(jī)制，對(duì)系統(tǒng)中存在的安全漏洞、補(bǔ)丁后門、病毒木馬等，設(shè)置警報(bào)裝置，以便及時(shí)發(fā)現(xiàn)和處理；（3）按照數(shù)據(jù)本地化原則，要求科技企業(yè)將人工智能司法應(yīng)用中所處理的數(shù)據(jù)存儲(chǔ)于國(guó)內(nèi)，并根據(jù)《數(shù)據(jù)安全法》第36條之“封阻”規(guī)定，嚴(yán)格限制數(shù)據(jù)出境，即非經(jīng)有權(quán)之主管機(jī)關(guān)批準(zhǔn)，不得向境外提供相關(guān)數(shù)據(jù)。

3.數(shù)據(jù)處理后的封存刪除義務(wù)。科技企業(yè)參與人工智能司法應(yīng)用而處理數(shù)據(jù)，應(yīng)適用國(guó)家機(jī)關(guān)處理數(shù)據(jù)的相關(guān)規(guī)定，不得超出處理目的所必需的范圍和限度。在目的達(dá)成之后，科技企業(yè)應(yīng)立即停止對(duì)相關(guān)數(shù)據(jù)的處理行為，并在法定的情形下，根據(jù)法院的指令封存或刪除相關(guān)數(shù)據(jù)，以消除相關(guān)數(shù)據(jù)被泄露或?yàn)E用的風(fēng)險(xiǎn)。目前《刑事訴訟法》和相關(guān)法律法規(guī)對(duì)于未成年人的犯罪記錄封存已有相關(guān)規(guī)定，可以以此為基礎(chǔ)，再結(jié)合數(shù)據(jù)安全保護(hù)相關(guān)法律關(guān)于刪除權(quán)的規(guī)定，明確科技企業(yè)在數(shù)據(jù)處理完成后的封存刪除義務(wù)。

4.發(fā)生數(shù)據(jù)安全事件時(shí)的應(yīng)急處置義務(wù)。即便采取嚴(yán)格的數(shù)據(jù)安全保護(hù)手段，數(shù)據(jù)安全事件仍不可能杜絕。在發(fā)生數(shù)據(jù)安全事件時(shí)，作為數(shù)據(jù)處理者的科技企業(yè)應(yīng)采取緊急措施，盡可能減少損失、降低危害。一方面，科技企業(yè)應(yīng)在數(shù)據(jù)安全事件發(fā)生后的第一時(shí)間，依照規(guī)定向數(shù)據(jù)安全監(jiān)管機(jī)構(gòu)報(bào)告，在必要時(shí)亦需要根據(jù)法律規(guī)定向作為數(shù)據(jù)主體的公民通報(bào)，以避免因該事件給其帶來人身安全等方面的重大威脅；另一方面，科技企業(yè)應(yīng)根據(jù)應(yīng)急流程立即采取措施，如關(guān)閉系統(tǒng)權(quán)限、更換硬件設(shè)備、查殺病毒木馬、隔離感染數(shù)據(jù)等，通過實(shí)施相關(guān)危機(jī)處理機(jī)制以控制損害后果。

六、結(jié) 語

人工智能技術(shù)的迅猛發(fā)展使得“現(xiàn)在已是未來”。在數(shù)字時(shí)代的浪潮中，原本“各行其是、分為兩枝”的科技企業(yè)與法院進(jìn)行公私合作，已然成為人工智能司法應(yīng)用的常規(guī)模式。科技企業(yè)通過以技術(shù)為接口的參與，塑造了數(shù)字法院的基本樣態(tài)，極大提升了法院數(shù)字化的速度和水平，但也必然帶來挑戰(zhàn)。在客觀看待科技企業(yè)參與人工智能司法應(yīng)用必要性的前提下，直面其引發(fā)的問題，非但不會(huì)導(dǎo)致對(duì)科技企業(yè)參與的排斥，反而有助于以“相對(duì)合理”的思路趨利避害，實(shí)現(xiàn)此種參與在法治化的框架內(nèi)良性運(yùn)行。面對(duì)科技企業(yè)在人工智能司法應(yīng)用中日益重要的作用，通過制定與實(shí)施具體規(guī)則，厘清公私之間的界限，限定科技企業(yè)參與的范圍和方式，并對(duì)其參與予以適當(dāng)監(jiān)管，人工智能的司法應(yīng)用仍然能夠遵循訴訟中審判權(quán)獨(dú)立運(yùn)行、公民權(quán)利保障等維護(hù)司法公正的基本原理，也能夠應(yīng)對(duì)數(shù)據(jù)安全、技術(shù)依賴、職務(wù)廉潔性等方面的新挑戰(zhàn)，從而使得科技企業(yè)的參與和人工智能司法應(yīng)用朝著“服務(wù)人民群眾、服務(wù)法官辦案”的最初目的同向而行。

（原文來源于《法商研究》）

《數(shù)字法治》專題由上海市法學(xué)會(huì)數(shù)字法學(xué)研究會(huì)特約供稿，專題統(tǒng)籌：秦前松。