台山饰良建材有限公司

【世界速看料】干貨 | AI算法透明性實現與評估

以下內容整理自清華大學《數智安全與標準化》課程大作業期末報告同學的匯報內容。

我們主要從分析問題、解決問題、效果評估和實際驗證四方面,推動這一課題的研究,并形成相應的研究成果。

第一部分:AI算法透明概述


(資料圖)

第一部分,AI算法透明概述,主要凝練了當前AI算法透明性存在的挑戰。

近年來,人工智能技術的發展使得其透明性問題日益凸顯,為保障用戶對算法知情,實現監管機構對算法進行有效規范治理與問責,算法透明性必不可少。

然而,算法透明性更類似于原則性的提議,具體如何落實透明性要求,并對其進行有效評估,尚未形成共識。

因此,我們對AI算法透明當前存在的諸多挑戰進行了總結,主要涉及三個維度:技術、評估和制度。

技術上,很難處理AI算法的黑箱問題;

評估上,對透明程度的要求很難把握尺度;

制度上,算法問責機制仍然模糊。

為有效應對這些挑戰,我們首先給出算法透明性實現路徑,解決技術和制度問題,之后提出算法透明評估清單應對評估問題,最終在推薦系統下進行實踐與應用。

第二部分:實現AI算法透明

宏觀上,我們首先需要AI算法透明性治理范式,針對當前在算法監管立法等多個層面的挑戰。我們希望打破透明性中耦合的機制主義和管理主義,形成一種以法律規制為主導,技術適配為基礎的多元一體、多方協作的AI算法透明性治理范式。

微觀上,這一范式的實施措施落實到學術、法律、技術和場景四方面。

學術上,國內外學者研究主要從多方視角相關主體出發,提出了若干在法律規制和技術適配方面的思考。

法律上,鑒于算法透明,是實現算法問責的重要機制。主要可以總結為兩種實現AI算法透明的模式:賦權模式和行為規范模式。賦權模式屬于事后救濟,而行為規范模式屬于事前預防和事中約束。

這里我們具體對比了不同國家地區的法律,發現各國都采取健全算法問責機制等措施。此外,我們也注意到歐盟還強調對算法參數的公開。

技術上,我們聚焦于實現從不透明模型向可詮釋模型、可理解模型轉變的可解釋技術,該技術具體分為事前解釋、事后解釋和可詮釋模型。針對不同的應用實例,又會有更為細致的方法。

不同的應用場景,對AI算法透明體現出不同的場景需求。我們也分別在自動駕駛、材料化學、智能教育和建筑設計,四個細分領域內進行了需求分析和方法探索。

第三部分:評估AI算法透明

鑒于現有法律規制大多在宏觀層面強調算法透明監管原則,卻鮮小有具體措施。因此,我們提出一套相對詳細、可實施的評估標準,以細化并落實算法透明度合規要求。

首先,面向算法使用者的AI透明度評估清單的設計目標,在于保障知情權。內容主要分為算法概述與技術信息,要求算法開發方對這些內容進行說明。

算法使用者的AI透明度評估清單相較于面向用戶的清單,由于監管方需要根據算法評估內容進行等級評估,所以該技能較為嚴格,需要說明的內容也更為復雜。

為配合透明度評估清單的使用,我們還提出了透明度評估等級表。面向不同使用場景的算法分為五個等級進行評估,不同等級對于算法開發者應當達到的透明度有不同要求,且逐步加強。

具體這個清單是如何工作的呢?如左圖所示,評估流程有助于監管方對算法開發者在事前、事中和事后階段做出責任分配。

在開發方與使用者方面,開發方遵照透明度用戶指南向算法使用者提供算法的透明度指南。之后,使用者需要閱讀指南,以此確立兩方權責分配并獲得知情。

第四部分:AI算法透明實踐

我們選擇推薦系統作為典型實例,也是因為推薦系統最能體現AI算法透明的要求。如果能讓外界理解為什么信息被推薦給乙方,其實就達到了這個場景下的透明度要求。

通過實現推薦系統的透明性,也能提升用戶對系統的信任程度,使系統推薦結果得到檢驗,同時受到有關方面的監管。

考慮到推薦系統目前采用的AI推薦算法眾多,所以我們設計了一個推薦系統外的解釋系統或算法,用于對推薦系統進行解釋或直接作為一個整體對外提供具有解釋性質的推薦。

其核心算法是采用知識圖譜與強化學習的技術,充分挖掘推薦系統中的可解釋模型,以此進行相關的路徑挖掘,并利用解釋路徑對推薦系統行為加以解釋。

這里我們采用一九年一個公開的購物網站公布數據進行結果演示,在利用上述算法完成解釋系統后,對數據集進行路徑挖掘,得到左圖所示的結論。

基于上述深層的推理路徑,對推薦系統的多個推薦實例進行解釋。結果表明,方法不僅能夠幫助推薦系統獲得有希望的推薦結果,而且能夠有效為推薦系統找到不同的用于推薦解釋的推理路徑。

之后,我們分別將未加入和加入這一解釋算法的推薦系統,按照前一章節設計的流程進行算法評估。結果表明,融入解釋算法后的推薦系統,在透明度上有明顯提升,但監管方也注意到,新的具有解釋性質的推薦系統,在技術和社會風險上處理方法上有缺,要求對當前算法做進一步改進,并對提交的材料進行補充。

感謝各位的聆聽!以上就是我們小組要匯報的全部內容。

編輯整理:陳龍

關鍵詞: 推薦系統 結果表明