大多數企業每年都對記錄數據系統進行IT審核。但審核AI和大數據,同時確保它們符合足夠的安全和治理要求卻是一項有待完善的工作。
好消息是,好多企業已經有諸多實踐成果可運用于AI和大數據。這些實踐體現在可適用于AI和大數據的IT政策和程序中。在專業審核企業提供的AI和大數據服務很有限時,這一切極其有幫助。
以下是企業可以用來自我審核AI和大數據的九個問題和方法:
1. 您知道自己的數據來自哪里嗎?
好多企業從業務運營獲取自己的數據,但也從外部供應商處購買和使用數據,用于AI和分析。在將數據用于AI和分析之前,應評估來自外部的所有數據的可信度和數據質量。審核來自第三方的數據應該是每份采購需求表(RFP)的一部分。
2. 您是否解決了數據隱私?
您可能與客戶談妥了自己的數據隱私規則和協議,但是面對可能沒有同樣數據隱私標準的外部業務合作伙伴時,這些數據隱私權會面臨問題。在這種情況下,不僅IT部門應該有確保數據隱私的政策和程序,企業法務和合規部門也應該有這類政策和程序,以確保其數據可能被使用、匿名或共享的客戶了解這一事實。
3. 您有鎖定程序嗎?
物聯網和邊緣計算設備將日益為系統帶來非結構化大數據。由于這些是移動的分布式設備,它們很容易丟失、中招或放錯地方。至少,IT部門應該有一種方法來跟蹤這些設備及使用情況,一旦被報告丟失或放錯地方就鎖起來。
4. 所有IT系統是否都符合您的安全設置?
好多邊緣計算和物聯網設備以及路由器和集線器都有廠商的默認安全設置,它們不符合企業安全標準。作為安裝過程的一部分,IT部門應添加這一步:檢查默認安全設置,然后將其設為企業安全設置之后再部署。
5. 您的數據有多干凈?
適當級別的數據清理應落實到位,可能涉及數據丟棄、數據規范以及使用ETL(提取轉換加載)工具等。這是為了確保進入您的分析和AI系統的數據盡可能“干凈”、準確。
6. 您的AI有多準確?
AI系統中使用的算法和數據在不斷變化,因此對AI而言現在正確的假設明天可能不適用了。AI 還可能含有無法立即檢測到的偏誤。因此,監控和修改AI算法、查詢和數據的流程必須是持續不斷的。應落實一套AI程序,用于定期“調整”AI數據和操作。
7. 誰有權接觸您的大數據和AI?
所有大數據存儲庫以及AI和分析系統都應進行24/7全天候監控,以確保只有授權使用數據和系統的用戶才能訪問它們。
8. 您的AI是否在履行使命?
至少應每年評估一次AI系統,以確認它們滿足業務的需求和使命。如果未滿足,應修改或丟棄它們。
9. 如果AI出現故障,您可以進行故障切換嗎?
如果您將AI操作嵌入到業務流程中,災難恢復計劃應考慮到這些系統無法運行的情況。如果系統出現停機,您會怎么做?會有快速上線的備份系統嗎?還是一套手動程序(以及知道怎樣執行這些程序的員工)可以接過任務,直至AI系統恢復過來?企業能否將AI做出的決策推遲到系統恢復正常?要為IT和業務部門明確列出停機后應采取的一套程序。
原文標題:9 questions to ask when auditing your AI systems,作者:Mary Shacklett