2017年《經(jīng)濟(jì)學(xué)人》宣布，數(shù)據(jù)(而非石油)已經(jīng)成為世界上最有價值的資源，后來這個觀點(diǎn)被廣為流傳。如今，各行各業(yè)的企業(yè)組織已經(jīng)在、還將繼續(xù)數(shù)據(jù)和分析方面投入大量資金。但是和石油一樣，數(shù)據(jù)和分析也有它陰暗的一面。

根據(jù)2022年CIO狀況調(diào)查報告，有35%的受訪IT領(lǐng)導(dǎo)者提到，數(shù)據(jù)和業(yè)務(wù)分析將是今年推動他們組織最大的一項(xiàng)IT投資，有20%的受訪IT領(lǐng)導(dǎo)者則提及了機(jī)器學(xué)習(xí)/人工智能。從機(jī)器學(xué)習(xí)算法驅(qū)動的分析和行動中獲得的洞察力可以為企業(yè)組織帶來競爭優(yōu)勢，但在聲譽(yù)、收入甚至生命方面如果發(fā)生錯誤的話，可能要付出高昂的代價。

理解你的數(shù)據(jù)以及數(shù)據(jù)給你傳遞了什么信息，這一點(diǎn)很重要，但了解你的工具、了解你的數(shù)據(jù)、牢記企業(yè)組織的價格也同樣重要。

下面是過去十年發(fā)生的一些備受關(guān)注的數(shù)據(jù)分析和人工智能災(zāi)難事件，可以說明在采用這些技術(shù)時可能遇到的問題。

1.AI算法發(fā)現(xiàn)了一切，卻沒能預(yù)測COVID-19

自COVID-19新冠疫情大爆發(fā)以來，很多企業(yè)組織都在尋求通過使用機(jī)器學(xué)習(xí)算法來幫助醫(yī)院更快地診斷或者分類患者。但根據(jù)英國國家數(shù)據(jù)科學(xué)和人工智能中心圖靈研究所的說法，這些預(yù)測工具幾乎沒有帶來什么影響。

《麻省理工科技評論》記錄了很多失敗事件，其中大部分源于工具訓(xùn)練或測試方法出現(xiàn)了錯誤，其中，使用了標(biāo)記錯誤的數(shù)據(jù)或者數(shù)據(jù)來自未知來源是常見的罪魁禍?zhǔn)住?/p>

劍橋大學(xué)機(jī)器學(xué)習(xí)研究員Derek Driggs和他的同事在《Nature Machine Intelligence》上發(fā)表了一篇論文，探討了使用深度學(xué)習(xí)模型對病毒進(jìn)行診斷。該論文最后明確，深度學(xué)習(xí)技術(shù)不適合臨床使用。例如Driggs的團(tuán)隊(duì)發(fā)現(xiàn)，他們自己的模型存在缺陷，因?yàn)槟Ｐ陀?xùn)練采用的數(shù)據(jù)集中，包括了掃描操作時躺著的患者和站立的患者的掃描文件。躺著的患者患重病的可能性更大，于是該算法學(xué)會了根據(jù)掃描中患者的位置來發(fā)現(xiàn)新冠風(fēng)險。

類似的例子還包括使用含有健康兒童胸部掃描的數(shù)據(jù)集對算法進(jìn)行訓(xùn)練，該算法最后卻學(xué)會了識別哪個是兒童，而不是高危患者。

2.購房算法失準(zhǔn)導(dǎo)致Zillow損失數(shù)百萬美元、大幅裁員

2021年11月，在線房地產(chǎn)交易巨頭Zillow向股東表示，將在未來幾個季度結(jié)束Zillow Offers業(yè)務(wù)，并裁員25%，也就是約2000名員工，而這主要?dú)w咎于Zillow因?yàn)橛糜陬A(yù)測房價的機(jī)器學(xué)習(xí)算法出現(xiàn)錯誤而導(dǎo)致了一系列后果。

Zillow Offers是一個程序，Zillow通過該程序根據(jù)機(jī)器學(xué)習(xí)算法得出的房屋價值“Zestimate”指數(shù)對房產(chǎn)進(jìn)行現(xiàn)金報價，這么做是為了對房產(chǎn)快速進(jìn)行翻新轉(zhuǎn)售。但是Zillow公司的一位發(fā)言人告訴CNN，該算法的中位錯誤率為1.9%，對于市場交易之外的房屋評估錯誤率可能更高，高達(dá)6.9%。

CNN報道稱，Zillow自2018年4月上線以來通過Zillow Offers買入了27000套房屋，但到2021年9月底僅售出17000套。新冠疫情大爆發(fā)和家庭裝修勞動力短缺等黑天鵝事件，導(dǎo)致了算法的準(zhǔn)確性問題。

Zillow稱，該算法導(dǎo)致公司無意中以高于當(dāng)前估價的價格買入房屋，導(dǎo)致2021年第三季度的庫存價格減記為3.04億美元。

Zillow公司聯(lián)合創(chuàng)始人、首席執(zhí)行官Rich Barton在公告發(fā)布后與投資者舉行的電話會議上表示，或許他們可以調(diào)整算法，但最終風(fēng)險太大。

3.Excel表格數(shù)據(jù)限制導(dǎo)致英國數(shù)千新冠病例未被上報

2020年10月，負(fù)責(zé)統(tǒng)計新增新冠病毒感染數(shù)量的英國政府機(jī)構(gòu)英國公共衛(wèi)生部(PHE)透露，在9月25日至10月2日期間，有近16000例新冠病毒病例并未上報。罪魁禍?zhǔn)资钦l?答案是微軟Excel中的數(shù)據(jù)限制問題。

英國公共衛(wèi)生部使用自動化流程將新冠病毒陽性的實(shí)驗(yàn)室結(jié)果作為CSV文件傳輸?shù)紼xcel模板中，用于報告儀表板和密接追蹤。然而不幸的是，Excel電子表格每個工作表最多支持1048576行和16384列。而且，英國公共衛(wèi)生部是按照列而不是按行輸出信息的，所以當(dāng)?shù)搅?6384列限制的時候，Excel就會自動切斷剩下的15841條記錄。

雖然這個“故障”并沒有妨礙接受檢測的個人收到檢測結(jié)果，但確實(shí)妨礙了密切接觸者的追蹤工作，使英國國家衛(wèi)生服務(wù)部(NHS)更難發(fā)現(xiàn)和通知與感染患者密切接觸的個人。英國公共衛(wèi)生部臨時首席執(zhí)行官M(fèi)ichael Brodie在10月4日的一份聲明中表示，英國國家衛(wèi)生服務(wù)部測試和追蹤系統(tǒng)以及英國公共衛(wèi)生部迅速解決了這個問題，并將所有重大記錄立即轉(zhuǎn)移到該系統(tǒng)中。

英國公共衛(wèi)生部采取了一項(xiàng)“快速解決”措施，先是把大文件進(jìn)行拆分，然后對所有系統(tǒng)進(jìn)行了全面端到端的審查，以防止未來再發(fā)生類似事件。

4.美國國內(nèi)醫(yī)療算法未能標(biāo)記黑人患者

2019年發(fā)表在《科學(xué)》雜志上的一項(xiàng)研究顯示，美國各地的醫(yī)院和保險公司都使用一種醫(yī)療預(yù)測算法，來識別那些需要“高風(fēng)險護(hù)理管理”計劃的患者，但這種算法不太可能單獨(dú)挑出黑人患者。

這項(xiàng)高風(fēng)險護(hù)理管理計劃旨在為慢性病患者提供訓(xùn)練有素的護(hù)理人員以及初級保健監(jiān)測服務(wù)，以防止嚴(yán)重并發(fā)癥的發(fā)生。但該算法將白人患者推薦給該計劃的幾率，要高于黑人患者。

研究發(fā)現(xiàn)，該算法使用醫(yī)療支出作為確定個人醫(yī)療需求的依據(jù)。但根據(jù)《科學(xué)美國人》的說法，那些病情較重的黑人患者所花費(fèi)的醫(yī)療費(fèi)用，與健康的白人所花費(fèi)的醫(yī)療費(fèi)用是差不多的，這意味著即使黑人患者的醫(yī)療需求更高，但他們的風(fēng)險評分卻很低。

研究人員認(rèn)為，可能有幾個因素，首先，有色人種收入較低的幾率更高，即使他們有保險，也不太可能獲得相應(yīng)的醫(yī)療服務(wù)。隱性偏見也可能導(dǎo)致有色人種接受的護(hù)理服務(wù)質(zhì)量較低。

雖然該研究并沒有公開具體的算法或者開發(fā)人員，但有研究人員告訴《科學(xué)美國人》，他們正在與開發(fā)人員合作解決這個問題。

5.數(shù)據(jù)集訓(xùn)練出的微軟聊天機(jī)器人發(fā)布種族主義推文

2016年3月，微軟發(fā)現(xiàn)，使用推特交互功能作為機(jī)器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)，可能會產(chǎn)生令人失望的結(jié)果。

微軟在推特平臺上發(fā)布了AI聊天機(jī)器人“Tay”，并將其描述為一項(xiàng)有關(guān)“對話理解”的實(shí)驗(yàn)。微軟給這個聊天機(jī)器人設(shè)計了一個少女的角色，結(jié)合使用機(jī)器學(xué)習(xí)和自然語言處理，通過推特與用戶進(jìn)行互動。微軟用匿名的公共數(shù)據(jù)和喜劇演員預(yù)先編寫的一些材料輸入到機(jī)器人中，然后讓它從社交網(wǎng)絡(luò)上的互動信息中進(jìn)行自我學(xué)習(xí)和自我發(fā)展。

這個聊天機(jī)器人在16個小時內(nèi)發(fā)布了95000多條推文，迅速變成了公然的種族主義、厭女主義和反猶太主義。微軟迅速叫停了并進(jìn)行調(diào)整，但最終還是終止了該服務(wù)。

事件發(fā)生后，微軟研究與孵化部門企業(yè)副總裁Peter Lee(后來擔(dān)任了微軟醫(yī)療企業(yè)副總裁)在微軟官方博客上的一篇文章中寫道：“我們對來自Tay的無意冒犯和傷害性推文深表歉意，這些推文并不代表我們的立場，也不能代表我們設(shè)計Tay的方式。”

Lee指出，Tay的前身是微軟2014年在中國發(fā)布的小冰，在Tay發(fā)布前的兩年時間里，它已經(jīng)成功地與超過4000萬人進(jìn)行了對話。微軟沒有考慮到的是，一群推特用戶會立即開始向Tay發(fā)起種族主義和厭惡女性的評論，而機(jī)器人Tay也迅速地從這些信息中學(xué)習(xí)，并最終整合到自己的推文中。

“盡管我們已經(jīng)為很多系統(tǒng)濫用情況做好了準(zhǔn)備，但我們卻對這種特定的攻擊行為嚴(yán)重失察。結(jié)果就是，Tay在推特上發(fā)布了非常不恰當(dāng)、應(yīng)受譴責(zé)的文字和圖片。”

6.亞馬遜AI招聘工具只推薦男性

和很多大企業(yè)一樣，亞馬遜也渴望擁有一些能夠幫助人力資源部門篩選出并找到最佳候選人的工具。2014年，亞馬遜開始開發(fā)AI招聘軟件來實(shí)現(xiàn)這一點(diǎn)。但有一個問題：這個非常偏愛男性候選人。2018年，路透社爆料亞馬遜取消了該項(xiàng)目。

亞馬遜的系統(tǒng)給候選人從1到5的星級評分，但系統(tǒng)核心的機(jī)器學(xué)習(xí)模型是根據(jù)提交給亞馬遜近10年的簡歷進(jìn)行訓(xùn)練的——其中大部分都是男性。因?yàn)槭褂眠@些數(shù)據(jù)進(jìn)行訓(xùn)練，導(dǎo)致系統(tǒng)開始對簡歷中包含“女性”一詞的短語給出較低評級，甚至是來自女子大學(xué)的候選人。

當(dāng)時亞馬遜公司表示，亞馬遜招聘人員從未使用該工具來評估候選人。

亞馬遜試圖調(diào)整該工具以保持中立，但最終決定，無法保證該工具不會學(xué)習(xí)其他一些歧視性的候選人排序方式，而結(jié)束了該項(xiàng)目。

7.零售巨頭Target分析項(xiàng)目侵犯隱私

2012年，零售巨頭Target的一個分析項(xiàng)目，展示了Target是如何從數(shù)據(jù)中洞察顧客的。據(jù)《紐約時報》報道，2002年，Target營銷部門開始思考如何確定顧客是否懷孕，最終誕生了一個預(yù)測分析項(xiàng)目，導(dǎo)致Target無意中向一名少女的家人透露她已經(jīng)懷孕了。反過來，各種文章和營銷博客都開始引用該事件，建議人們避免那些“令人毛骨悚然的因素”。

Target營銷部門想要識別出懷孕的顧客，因?yàn)樵趹言羞@種特殊時期人們很有可能改變他們的購物習(xí)慣。這樣如果Target可以這期間觸及到這些顧客，培養(yǎng)這些顧客新的購物行為，讓他們轉(zhuǎn)向去Target購買百貨、衣服或其他商品。

和其他所有大型零售商一樣，Target一直通過購物者代碼、信用卡、調(diào)查等方式收集顧客數(shù)據(jù)，然后結(jié)合購物者的人口統(tǒng)計數(shù)據(jù)和第三方數(shù)據(jù)，對所有這些數(shù)據(jù)進(jìn)行處理之后，Target的分析團(tuán)隊(duì)就能確定，通過分析Target大約25款在售商品就能生成“懷孕預(yù)測”評分。然后，營銷部門就可以針對評分較高的顧客提供優(yōu)惠券和營銷信息。

進(jìn)一步的研究表明，對顧客生育情況的研究會讓其中一些顧客感到毛骨悚然。據(jù)《泰晤士報》報道，Target沒有放棄有針對性的營銷手段，但確實(shí)開始在廣告中混入那些他們明知孕婦不會購買的東西，例如在紙尿褲廣告展示割草機(jī)廣告，通過這種廣告組合的方式讓顧客覺得沒那么刻意。