澎湃新聞見(jiàn)習(xí)記者 虞涵棋 記者 蔣晨悅

微軟的人工智能(AI)聊天機(jī)器人Tay

去年3月，微軟的人工智能(AI)聊天機(jī)器人Tay(小冰的美國(guó)姊妹版)在推特上線，可以與任何@她的推特用戶聊天。短短24小時(shí)后，一個(gè)甜美、禮貌的"小姑娘"竟然開(kāi)始臟話連篇，甚至爆出不少種族主義和性別歧視的言論。這個(gè)速成的"AI希特勒"引發(fā)網(wǎng)民震驚，被微軟草草關(guān)進(jìn)"小黑屋"。

而在4月14日的《科學(xué)》雜志上，美國(guó)普林斯頓大學(xué)和英國(guó)巴斯大學(xué)的一個(gè)聯(lián)合團(tuán)隊(duì)發(fā)表了最新研究，證實(shí)了這一現(xiàn)象:AI也會(huì)表現(xiàn)出各種偏見(jiàn)和歧視，這些偏見(jiàn)涉及種族、性別、年齡等。

論文的作者之一、英國(guó)巴斯大學(xué)教授Joanna Bryson說(shuō)道，"人們會(huì)說(shuō)實(shí)驗(yàn)說(shuō)明AI有歧視。不是的。這其實(shí)說(shuō)明我們?nèi)祟愑衅缫?，被AI習(xí)得了。"

深度學(xué)習(xí)的陰暗面

該團(tuán)隊(duì)發(fā)明了一種詞嵌入關(guān)聯(lián)性測(cè)試(WEAT)的方法來(lái)測(cè)試AI固有的一些偏見(jiàn)。研究者的靈感來(lái)源于一種內(nèi)隱聯(lián)想測(cè)試(IAT)的心理學(xué)工具。在IAT測(cè)試中，計(jì)算機(jī)屏幕上閃現(xiàn)一些特性的詞匯，而被試者對(duì)這些詞匯組合不同的反應(yīng)速度暗示了人們心中隱藏的一些聯(lián)想。如果被試者對(duì)一些白人常用英文名和積極詞匯組成的詞組、黑人常用英文名和消極詞匯組成的詞組，有更快的反應(yīng)，這就指向了潛意識(shí)里可能存在的種族偏見(jiàn)。

在WEAT測(cè)試中，研究者們不再測(cè)試AI對(duì)不同詞匯組合的反應(yīng)速度，而是量化地評(píng)估AI被內(nèi)嵌的詞匯之間的相似程度。

詞匯內(nèi)嵌(Word Embedding)是機(jī)器學(xué)習(xí)中的重要工具，主要應(yīng)用在文本分析、網(wǎng)頁(yè)檢索和翻譯領(lǐng)域。論文的另一作者、普林斯頓大學(xué)的Arvind Narayanan說(shuō)道，"我們之所以選擇分析詞匯內(nèi)嵌，很大的一個(gè)原因就是它在過(guò)去幾年中大大幫助了AI理解我們的語(yǔ)言。"

具體來(lái)說(shuō)，人類語(yǔ)言的詞匯是以一串?dāng)?shù)字的形式輸入計(jì)算機(jī)的。研究者在不同的維度上衡量一個(gè)詞匯的意義，并賦予一個(gè)數(shù)字，形成一串?dāng)?shù)字。數(shù)字主要是基于與這個(gè)詞匯頻繁聯(lián)系在一起的其他詞匯給定的。這種看似機(jī)械性、純數(shù)學(xué)的方法，卻比單純的語(yǔ)義定義更能幫助機(jī)器理解人類豐富復(fù)雜的語(yǔ)義。

而通過(guò)分析哪些詞匯的數(shù)字串更接近，研究者就會(huì)知道AI被內(nèi)嵌了哪些關(guān)聯(lián)。比如，"冰"和"水"會(huì)經(jīng)常在文本中一起出現(xiàn)，它們的數(shù)字串也會(huì)更相似。然而，除了這些簡(jiǎn)單的關(guān)聯(lián)之外，研究者們發(fā)現(xiàn)AI還被內(nèi)嵌了一些更為復(fù)雜的關(guān)聯(lián)。比如，"女性"和"女人"會(huì)和一些藝術(shù)和人文方面的職業(yè)聯(lián)系更密切，而"男性"和"男人"會(huì)和一些數(shù)學(xué)類和工程類的職業(yè)聯(lián)系更密切。

此外，同很多英國(guó)人和美國(guó)人在IAT測(cè)試中的表現(xiàn)一樣，AI更傾向于將白人英文名與"天賦"、"快樂(lè)"這些積極詞匯關(guān)聯(lián)，而將黑人英文名與一些令人不愉快的詞匯關(guān)聯(lián)。

基于大量網(wǎng)絡(luò)文本的深度學(xué)習(xí)令包括谷歌翻譯在內(nèi)的智能翻譯獲得了突飛猛進(jìn)的發(fā)展。但現(xiàn)在看來(lái)，AI在學(xué)習(xí)人類語(yǔ)言的過(guò)程中，也"被迫"學(xué)會(huì)了人類文化中固有的一些偏見(jiàn)。

AI"看門狗"

這項(xiàng)研究使用了一個(gè)名為"Common Crawal"的數(shù)據(jù)庫(kù)，里面包含來(lái)自網(wǎng)絡(luò)公開(kāi)材料的8400億個(gè)詞匯。而研究者 單用谷歌新聞的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)時(shí)，也得到了類似的結(jié)果。

哈佛大學(xué)的數(shù)據(jù)倫理研究員Sandra Wachter說(shuō)道，"這個(gè)世界有偏見(jiàn)，歷史數(shù)據(jù)有偏見(jiàn)，因此一點(diǎn)兒也不奇怪，我們得到了有偏見(jiàn)的數(shù)據(jù)。"

研究表明，人類社會(huì)中現(xiàn)存的不平等和偏見(jiàn)結(jié)構(gòu)會(huì)借助新興技術(shù)而進(jìn)一步加劇。鑒于人類正在把日常生活和工作一步步放權(quán)給AI處理，這種加劇很危險(xiǎn)的。

這種危險(xiǎn)性還會(huì)被另一個(gè)因素放大:人類起碼還有道德約束，而程序員在開(kāi)發(fā)AI的時(shí)候，可不會(huì)想到給他們配置一套倫理道德算法，用以抵御輸入數(shù)據(jù)中的歧視傾向。

不過(guò)，Wachter也提到，人們不一定要把它視為一種威脅。"起碼我們能知道算法有偏見(jiàn)。算法不會(huì)騙我們。但人類是會(huì)說(shuō)謊的。"她說(shuō)道。

Wachter認(rèn)為，真正的問(wèn)題在于，如何在不剝奪AI對(duì)人類語(yǔ)言的理解能力的情況下，消除算法的偏見(jiàn)。事實(shí)上，AI也可以當(dāng)人類的"看門狗"。"人類理論上可以開(kāi)發(fā)出一套系統(tǒng)，偵查出人類決策中的偏見(jiàn)，并采取一些措施。這很復(fù)雜，但我們不應(yīng)逃避這個(gè)責(zé)任。"Wachter說(shuō)道。

先有語(yǔ)言還是先有歧視?

這項(xiàng)研究還有別的意義。長(zhǎng)期以來(lái)，人們對(duì)人類語(yǔ)言中歧視的起源有所爭(zhēng)議。一方認(rèn)為，人類文本中歧視性的傾向會(huì)潛移默化地影響社會(huì)的價(jià)值倫理;另一方認(rèn)為，人類社會(huì)上的歧視性價(jià)值導(dǎo)致了文本中歧視性內(nèi)容的出現(xiàn)?，F(xiàn)在，WEAT有望解答這個(gè)類似于先有雞還是先有蛋的問(wèn)題。

WEAT可以針對(duì)某一個(gè)歷史階段的文本對(duì)AI進(jìn)行測(cè)試，并與之后一個(gè)歷史階段的IAT測(cè)試結(jié)果進(jìn)行比對(duì)。如果WEAT結(jié)果的變化先于IAT結(jié)果的變化，這就說(shuō)明人類的語(yǔ)言會(huì)催化社會(huì)上歧視性觀點(diǎn)的形成;反之則說(shuō)明是人類潛意識(shí)里的歧視性價(jià)值，倒逼生成了內(nèi)嵌有歧視的文本。