2017年，波士頓的市政官員們邀請(qǐng)?zhí)柗Q“美國(guó)清華”的麻省理工學(xué)院 （MIT）參加當(dāng)?shù)氐囊豁?xiàng)市政規(guī)劃。在諸多競(jìng)標(biāo)者中，計(jì)算機(jī)系的博士生塞巴斯蒂安·馬丁（Sébastien Martin）和亞瑟·德拉魯（Arthur Delarue）脫穎而出——他們的任務(wù)是，為波士頓的公立學(xué)校系統(tǒng)設(shè)計(jì)一套新型的機(jī)器學(xué)習(xí)算法，以便重新安排全市幾十所學(xué)校的上課時(shí)間，以及相應(yīng)的校車服務(wù)。

大量研究表明，充足的睡眠對(duì)于處于青春期的高中生來說至關(guān)重要。睡眠不足不僅會(huì)導(dǎo)致學(xué)習(xí)成績(jī)下降，酗酒和自殺的風(fēng)險(xiǎn)也在同時(shí)增加。然而，在波士頓，高中的上學(xué)時(shí)間通常都很早，要推遲高中上學(xué)時(shí)間的話，也需要同時(shí)調(diào)整小學(xué)和初中的時(shí)間表。總之，這是一項(xiàng)牽涉幾十所學(xué)校、上百輛校車、上萬個(gè)家庭，以及巨額市政預(yù)算的問題，遲遲沒有令人滿意的解決方案，市政官員們都頭疼不已。

直到算法的出現(xiàn)。

馬丁和德拉魯興致勃勃地接手了這個(gè)項(xiàng)目，以MIT學(xué)生的變態(tài)時(shí)間表——平均每天工作15個(gè)小時(shí)——夜以繼日地在龐大的公共數(shù)據(jù)庫里遨游。波士頓的公立學(xué)校提出四大訴求：（1）增加上午8點(diǎn)后開始上學(xué)的高中生人數(shù)，以求保證高中生們的睡眠時(shí)間；（2）減少下午4點(diǎn)后放學(xué)的小學(xué)生人數(shù)，讓小學(xué)生們?cè)诼L(zhǎng)的美國(guó)東部的冬季里盡早回家；（3）盡可能滿足特殊教育學(xué)生的需求；（4）節(jié)省當(dāng)年的交通預(yù)算。

基于這些訴求，馬丁和德拉魯利用波士頓大量市政公共數(shù)據(jù)和學(xué)區(qū)的數(shù)據(jù)，設(shè)計(jì)了一套算法，來重新配置校車站點(diǎn)，減少校車路線的數(shù)量和足跡，使車上乘客的數(shù)量最大化，并減少空車使用。算法同時(shí)考慮到路面、交通、學(xué)校數(shù)量、課程時(shí)間和許多其他變量，由此產(chǎn)生的校車時(shí)間表推遲了高中學(xué)生的上學(xué)時(shí)間，提早了小學(xué)生的放學(xué)時(shí)間，照顧了特殊教育學(xué)生，還削減了當(dāng)?shù)?億多美元的交通預(yù)算。

一切看上去都那么美好，直到事情演變成一場(chǎng)政治災(zāi)難。

當(dāng)官員們?cè)?2月的一個(gè)晚上發(fā)布新的學(xué)校時(shí)間表，并計(jì)劃在第二年秋季實(shí)施時(shí)，他們預(yù)計(jì)會(huì)有一些反對(duì)意見，畢竟，這牽涉到城市數(shù)萬個(gè)家庭的作息起居。但沒有人料到這會(huì)掀起一場(chǎng)抗議的風(fēng)暴——憤怒的家長(zhǎng)們?cè)诰W(wǎng)上簽署請(qǐng)?jiān)笗瑪D滿了學(xué)校，反對(duì)校車算法。事情很快演變?yōu)槭虚L(zhǎng)任內(nèi)最大的危機(jī)之一。

最后，市政府不得不放棄了這一項(xiàng)目。

對(duì)大洋彼岸越來越多依仗算法進(jìn)行治理的政府官員來說，這是一個(gè)令人費(fèi)解的時(shí)刻——波士頓的校車算法項(xiàng)目到底哪里錯(cuò)了？是算法的問題，是設(shè)計(jì)算法的馬丁和德拉魯?shù)膯栴}，是市政官員的問題，還是那些憤怒的家庭出了問題？

第二次世界大戰(zhàn)以來，受運(yùn)籌學(xué)的影響，系統(tǒng)化、量化的決策成為美國(guó)各地政府孜孜以求的目標(biāo)——通過開發(fā)中立的、科學(xué)的、客觀的技術(shù)來分析情況和確定最佳行動(dòng)方案。到了1970年代，隨著新自由主義的興起，削減公共開支成為改革的方向之一，又進(jìn)一步推動(dòng)了“政務(wù)數(shù)字化”。

在美國(guó)，縣市及以下級(jí)別的地方政府承擔(dān)著許多責(zé)任，但財(cái)政權(quán)力相對(duì)有限。這幾十年來，州和聯(lián)邦政府提供的資金又一少再少，這就迫使它們不得不想辦法開源——通過罰款或其他方式收費(fèi)，而這會(huì)很容易引起反感；或是節(jié)流——開發(fā)并使用科學(xué)的算法系統(tǒng)，以期用最少的資源去辦最多的事。

于是在1980年代“政務(wù)電子化”的浪潮之后，“政務(wù)算法化”開始席卷美國(guó)的公共服務(wù)領(lǐng)域。越來越多的人工智能系統(tǒng)參與決定著美國(guó)人的公共生活——它們決定哪些街區(qū)會(huì)有更多的警察巡邏，哪些無家可歸的人群會(huì)更快獲得政府的公共房屋，哪些社會(huì)群體可以優(yōu)先注射新冠疫苗……?此刻，在我所在的匹茲堡市，龐大的算法系統(tǒng)正在翻閱數(shù)以萬計(jì)的健康、公共福利和刑事司法記錄，幫助基層公務(wù)員識(shí)別有受虐待風(fēng)險(xiǎn)的兒童，以求盡早介入。

然而，隨著算法在地方治理中作用越來越大，它們招致的批評(píng)也越來越多。

首先，也是最常見的，是算法偏見。像我們之前討論的那樣，貌似公平和客觀的機(jī)器學(xué)習(xí)算法，在人類社會(huì)產(chǎn)生的訓(xùn)練數(shù)據(jù)集里學(xué)習(xí)，同時(shí)也復(fù)制和放大著其中的人類歷史偏見。

譬如，由于警力缺乏，美國(guó)一些城市正在試圖開發(fā)犯罪預(yù)測(cè)算法，也就是通過對(duì)過往警方記錄的檢閱，使用機(jī)器學(xué)習(xí)算法來預(yù)測(cè)最有可能發(fā)生案件的街區(qū)，從而更為有效地部署警力。然而，人們很快發(fā)現(xiàn)，幾乎所有的犯罪預(yù)測(cè)算法，最后指出的“潛在性高犯罪率”的街區(qū)都是有色人種聚集的地區(qū)。

換句話說，這些算法幾乎無可避免地承載了人類和歷史的偏見。

在警方提供的數(shù)據(jù)集里，有色人種因輕度“滋擾性犯罪”而被逮捕的比例歷史性地偏高。如果算法基于這些數(shù)據(jù)建議在黑人和拉丁裔社區(qū)加強(qiáng)警力，很可能導(dǎo)致“過度警戒” (over policed) ——相關(guān)社區(qū)會(huì)被警車“環(huán)繞”，更多的在其他地方未受懲罰的輕度犯罪會(huì)被發(fā)現(xiàn)。然后，這些輕度犯罪又會(huì)進(jìn)一步“喂給”算法，循環(huán)往復(fù)。

其次，對(duì)于應(yīng)用于公共服務(wù)的算法來說，公眾對(duì)透明、公開和可解釋性這些問題上，往往會(huì)有更高的要求。

我們知道，人工智能系統(tǒng)通常也被稱為“黑箱系統(tǒng)”（black box)——因?yàn)樗惴ǖ膹?fù)雜性，即使設(shè)計(jì)算法的計(jì)算機(jī)學(xué)家們有時(shí)也無法理解機(jī)器最后做出的決定。

有些時(shí)候，有些決定微不足道，對(duì)公眾的影響有限，譬如，你正在瀏覽的網(wǎng)頁是用天藍(lán)色作為主色，還是海藍(lán)色，也許你并不在乎。但另外一些時(shí)候，另外一些決定卻可能影響一個(gè)人、一個(gè)家庭，乃至一個(gè)社區(qū)的起居生活，譬如上述波士頓校車算法所做的決定。

美國(guó)大部分市政當(dāng)局，因?yàn)轭A(yù)算問題，不會(huì)配備專門的機(jī)器學(xué)習(xí)專家。當(dāng)他們想用算法解決市政難題時(shí)，會(huì)設(shè)立有關(guān)市政項(xiàng)目的公開招標(biāo)，“外包”給私有企業(yè)。而中標(biāo)的企業(yè)，出于專利權(quán)的考慮，通常都不會(huì)公開他們?cè)O(shè)計(jì)的算法。

波士頓的馬丁和德拉魯公開了他們的算法，但公開算法就能解決問題嗎？羅格斯大學(xué)法學(xué)教授埃倫·古德曼（Ellen P. Goodman）的答案是“不能”，開源算法無法滿足公眾對(duì)“透明、公開和可解釋性”的要求。

古德曼認(rèn)為，開源算法的透明度至少受到兩方面的限制。一方面，算法的數(shù)學(xué)公式就算公開了，大部分人也看不懂，市政當(dāng)局和計(jì)算機(jī)科學(xué)家或許認(rèn)為滿足了“透明、公開和可解釋性”，但受到算法影響的公眾卻不這樣認(rèn)為。另一方面，冷冰冰的算法公式還是過于“簡(jiǎn)潔”了，根本沒法告訴你它正在計(jì)算的是什么，以及為什么要這樣算。

所以，何謂人工智能“有意義的透明、公開和可解釋性”呢？至今，這仍是計(jì)算機(jī)學(xué)家、社會(huì)學(xué)家、法學(xué)家們孜孜以求的一個(gè)問題。

再次，校車算法面對(duì)的窘境，與其說是技術(shù)問題，不如說是政治問題。

校車算法的故事里，最為令人震驚的部分或許是，大部分參與反算法抗議集會(huì)的是白人。而在波士頓（免費(fèi)）的公立學(xué)校里，絕大多數(shù)的學(xué)生并不是白人。通常，（較為富裕）的白人家庭會(huì)選擇更為昂貴的私立學(xué)校。據(jù)統(tǒng)計(jì)，當(dāng)?shù)毓W(xué)校的白人學(xué)生只占15%左右。

馬丁和德拉魯在設(shè)計(jì)算法的時(shí)候，以計(jì)算機(jī)科學(xué)家的赤誠(chéng)/天真的道德觀，考慮了種族平等的因素。他們要求算法在白人、黑人和棕色社區(qū)之間平等地分配最佳上課時(shí)間，而在算法生效之前，白人學(xué)生是唯一享有理想的上午8點(diǎn)至9點(diǎn)上學(xué)時(shí)間的群體。

按照新的校車時(shí)間表，大多數(shù)學(xué)生可以在上午8點(diǎn)到9點(diǎn)的這段時(shí)間里上學(xué)，并且這對(duì)于各個(gè)種族的學(xué)生來說幾乎是完全平等的——每個(gè)族群都有大約54%的學(xué)生享受到這一好處。也就是說，馬丁和德拉魯?shù)乃惴▽⒑侠淼纳蠈W(xué)時(shí)間公平地分配給了不同的種族，不分膚色地為學(xué)生們優(yōu)化了上學(xué)時(shí)間表。

詎料波士頓的白人家庭——這座城市最富裕、最有特權(quán)、在政治上最活躍的群體，卻對(duì)校車算法的再分配機(jī)制發(fā)起了最激烈的抗議。

自由派的樂觀主義者問：如果我們以更為透明的方式公開征求社區(qū)意見，如果白人家庭知曉算法其實(shí)是在促進(jìn)社區(qū)建設(shè)和種族平等，他們會(huì)愿意讓步嗎？

激進(jìn)的悲觀主義者則會(huì)說：或者，優(yōu)化算法以實(shí)現(xiàn)更廣義的、社會(huì)意義上的“公平”，也必然意味著對(duì)現(xiàn)有享有“特權(quán)”的家庭的“不公平”？而重新分配過程中的 “失敗者”無論如何都會(huì)反對(duì)改變？

再或者，這是一個(gè)根本性的社會(huì)關(guān)系的沖突問題。即使匯集世界上所有的計(jì)算能力、最先進(jìn)的算法、最頂尖的計(jì)算機(jī)學(xué)家都無法解決它？

在社會(huì)學(xué)龐大而混亂的各種分支里，人類學(xué)家是非常獨(dú)特的一個(gè)群體。與其他（更多地困于書齋）的社會(huì)學(xué)的從業(yè)者不同，人類學(xué)者需要以一個(gè)外來者的身份，進(jìn)入一個(gè)全新的社會(huì)群體，對(duì)他的研究目標(biāo)進(jìn)行深描。很快，他們就意識(shí)到自己學(xué)科的局限。本質(zhì)上，他們的工作，是以自己的闡述，介入別人的生活，講述別人的故事，這里面有不平等的權(quán)力關(guān)系——學(xué)者，是占據(jù)權(quán)力上峰的那批人，而他們的工作，卻有可能重塑當(dāng)時(shí)當(dāng)?shù)氐纳鐣?huì)關(guān)系。

正因如此，1980年代，在社會(huì)/文化人類學(xué)的“反思”思潮里，人類學(xué)家們選擇用一個(gè)詞來（試圖）解決這個(gè)問題。這個(gè)詞，就是“positionality”。簡(jiǎn)單說來，“positionality”指的是人類學(xué)家試圖以反思的方式描述他們與他們所研究的社會(huì)群體之間的關(guān)系，以及他們自己的研究立場(chǎng)。

在人類學(xué)的著作里，我們經(jīng)常會(huì)讀到作者關(guān)于自己positionality的聲明：作為人類，我深知自己的無知和偏見，也對(duì)社會(huì)權(quán)力關(guān)系的不平等有所感知，那么，在我的研究里，我到底選擇與誰站在一起？

也許，計(jì)算機(jī)學(xué)家們也應(yīng)該這樣問問自己。在人工智能大舉進(jìn)入人類決策的時(shí)代，算法再也無法以中立、客觀、外來者的角度試圖一勞永逸地解決社會(huì)沖突問題，甚至很難重新平衡各個(gè)社會(huì)群體的不同政治利益。作為算法的設(shè)計(jì)者，我們能做的，或許也不過就是問一下自己：

在我的算法里，我到底選擇與誰站在一起？

【參考資料】

【1】David Scharfenberg, Computers Can Solve Your Problem. You May Not Like The Answer. The Boston Globe, https://apps.bostonglobe.com/ideas/graphics/2018/09/equity-machine/

【2】Ellen P. Goodman，Smart Algorithmic Change Requires a Collaborative Political Process, The Regulatory Review, https://www.theregreview.org/2019/02/12/goodman-smart-algorithmic-change-requires-collaborative-political-process/  

【3】Virginia Eubanks, Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor, St Martin’s Press. 2018.

【4】Karen Levy, Kyla E. Chasalow, and Sarah Riley. 2021. Algorithms and Decision-Making in the Public Sector, Annual Review of Law and Social Science, Vol. 17:309-334.

-----

沈虹，畢業(yè)于美國(guó)伊利諾伊大學(xué)香檳分校傳播學(xué)系，現(xiàn)任職于美國(guó)卡內(nèi)基梅隆大學(xué)。她用社會(huì)學(xué)的方法研究新興科技。