2017年，波士頓的市政官員們邀請號稱“美國清華”的麻省理工學院 （MIT）參加當地的一項市政規劃。在諸多競標者中，計算機系的博士生塞巴斯蒂安·馬丁（Sébastien Martin）和亞瑟·德拉魯（Arthur Delarue）脫穎而出——他們的任務是，為波士頓的公立學校系統設計一套新型的機器學習算法，以便重新安排全市幾十所學校的上課時間，以及相應的校車服務。

大量研究表明，充足的睡眠對于處于青春期的高中生來說至關重要。睡眠不足不僅會導致學習成績下降，酗酒和自殺的風險也在同時增加。然而，在波士頓，高中的上學時間通常都很早，要推遲高中上學時間的話，也需要同時調整小學和初中的時間表。總之，這是一項牽涉幾十所學校、上百輛校車、上萬個家庭，以及巨額市政預算的問題，遲遲沒有令人滿意的解決方案，市政官員們都頭疼不已。

直到算法的出現。

馬丁和德拉魯興致勃勃地接手了這個項目，以MIT學生的變態時間表——平均每天工作15個小時——夜以繼日地在龐大的公共數據庫里遨游。波士頓的公立學校提出四大訴求：（1）增加上午8點后開始上學的高中生人數，以求保證高中生們的睡眠時間；（2）減少下午4點后放學的小學生人數，讓小學生們在漫長的美國東部的冬季里盡早回家；（3）盡可能滿足特殊教育學生的需求；（4）節省當年的交通預算。

基于這些訴求，馬丁和德拉魯利用波士頓大量市政公共數據和學區的數據，設計了一套算法，來重新配置校車站點，減少校車路線的數量和足跡，使車上乘客的數量最大化，并減少空車使用。算法同時考慮到路面、交通、學校數量、課程時間和許多其他變量，由此產生的校車時間表推遲了高中學生的上學時間，提早了小學生的放學時間，照顧了特殊教育學生，還削減了當地1億多美元的交通預算。

一切看上去都那么美好，直到事情演變成一場政治災難。

當官員們在12月的一個晚上發布新的學校時間表，并計劃在第二年秋季實施時，他們預計會有一些反對意見，畢竟，這牽涉到城市數萬個家庭的作息起居。但沒有人料到這會掀起一場抗議的風暴——憤怒的家長們在網上簽署請愿書，擠滿了學校，反對校車算法。事情很快演變為市長任內最大的危機之一。

最后，市政府不得不放棄了這一項目。

對大洋彼岸越來越多依仗算法進行治理的政府官員來說，這是一個令人費解的時刻——波士頓的校車算法項目到底哪里錯了？是算法的問題，是設計算法的馬丁和德拉魯的問題，是市政官員的問題，還是那些憤怒的家庭出了問題？

第二次世界大戰以來，受運籌學的影響，系統化、量化的決策成為美國各地政府孜孜以求的目標——通過開發中立的、科學的、客觀的技術來分析情況和確定最佳行動方案。到了1970年代，隨著新自由主義的興起，削減公共開支成為改革的方向之一，又進一步推動了“政務數字化”。

在美國，縣市及以下級別的地方政府承擔著許多責任，但財政權力相對有限。這幾十年來，州和聯邦政府提供的資金又一少再少，這就迫使它們不得不想辦法開源——通過罰款或其他方式收費，而這會很容易引起反感；或是節流——開發并使用科學的算法系統，以期用最少的資源去辦最多的事。

于是在1980年代“政務電子化”的浪潮之后，“政務算法化”開始席卷美國的公共服務領域。越來越多的人工智能系統參與決定著美國人的公共生活——它們決定哪些街區會有更多的警察巡邏，哪些無家可歸的人群會更快獲得政府的公共房屋，哪些社會群體可以優先注射新冠疫苗……?此刻，在我所在的匹茲堡市，龐大的算法系統正在翻閱數以萬計的健康、公共福利和刑事司法記錄，幫助基層公務員識別有受虐待風險的兒童，以求盡早介入。

然而，隨著算法在地方治理中作用越來越大，它們招致的批評也越來越多。

首先，也是最常見的，是算法偏見。像我們之前討論的那樣，貌似公平和客觀的機器學習算法，在人類社會產生的訓練數據集里學習，同時也復制和放大著其中的人類歷史偏見。

譬如，由于警力缺乏，美國一些城市正在試圖開發犯罪預測算法，也就是通過對過往警方記錄的檢閱，使用機器學習算法來預測最有可能發生案件的街區，從而更為有效地部署警力。然而，人們很快發現，幾乎所有的犯罪預測算法，最后指出的“潛在性高犯罪率”的街區都是有色人種聚集的地區。

換句話說，這些算法幾乎無可避免地承載了人類和歷史的偏見。

在警方提供的數據集里，有色人種因輕度“滋擾性犯罪”而被逮捕的比例歷史性地偏高。如果算法基于這些數據建議在黑人和拉丁裔社區加強警力，很可能導致“過度警戒” (over policed) ——相關社區會被警車“環繞”，更多的在其他地方未受懲罰的輕度犯罪會被發現。然后，這些輕度犯罪又會進一步“喂給”算法，循環往復。

其次，對于應用于公共服務的算法來說，公眾對透明、公開和可解釋性這些問題上，往往會有更高的要求。

我們知道，人工智能系統通常也被稱為“黑箱系統”（black box)——因為算法的復雜性，即使設計算法的計算機學家們有時也無法理解機器最后做出的決定。

有些時候，有些決定微不足道，對公眾的影響有限，譬如，你正在瀏覽的網頁是用天藍色作為主色，還是海藍色，也許你并不在乎。但另外一些時候，另外一些決定卻可能影響一個人、一個家庭，乃至一個社區的起居生活，譬如上述波士頓校車算法所做的決定。

美國大部分市政當局，因為預算問題，不會配備專門的機器學習專家。當他們想用算法解決市政難題時，會設立有關市政項目的公開招標，“外包”給私有企業。而中標的企業，出于專利權的考慮，通常都不會公開他們設計的算法。

波士頓的馬丁和德拉魯公開了他們的算法，但公開算法就能解決問題嗎？羅格斯大學法學教授埃倫·古德曼（Ellen P. Goodman）的答案是“不能”，開源算法無法滿足公眾對“透明、公開和可解釋性”的要求。

古德曼認為，開源算法的透明度至少受到兩方面的限制。一方面，算法的數學公式就算公開了，大部分人也看不懂，市政當局和計算機科學家或許認為滿足了“透明、公開和可解釋性”，但受到算法影響的公眾卻不這樣認為。另一方面，冷冰冰的算法公式還是過于“簡潔”了，根本沒法告訴你它正在計算的是什么，以及為什么要這樣算。

所以，何謂人工智能“有意義的透明、公開和可解釋性”呢？至今，這仍是計算機學家、社會學家、法學家們孜孜以求的一個問題。

再次，校車算法面對的窘境，與其說是技術問題，不如說是政治問題。

校車算法的故事里，最為令人震驚的部分或許是，大部分參與反算法抗議集會的是白人。而在波士頓（免費）的公立學校里，絕大多數的學生并不是白人。通常，（較為富裕）的白人家庭會選擇更為昂貴的私立學校。據統計，當地公立學校的白人學生只占15%左右。

馬丁和德拉魯在設計算法的時候，以計算機科學家的赤誠/天真的道德觀，考慮了種族平等的因素。他們要求算法在白人、黑人和棕色社區之間平等地分配最佳上課時間，而在算法生效之前，白人學生是唯一享有理想的上午8點至9點上學時間的群體。

按照新的校車時間表，大多數學生可以在上午8點到9點的這段時間里上學，并且這對于各個種族的學生來說幾乎是完全平等的——每個族群都有大約54%的學生享受到這一好處。也就是說，馬丁和德拉魯的算法將合理的上學時間公平地分配給了不同的種族，不分膚色地為學生們優化了上學時間表。

詎料波士頓的白人家庭——這座城市最富裕、最有特權、在政治上最活躍的群體，卻對校車算法的再分配機制發起了最激烈的抗議。

自由派的樂觀主義者問：如果我們以更為透明的方式公開征求社區意見，如果白人家庭知曉算法其實是在促進社區建設和種族平等，他們會愿意讓步嗎？

激進的悲觀主義者則會說：或者，優化算法以實現更廣義的、社會意義上的“公平”，也必然意味著對現有享有“特權”的家庭的“不公平”？而重新分配過程中的 “失敗者”無論如何都會反對改變？

再或者，這是一個根本性的社會關系的沖突問題。即使匯集世界上所有的計算能力、最先進的算法、最頂尖的計算機學家都無法解決它？

在社會學龐大而混亂的各種分支里，人類學家是非常獨特的一個群體。與其他（更多地困于書齋）的社會學的從業者不同，人類學者需要以一個外來者的身份，進入一個全新的社會群體，對他的研究目標進行深描。很快，他們就意識到自己學科的局限。本質上，他們的工作，是以自己的闡述，介入別人的生活，講述別人的故事，這里面有不平等的權力關系——學者，是占據權力上峰的那批人，而他們的工作，卻有可能重塑當時當地的社會關系。

正因如此，1980年代，在社會/文化人類學的“反思”思潮里，人類學家們選擇用一個詞來（試圖）解決這個問題。這個詞，就是“positionality”。簡單說來，“positionality”指的是人類學家試圖以反思的方式描述他們與他們所研究的社會群體之間的關系，以及他們自己的研究立場。

在人類學的著作里，我們經常會讀到作者關于自己positionality的聲明：作為人類，我深知自己的無知和偏見，也對社會權力關系的不平等有所感知，那么，在我的研究里，我到底選擇與誰站在一起？

也許，計算機學家們也應該這樣問問自己。在人工智能大舉進入人類決策的時代，算法再也無法以中立、客觀、外來者的角度試圖一勞永逸地解決社會沖突問題，甚至很難重新平衡各個社會群體的不同政治利益。作為算法的設計者，我們能做的，或許也不過就是問一下自己：

在我的算法里，我到底選擇與誰站在一起？

【參考資料】

【1】David Scharfenberg, Computers Can Solve Your Problem. You May Not Like The Answer. The Boston Globe, https://apps.bostonglobe.com/ideas/graphics/2018/09/equity-machine/

【2】Ellen P. Goodman，Smart Algorithmic Change Requires a Collaborative Political Process, The Regulatory Review, https://www.theregreview.org/2019/02/12/goodman-smart-algorithmic-change-requires-collaborative-political-process/  

【3】Virginia Eubanks, Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor, St Martin’s Press. 2018.

【4】Karen Levy, Kyla E. Chasalow, and Sarah Riley. 2021. Algorithms and Decision-Making in the Public Sector, Annual Review of Law and Social Science, Vol. 17:309-334.

-----

沈虹，畢業于美國伊利諾伊大學香檳分校傳播學系，現任職于美國卡內基梅隆大學。她用社會學的方法研究新興科技。