去年9月，一個名叫克林·麥德蘭 (Colin Madland) 的白人，在推特上發布了一張與黑人同事視頻通話的截屏。他原本只是想揭發相關視頻會議軟件Zoom的一個問題——在某種模式下，該軟件算法無法識別麥德蘭的黑人同事，并擅自將其“斬首”了。

Zoom將麥德蘭的黑人同事“斬首”了

麥德蘭沒想到的是，當他截屏上傳推特之后，在推特的手機端上，黑人同事干脆“消失”了，圖片僅僅剩下身為白人的他自己。

截屏上傳推特之后，麥德蘭的黑人同事“消失”了

推特用算法在推特的手機端自動裁剪圖片是常規操作，目的在于防止過大圖片在寸土寸金的手機端占用太多頁面空間，同時將用戶的注意力集中到圖片最重要的部分。關于麥德蘭的圖片，算法似乎做出了這樣的判斷——相對于黑人，白人是更重要的那一部分。

麥德蘭的推文很快引爆了網絡狂歡。網友們前仆后繼、看熱鬧不嫌事大地對推特的圖片裁剪算法進行了各種明暗條件下的反復測試，測試圖片一度延伸到貓貓狗狗和毛絨玩具，直到某網友錘下棺材板上的最后一根釘子——在反復上傳白人參議員米奇·麥康奈爾（Mitch McConnell）和黑人前總統奧巴馬（Barack Obama）的照片后，該網友發現推特算法會在手機端不斷裁剪掉奧巴馬，而把麥康奈爾放在圖片中央。

換句話說，推特的算法，犯了和ZOOM一樣的毛?。悍N族歧視。

這些年，被網友集體抓包的網絡平臺不在少數。比如著名的谷歌。2015年，程序員阿爾西內（Jacky Alciné）將自己與朋友的合影上傳到谷歌照片，詎料黑人朋友竟被標注為“大猩猩”。此后，熱心網友競相“調戲”對谷歌照片的腦殘標簽，直到2018年，谷歌“一勞永逸”地封禁了“大猩猩”、“黑猩猩”或是“猴子”的標簽。

再如美國最大的點評網站Yelp。2017年，一群小企業主在對Yelp算法進行反復測試后發現，對于不使用該平臺廣告服務的企業，算法往往給出較低評分。被戳穿后，Yelp不得不對其算法進行了調整。

又如酒店預訂平臺繽客（booking.com）。2019年，一批用戶發現繽客對某酒店的綜合評分與他們給出的分數明顯不符，發現問題后，他們聯合起來，通過反復測試，證明了平臺算法會在不透明的情況下調高某些低評分。

在最近的一篇論文里，我和合作者們把平臺用戶的這類“抓包”行為稱為“日常生活里的算法審計”（everyday algorithm auditing）——平日里，由于算法的算計而受困其中的用戶們，正在聯合起來，通過集體智慧，對算法進行“反向分析”。

也就是說，平臺們看似全知全能、無遠弗屆，但對于算法與人的真實互動及其結果，它們在很大程度上是無法事先知曉的。

正如推特的公關團隊在“裁圖事件”后解釋的那樣，“在模型發布前，我們的團隊進行了反復測試，并沒有發現種族或性別歧視的相關證據。但這些案例表明，我們還有更多的分析要做?！?/p>

各大平臺可以聘用頂級機器學習專家和軟件測試工程師，在算法上線前，對可能出現的漏洞進行檢測，但即便是這些專家也永遠無法預測，算法在與真實世界里的真實人生互動之后會發生什么。

其實早在1996年，在現代人工智能和機器學習系統大規模出現之前，巴特亞·弗里德曼（Batya Friedman）和海倫·尼森鮑姆（Helen Nissenbaum）就在他們那篇著名的短文《計算機系統里的偏見》（Bias in Computer Systems）里，就計算機系統里的“偏見”進行了分類：

一類是由社會歷史原因造成的“預存偏見”（pre-existing bias）。比如，性別和種族歧視可能會在算法里持續顯現。

一類是由當時當地技術限制等原因造成的“技術偏見”（technical bias)。比如，在1990年代，一種用來隨機篩選稀缺藥物接受者的算法可能會系統性地偏向數據庫末端的病人。

還有一類是那些只有在與人類用戶互動和日常使用的情境里展現出來的“突現偏見”（emergent bias）。比如，微軟當年的人工智能聊天機器人Tay，與網友在推特上聊了不到24小時，就被“調教”成了一個“種族主義者”。

這也是為什么發現這些“突現偏見”的，往往不是平臺巨資聘請的工程師、律師和第三方審計人員，而是那些日日夜夜受困在算法里的人們——是真實生活里的真實人類在日常生活里對算法進行了千萬次的測試，以肉身為道場，才把算法的漏洞暴露出來，釘上恥辱柱。

這是我們對算法的日常抵抗。

1985年，耶魯大學政治學和人類學教授詹姆斯·C·斯科特（James C. Scott）出版了名作《弱者的武器：農民反抗的日常形式》（Weapons of the Weak: Everyday Forms of Peasant Resistance）。這本書基于1970年代末他在馬來西亞村莊塞達卡（Sedaka）所做的田野調查。

斯科特發現，自1970年代引入雙耕制之后，馬來西亞農村的貧富差距加劇，農民們的不滿與日俱增，可奇怪的是，那里卻很少發生有組織的、公開的抵抗。從傳統政治學的角度來看，馬來農民缺乏政治意識和自覺，也鮮少有意義的政治行動。

但作為人類學家，斯科特卻察覺到一種不曾被書寫的、不一樣的“抵抗”：農民們在日常生活里，以自己獨特的方式對結構性的不平等進行著“消耗戰”，雖然看似微不足道，卻也一點一滴地銷蝕著凌駕在他們頭上的統治機構。

這些日常形式的反抗，我們也許再熟悉不過了——偷懶、怠工、裝糊涂、開小差，跟現在流行的的“躺平”“帶薪蹲坑” “日常摸魚”可謂異曲同工，一脈相承。

而這些，斯科特稱之為“弱者的武器”（weapons of the weak）。

斯科特的立場，在80年代之后受到了許多批評——如果日常形式的抵抗無法引發結構層面的改變，而僅僅滯留在生活表面，那么這些“偷懶、怠工、裝糊涂、開小差”到底有多少意義呢？這確實不好說?？梢源_定的只是，這些日常形式的抵抗至少表明個人和公眾并不完全臣服于這些支配性的社會結構。

在人工智能的時代，在算法統治一切的世界里，這些日常抵抗包括用戶們個人生活里的小動作和不配合——比如故意點擊無關內容給推薦算法搗亂；在社交媒體上合力揪出算法的漏洞——比如，像本文開頭那個例子，大家通過集體協作一起檢測證明算法“種族歧視”，等等。

這些小打小鬧不斷給占據支配地位的算法制造麻煩，并提示我們：算法并不像我們所想象的那樣無所不知、無所不能。即使渺小如我們，在某些時刻，也有反制算法的可能。

與此同時，另一種對算法的日常抵抗正在浮現。

去年7月，阿明·薩米（Armin Samii) 已經為“優步送餐” 工作了幾個星期。在美國，“優步送餐”很多時候是由騎手騎行送達的。這一單，薩米接下的是算法估算為20分鐘左右、1英里的工作?？墒聦嵣?，送餐app卻將他帶上了匹茲堡最陡峭的山坡之一，在地圖上看來是1英里的直線路程，實際耗費了4 英里的騎行。最終按照算法的邏輯，“優步送餐” 僅僅支付了他1英里的費用。

還好薩米是一名軟件工程師。在發現優步算法的問題之后，他創建了谷歌瀏覽器的擴展程序“優步騙人” （UberCheats），幫助外賣騎手們收集算法“克扣”薪酬的證據。

薩米們想要追訴的權利。

還有一些困在算法里的人將他們的訴求告上法庭。根據歐盟的通用數據保護條例 (GDPR)， 一群英國優步司機在阿姆斯特丹起訴了這家叫車公司。司機們表示，通過集體訴訟，他們獲得了存儲于平臺之上的所有關于他們的個人數據，他們想知道，優步的評價體系是如何通過這些數據來給他們打分的。

司機們想要知情的權利。

36年前，斯科特在他那本引發巨大爭議的書里說：

“日常形式的抵抗不會成為頭條新聞……(然而）正如數以百萬計的珊瑚蟲制造出珊瑚礁一樣，數以萬計的個體不服從和逃避的行為也創造了自己的政治或經濟堡礁。”

“Everyday forms of resistance make no headlines. Just as millions of anthozoan polyps create, willy-nilly, a coral reef, so do thousands upon thousands of individual acts of insubordination and evasion create a political or economic barrier reef of their own.” 

不高估算法的魔力，不低估自己的力量。也許，最后能夠抗衡算法的，正是我們這些困在算法里的人。

參考資料：

【1】Khristopher J Brooks. 2020. Twitter users say the platform crops out Black faces. https://www.cbsnews.com/news/ twitter-image-cropping-algorithm-racial-profiling

【2】Motahhare Eslami, Kristen Vaccaro, Karrie Karahalios, and Kevin Hamilton. 2017. “Be careful; things can be worse than they appear”: Understanding Biased Algorithms and Users’ Behavior around Them in Rating Platforms. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 11.

【3】Motahhare Eslami, Kristen Vaccaro, Min Kyung Lee, Amit Elazari Bar On, Eric Gilbert, and Karrie Karahalios. 2019. User attitudes towards algorithmic opacity and transparency in online reviewing platforms. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. 1–14.

【4】Shen, Hong, Alicia DeVos, Motahhare Eslami, and Kenneth Holstein. 2021. "Everyday algorithm auditing: Understanding the power of everyday users in surfacing harmful algorithmic behaviors." arXiv preprint arXiv:2105.02980.

【5】Friedman, Batya, and Helen Nissenbaum. Bias in computer systems. Routledge, 2017.

【6】Scott, James C. 1985. Weapons of the weak: Everyday forms of peasant resistance. Yale University Press.

【7】Aarian Marshall. 2021. Gig Workers Gather Their Own Data to Check the Algorithm’s Math. Wired. https://www.wired.com/story/gig-workers-gather-data-check-algorithm-math/

-----

作者沈虹，畢業于美國伊利諾伊大學香檳分校傳播學系，現任職于美國卡內基梅隆大學。她用社會學的方法研究新興科技。