监视资本主义：智能陷阱

短评里对这个片子的微词多着眼在影片内外的割裂对立。 但我倒是在观影过程中忍不住跑神头脑风暴了n次，这么看，影片对我就不仅仅是老生常谈了。 虽然没法按顺序按逻辑梳理我的wandering mind，就想到哪说到哪吧。 第一个反思是：（只）运用抽象语言

我感到自己表达能力不足并意识到表达力的重要性，不仅源自现实学习工作的需要，和社交网络中意见领袖的影响力飙升也脱不了干系。我不只一次对着舌灿莲花的博主感叹：“怎么这么会讲！”“太会讲了吧！”于是暗自发力练习讲话。

但最近，一个问题引起了我的注意。我发现我把精力都集中在抽象语言的运用，但忽略了具体叙事和细节描绘。事实上，我爱的那些博主，ta们说话的魅力也常常表现在针对具体事件形成观点输出和论证，偶尔援引其他具体事件也是出于论据需要。

在传播场上，我们很容易发现，观点跑得比故事快，有些观点甚至会浓缩成迷因长久地流动在社交空间里。而那些能混得开的故事往往是以观点容器和引爆器的身份占据了大众视野。这个世界，观点已具有比事实更重要的力量，而抽象语言则作为观点的基础占据了我话语实践的绝大部分。而影片也是以这种方式展开。

话语空间铺天盖地的抽象语言是不是削弱了波兹曼在《娱乐至死》里对批判性思维丧失的担忧呢？当然没有，事实上，它和李普曼在《舆论》里提到的“象征符号”遥相呼应，以抽象泯灭了那些具体生动复杂的情境、细节和差异，以口号式的单板逻辑满足了个体对“独立思考”的情感需要。

因此，这也向我发起了警告，尝试去说一些具体的故事，以民族志而非大数据的方式去看一看这个世界，甚或在一些时候抛弃掉旁观者的角色，只进入其中说话。（当然，这条除外🤥）

第二个反思是：我在意点赞吗？

即使我对点赞也很敏感，享受着每一个认可带来的即时满足，但我似乎不完全被点赞影响着心情。事实上，由于更多人活跃在朋友圈，偶尔发一条动态时，甚至会因为要点掉消息提醒而感到疲乏。对于公共空间的讨论也如是，在一些过度投入的评论回复的来来回回里，我会迅速感到疲乏。而其他一些骗取我注意的策略：通知栏、奖励性广告都对我无效。我玩不来抖音，也不喜拼多多（恨死它总因误点而自动下载）。而在我沦陷的那些平台里，我也时常产生厌倦到不想继续浏览的思绪。

但是，我不耍手机，还能做什么呢？不论我关不关注点赞，长期活跃在虚拟空间里确实挤兑了我对其他活动的意愿和想象。现实连接的淡漠致使我仍然会不停刷刷刷，刷到眼睛不得不合上。手机不再令我快乐，却也剥夺了我从其他活动获取快乐的能力。

所以，如何去拓展现生，并激发出长久为体验过的愉悦（不依托在社交平台上的炫耀），是亟待实现的下一阶段。

第三个反思是：两极化

前两天刚因为路温1900的视频跑去知乎和别人battle“女拳”在现阶段是否应该取缔。我倒不是想借这个例子说明两极化确实存在且日渐严重，而是好奇，沟通的可能性。事实上，任何一个观点呈现在面前，都是在trigger你脑海里的过往经验和认知，但在虚拟讨论空间中，我们对另一个人的脑内图景一无所知。是否存在一些最基本的共性，可以为双方能彼此听懂的讨论提供策略？

这个问题也让我想到了robber's cave那个实验，被随意标签的两组儿童在交往过程中自发产生了对本组的高认同感和对另一组的憎恶，而促进两组儿童collaborate的唯一办法是树立起第三方敌人。啊哈，牛嗷。我们在多大程度上是自主选择了某一共同体，又在多大程度受到共同体支配行为与思想？我们应该如何培育自主性，如何抵御这种支配？还是说我们的确可以利用共同体实现一些抱负？

这可太复杂辽，在这里仍只触及了边边。脑容量不够，还没法顺畅地阐释这个问题，再讲下去又要头痛咯~

就这样吧。

结束

道理我都懂，可是谁能在拉屎的时候不看手机呢？

言归正传，以前一直叫嚣“技术中立”的我这些年来对技术，尤其是巨🐂🍺的技术，真的是越来越保守了。既然略微涉及到了自己专业方面的东西，不妨稍微多写点记录一下自己想法的改变，以及近期的一些思考，主要想说说两点，技术的非客观性和不可控性。

非客观性

任何对数学或是计算机科学稍有了解的人应当都知道，算法本质上就是一堆数学和运算，定义明确，不存在任何欺骗性和模糊性——给两组一样的输入，就会出来两组一样的结果（起码分布相同）。算法是如此地“笨拙”和“老实”，不管你是资本家还是无产阶级，算法不受贿也不行贿，只做它该做的事，这还不能被称为客观吗？

机器学习有个子领域叫机器学习公平性（machine learning fairness），专门研究算法中的偏差对社会公平性的影响。这个领域的研究经常会提到COMPAS数据集，里面记录了一些被告的个人特征信息与犯罪服刑记录等。研究人员用这个数据集去训练了一个机器学习模型，来预测某人未来犯罪的概率，发现训练出来的模型更倾向于错误地将黑人预测为容易犯罪。数学上，这种偏差一方面是来源于训练数据的分布，另一方面则是来源于一些复杂的因果关系，比如法庭上由于种族歧视等黑人更容易被判有罪。这些问题其实都可以通过技术手段，比如重采样或是引入工具变量等，来克服或是减轻，但它背后更本质的一个问题是：为什么我们的社会需要预测一个人是否有可能犯罪？有很多科幻作品比如PSYCHO-PASS都讨论过这个问题，包括社会心理学上也会从自我实现预言的角度研究该种预测对个人和社会所可能带来的影响。这里只做个简单的想象作为一个小小的思维实验，假设我们训练一个模型来预测犯罪，并希望它能最准确地找出潜在犯罪者，同时又训练一个决策或行动模型来逮捕最有可能犯罪的人，随着两个模型互相产生数据互相迭代，最终“犯罪”这个概念将完全由模型定义。当我们为机器学习算法设定目标时，即准确预测潜在的罪犯，我们是在默认地假设一个人是否犯罪是预先就被决定并且不会为环境所改变的。这种假设和目标的设定本身就存在巨大的问题，其反映的是目标和算法的设计者对于人类社会的偏见。

我们知道所有算法的提出和应用都是为了优化某个目标和解决某个实际问题，但如果我们的目标和问题定义错了呢？我们还要继续使用这些算法吗？问题错了，算法再怎么提升也是白费，it's not even wrong. 刨开它想要解决的问题，算法本身毫无意义，而这些问题被定义的方式，恰巧就反应了问题定义者对于一系列事件乃至整个世界的看法。Algorithms are not objective，它们是一整套价值观的投射，只要我们还在一个人的社会里，算法与其背后的利益关系就不可能也不应当被割裂开。可惜的是，在现在的学术界和工业界，绝大多数全世界最聪明的大脑关注的仍然是如何在特定目标下提升算法的表现，而我们的问题是否定义正确，我们的优化目标是否设计正确，相对来说却不太有人讨论。

这里我想到之前上的一位研究 Science, Technology and Society（STS, 中文还没有翻译）的老师的课，他论文里有一段关于优化算法的讨论特别有意思。优化算法我们一直都在学，求最值、线性规划、凸优化、非凸优化、动态规划、整数规划诸如此类。但实际上，“优化”是一个西方资本主义社会所创造和强化的概念，它的背后是一套利益最大化的逻辑，这在非西方世界的传统价值观中是罕见的。随着大航海时代与殖民主义、帝国时代的演进，这一套优化的逻辑也慢慢根植进了各个民族的思想，也写进了不同国家的教材。我并非是想说“优化”这个概念不好，或者我们不应该研究优化问题，相反，优化问题很重要，并且能建模很多实际问题。但正因为它能建模太多太多的实际问题，我们才更应该加以注意其适用范围，比如一个班里的同学或是一个组里的同事相互竞争，搞成绩最大化利益最大化，硬生生地把非零和博弈考虑成了零和博弈，这种内卷或许只对补课机构和资本家有益。

不可控性

当影片把我们所面临的问题赤裸裸地摆在面前的时候，我才真正意识到并惊讶于，一个我们无法理解、无法控制、拥有巨大预测世界和改变世界能力的技术，竟然早已悄无声息地融入到了我们生活的各个角落。我们一直在思考，如何提升人工智能的极限，或是AI还需要多久才能取代人类，我们看到的始终是AI在人类强项上的羸弱，如关系推理、结构生成等等，就好像AI仍然完全在我们的掌控范围内。但实际上，我们常常忽略的一点是，AI在人类的弱项方面已经做得非常好了，并且我们对其知之甚少。以前中学的时候和同学聊过一些关于基因工程、人体改造诸如此类的话题，结论是这类技术太过神秘、太过强大，在伦理道德和法律条文完善之前就不应该去触碰。现在想来，基因改造相对于复杂的算法来说，或许就是个弟弟。我说“复杂的算法”，并不是因为算法本身的实现很复杂（当然确实也挺复杂的），而是因为现在的很多算法，比如神经网络，本身就是一个“复杂系统”。

我个人认为复杂系统或者混沌理论是人类在20世纪所提出的最具革命性的概念之一，起码本科接触到这个概念之后，我的世界观迅速就改变了很多。复杂系统（complex system）简单来说，就是系统中有多个个体，它们相互之间会有一些交互，这些个体本身的行为模式或简单或复杂，其间的交互也能以各种形式呈现，可一旦当它们构成系统，整个系统中可能就会涌现出一些难以预见的行为模式。复杂系统或者混沌现象在我们的世界中无时无刻不在呈现，比如气象系统，洛伦兹当年就是因为发现自己用微分方程无法预测天气，而开创了这整个领域，大家常说的“蝴蝶效应”，其实指的就是微小的空气扰动也会在未来大幅影响整个气象系统的运行这一现象。除此之外常见的例子还有大脑活动、心脏跳动、股票市场的波动等等。康威在70年人为构造了一个复杂系统并将其命名为“生命游戏”，这里找到了一个模拟器，感兴趣的话可以玩玩。关于复杂系统和混沌理论的研究瞬间就颠覆了17世纪以来的牛顿范式（虽然爱因斯坦早几十年已经从时空观的角度颠覆过一次了），所有的研究结果都告诉我们，这个世界不是你推动小球，小球就会获得一个加速度，然后像你预想的那样运动——当这个世界由千千万万个小球组成的时候，哪怕你完全知道每个小球的受力情况，你也无法预测整个小球系统将会怎样运行。当然，刘慈欣的三体早就科普过，只需要三个小球，就能使任何人、任何计算机的大脑彻底瘫痪。之前看过BBC的科普纪录片《神秘的混沌理论》觉得很不错，里面也提到了在如此混沌的世界中，数学和科学还能为我们做些什么，答案就包括统计学等等，扯远了。

回到技术的不可控性，这里想重点讨论一下深度学习掀起的神经网络浪潮。神经网络（neural networks）是计算机科学家们仿照人类大脑的结构所提出的一个计算概念，在计算中，每个节点都被看做是一个神经元，它接收上游神经元所传来的信号，并在一番处理之后将结果信号再传递给下游神经元。单独看每个神经元的行为其实是非常简单的，就是一个带权求和再套一个激活函数（现目前最常见的激活函数就是ReLU，它保留正的数字并将负的数字变为0）。再看神经元之间相互的关系，其实也非常简单，就是计算结果的传递。然而就是这么一些简单的小小的计算神经元，却能从系统层面上发挥令人意想不到的作用——人脸识别、图像生成、阅读理解…很多理论上的工作都尝试去解释神经网络的运作机制，但目前还没有人敢说他真正地理解了神经网络。其中一个比较有代表性的讨论就是神经网络的泛化能力。泛化能力指的是模型把从训练数据中所获得的知识，应用到未曾见过的样例上的能力。做个简单的类比，就好像是你通过刷题来准备期末考试，如果相同知识点的题，刷题时你学会了，考试时你也能做对，那么你的泛化能力就很好。传统机器学习认为模型的参数或是可变性越多，泛化能力就越差。这就好像是你的记性特别好，过目不忘，那么为了做对题库里的每一道题，对你来说最省时省力的方法就是把所有的答案都完全不加以理解地给背下来，但到考试的时候你就会傻眼了。神奇的是，神经网络并不遵循这一规律，去年OpenAI公开的 GPT-3 语言模型中共有1.75兆个参数，但它在下游任务上的表现却完全暴打之前的模型。近期的一些工作比如 Neral Tangent Kernel 对此细致地进行了理论上的阐述，大体上讲，就是当大量神经元组成神经网络后，整个复杂系统就会涌现出一些新的性质。目前不管是学术界还是工业界，都把神经网络当作黑箱在使用，没有人知道这个黑箱中究竟在发生些什么，更不用说有谁能够做到精准地控制黑箱。

更加令人沮丧的是，神经网络等技术的复杂性还只是不可控的一方面，而另一个不可控因素就是人类社会。人类社会由许许多多的个体组成，个体之间也会经由社交产生各种互动，是一个典型的复杂系统。在人类社会的历史中，我们可以看到很多群体行为的涌现，如政党的形成、经济系统的构建、革命与暴乱等等。如此一个复杂系统本就已经够社会学、经济学、政治学、心理学等学科研究的了，而我们现在还要将复杂的神经网络运用到复杂的社交网络上，其结果想也不知。就如纪录片中所说，这些大佬们在开发产品的时候最多也就考虑了用户粘性等跟商业挂钩的指标，而诸如阴谋论、假新闻的流行，还有意见的极化和青少年成瘾等负面影响，都是在最初的产品开发时所难以完全预见的。至此可以看到，在我们将越来越多的权力交付给人工智能时，情况已经愈发地失控了。

最后

尽管快到末尾时大佬们把AI技术、社交网络等带来的问题归因为商业模式的运作，包括整部片子的译名也被加上了“监视资本主义”，但这些问题的根源绝不仅仅只在于经济形式——again, it's all about power moves. 任何形式的社会，只要有权力结构的存在，就会使算法带有一定的目的性，并且此种目的性也会由于算法和社会本身的不可控性，而造成难以预见的影响。

看到最后真的蛮感动的，有这么多厉害的大佬都不只是在关心自己的个人利益，而是利用自己的视角来为全体人类尤其是还在成长中的下一代做思考，怎么说，算是野蛮屠宰场里人类文明的微光吧。