Daniel Povey 对当前 AI 发展的思考与警示
Daniel Povey 是 Kaldi 之父、IEEE Fellow、小米集团首席语音科学家。他站在 AI 发展的历史长河中审视当下的 LLM 技术,分享了他对 AI 未来发展的深度思考。本文综合 Povey 的核心观点,探讨 AI 可能带来的社会影响与隐忧。
AGI≠放大现有智能
Povey 认为,尽管当前的 LLM 模型通过扩大规模取得了显著的性能提升,但这并不意味着我们已经接近通用人工智能(AGI)。他指出:
- 人们难以想象超出自己现有认知范围的事物
- AGI 不是简单地放大现在的智能
相反,未来的 AI 系统可能更多地依赖于在外部知识库中查找信息,而不是简单地增加模型参数。Povey 设想我们可能会:
- 构建一个拥有十亿参数级别的 AI
- 赋予它搜索网络的能力
- 这样的设计反而更加实用
AGI 的实现路径并非是当前 LLM 模型的简单放大。模型参数的增加并不能从根本上解决通用智能的问题。未来的 AI 系统需要更好地整合外部知识。
AI 可能破坏它所触及的一切
Povey 对当前一些过于乐观的 AI 预期提出警示。他认为,AI 最终可能会破坏它所触及的许多领域,并给人类生活带来意想不到的负面影响。
以国际象棋为例:
- AI 在国际象棋上战胜了人类,但这毁掉了下棋的乐趣
- 没有人再愿意下国际象棋,因为 AI 的存在让胜负失去悬念
Povey 以自己父亲的经历为例,说明了问题的严重性:
- 他父亲酷爱下棋,但当 AI 轻松击败他时,下棋不再有乐趣
- 对父亲而言,下棋的意义不在于胜负,而在于其中蕴含的社交属性
Povey 担心,AI 可能在更广泛的领域产生类似的破坏性影响,让人类原本享受的许多活动失去意义。
AI 的发展可能破坏人类生活的许多方面。即便在 AI 取得显著成就的领域,也可能让人类原本的参与动机和乐趣荡然无存。这种影响值得高度警惕。
AI 内容可能引发信任危机
互联网上充斥着大量 AI 生成的内容,Povey 认为这可能引发公众对信息渠道的信任危机。
- 在 AI 广泛应用之前,电子邮件和短信就已饱受垃圾信息的困扰
- 随着 AI 技术的进步,这一问题只会愈演愈烈
- 人们可能难以分辨真人和 AI 生成的信息,导致对信息渠道的信任度下降
Povey 用博尔赫斯”巴别图书馆”的隐喻来描述这一问题:
- 互联网就像一个包含所有可能字符组合的无限图书馆
- 其中充斥着大量低质量、有错误、篡改过的信息
- 海量的 AI 生成内容会让互联网像这样一个巨大的”无用图书馆”
此外,如果 AI 模型主要通过训练这些劣质数据来学习,就会引发恶性循环:
- AI 生成更多低质量内容
- 进一步污染互联网环境
- 导致模型性能下降
大量的 AI 生成内容正在侵蚀公众对互联网信息的信任。这种趋势如果失控,可能酿成大规模的信息污染,AI 模型自身的性能也会受到拖累。亟需采取措施应对这一隐患。
AI 在不同领域的影响
Povey 分析了 AI 在几个重点领域的发展前景,其论断可谓高屋建瓴。
白领工作、法律、广告等
Povey 认为,AI 不太可能完全取代这些领域的工作,主要基于两点原因:
- 很多白领岗位的设置源自法律法规的要求
- 这些领域往往处于一种零和竞争状态
- 个体层面的效率提升,会被整体行业水平的提高所抵消
- 最终可能只是提高工作量而非质量
AI 在许多白领工作领域的影响可能有限。法律约束和零和竞争的特征,决定了 AI 难以从根本上重塑行业生态。
农业、采矿等
相比之下,Povey 认为 AI 在农业、采矿等领域大有可为。
- 环境复杂多变,需要 AI 来适应
- 人工智能可以更有效地解决问题,提高生产效率
- 有望改变传统的农业方式,实现更环保、更人性化的生产
但 Povey 特别指出,这需要的不是大语言模型,而是能够直接与物理世界交互的机器人和控制系统。
AI 将深刻影响农业、采矿等领域的未来。但发挥这一潜力的关键,在于发展实体机器人,让智能系统能够直接参与生产过程。
军事领域
Povey 分析了 AI 武器可能带来的风险:
- 武装无人机等 AI 武器正在迅速发展,并发挥日益重要的作用
- AI 武器可能加剧单方面的打击,延长战争的持续时间
- 遭受打击的一方可能采取报复,将战火蔓延至平民区域
- 由此引发一种反乌托邦式的未来图景,充满对无人机袭击的恐惧
Povey 还指出,历史上技术进步往往导致攻防力量对比的变化:
- 火药、大炮的出现,让进攻方占据优势
- 机关枪、战壕的出现,又让防御方占据上风
- 当前的 AI 发展似乎再次让进攻方占据优势
- 高昂的防御成本可能迫使国家更多诉诸于相互威慑,而非实质性的防御能力
AI 武器正在改变战争的面貌,可能加剧冲突的烈度和持续时间。这预示了一个动荡的未来,人类社会亟需建立起新的战略均衡。
教育领域
Povey 对 AI 在教育领域的影响持谨慎态度,主要有以下几点考虑:
- 教育并非单一的实体,而是涉及多方利益相关者,每一方都有不同的诉求:
- 家长希望孩子在考试中胜出,这与真正的学习目标未必一致
- 学生更倾向于追求乐趣,而非接受应试教育
- 教育机构则希望塑造学生的价值观和身份认同
- 学校还承担着照看孩子、方便家长工作的社会职能
- 教育的很多环节实际上是一种零和游戏,技术进步无法从根本上改变这一点
- 学生与 AI 建立有效互动存在天然障碍
- 孩子更容易从成年人那里获取价值观和行为方式
- 缺乏人际互动,孩子很难真正投入到学习过程中
- 研究表明,教育质量的提高很难从根本上改变一个人的成长轨迹
AI 对教育的影响可能不及预期。教育系统的复杂性、零和博弈的特点,以及学生成长的内在规律,都限制了技术进步的空间。
从”繁华市集”到”水疗中心”
Povey 观察到,AI 的发展正推动着信息渠道从开放走向封闭。
- 电子邮件、短信等开放渠道早已饱受垃圾信息困扰
- 人们将转向微信等受控渠道,以获得更”干净”的信息环境
- 政府监管将进一步加剧这种趋势
Povey 提出了”繁华市集”和”水疗中心”的类比:
- “繁华市集”提供开放、自由的信息环境,但同时也充满噪音
- “水疗中心”提供有序、幽静的环境,但可能以失去开放性为代价
Povey 认为,人们承受的信息干扰已经越来越多,这将进一步推动向”水疗中心”模式的转变。苹果公司就是这种封闭生态的代表。
AI 正在重塑我们的信息生态。人们为了获得宁静,可能不得不接受更多的封闭和管控。这种转变值得我们审慎对待。
对 AI 失业潮的反思
Povey 并不认为失业是 AI 带来的最大挑战。在他看来,系统的脆弱性才是更值得担忧的问题。
以自动驾驶为例:
- 软件故障可能导致大量汽车同时失控
- 严重影响交通和物流系统乃至整个社会的运转
- 这种突发的系统性风险远非就业冲击可以比拟
政府应加强监管,防范此类风险。但在激烈的商业竞争面前,没有公司愿意率先放弃 AI 技术。
对失业问题,Povey 则给出了更深层的思考。他对全民基本收入(UBI)持批评态度:
- UBI 可能并非乌托邦,而是反乌托邦
- 如果人们感觉自己是多余的,就会失去生活的意义
- 由此产生的不快乐和虚无感,反而会滋生更多社会问题
就业冲击并非 AI 的最大风险。我们要高度警惕 AI 系统出错引发的连锁反应。对失业问题,政府和社会也需要更全面的应对方案,单纯的 UBI 恐怕难以从根本上化解矛盾。
对 Transformer 范式的反思
Povey 对 AI 发展的未来道路提出质疑。在他看来,单纯依靠 Transformer 模型的放大 是走不远的。
- 目前大家都在做 Transformer,而很少有突破性的创新
- 这种路径依赖可能导致思维定式和设计”路径锁死”
- AI 的真正突破需要全新的架构和学习范式
Povey 设想,未来可能出现更多多模态系统,具备图像、视频处理能力。但面向海量数据,更关键的是要学会 AI 主动地筛选信息:
- 数据总量是无限的
- 模型应该学会判断哪些信息有价值,并动态调整权重
- 被动地追求更大规模已不太可行
AI 的未来在于超越当前的技术路线。研究者应该勇于探索全新的架构,并让系统学会主动筛选信息,而不是单纯地追求规模。
人性光辉不可泯灭
尽管 Povey 对 AI 抱有诸多隐忧,但他并未完全悲观。他呼吁我们要坦然面对挑战,同时也要对人性和社会的韧性保持信心。
Povey 以迈达斯的传说为喻:
- 点石成金的能力最终沦为诅咒
- 提醒我们 AI 可能带来”负面点石成金效应”
- 但人性的光辉终会跨越重重阴霾
历史上,机器的引入也曾引发工人的暴力抗争,但社会最终总能找到新的平衡。这一次 AI 革命虽然更加深远,但只要我们保持清醒和从容,就一定能开创美好的未来。
AI 将深刻改变世界,我们必须直面风险,但也要相信人性终将战胜一切。只要我们坚守信念,开放心态, AI 终将造福人类。