写作背景：Anthropic CEO Dario Amodei 在 Claude opus 3.5 发布前写了一篇非常长的文章来介绍未来强人工智能（他不愿意把这个叫AGI）对人类的积极影响。 他对人工智能的限制因素及未来的应用场景做了描述，很有意思。
什么是强人工智能？
-
在纯粹的智力方面,它比大多数相关领域的顶尖专家更聪明。
-
可以接受需要数小时、数天甚至数周才能完成的任务
-
没有物理实体(除了存在于计算机系统中),但可以通过计算机控制现有的物理工具、机器人或实验室设备。
-
训练数据可以复用于数百万个实例，实例间可以协同。
受限制的因素
-
外部世界的速度。智能体需要在现实世界中互动才能完成任务和学习。但现实世界的运转速度是有限的。
-
数据需求。有时候,原始数据的缺乏会成为瓶颈,在这种情况下,再高的智能也无济于事。
-
内在复杂性。有些系统本质上是不可预测或混沌的,即使是最强大的 AI 也无法比现有的人类或计算机做出更好的预测或解析。
-
人为限制。很多事情不能在不违法、不伤害他人或不破坏社会秩序的前提下完成。一个经过良好调校的 AI 不会想要做这些事。
-
物理定律。这是对第一点的进一步强调。有些物理定律似乎是不可违背的。
应用场景
- 生物学和身体健康
- 神经科学和心理健康
- 经济发展和减贫
- 和平与治理
- 工作和人生意义
一些启示
-
对于科学方面的促进方式，AI 可能不只会扮演一个数据分析工具的角色，而是会成为一个真正的专家，比如一个卓越的、擅长于创新研究方法研究范式和研究工具的生物学家。从过往看，先进的研究方法论应用于实践的时间往往有很长时间的滞后，真正的颠覆创新往往也不在于大资金关注的领域。AI 正可以补充这些方面，让角落里的创新快速迭代和应用。
-
对于人体和精神的研究可以实实在在促进人类的幸福，特别是如果可以相对快速地提高寿命延长的速度，也许部分人可以突破逃逸速度，这对科技的发展将是决定性的。
-
Web 时代的互联网并没有让世界变得更加和平和民主，一定程度上互联网技术可能更有利于威权主义。AI 也有这种倾向，本质上它只是一个工具，需要被正确的人使用。如果一种价值倾向是对的，那它的倡导者必须取得在 AI 上的领先，并通过持续领先、持续创造价值来吸引更多的追随者，迫使落后价值观的倡导者被迫跟随。有点像原子能计划，只有认同某一种拥核观念的国家才能得到资助，其他要以之为武器的国家将会被排斥，迫使这些国家放弃不良应用，换取民用科技的进步。
-
从人的意义上来说，短期人相对于 AI 还有相对优势，部分人可以找到独特的意义，但是从长期看，如果 AI 已经能够主导绝大部分生产和创造工作，我们的政治经济体制和价值取向确实会迎来重大的改变。