Sam Altman 称高级 AI 终将逃出沙箱,只有对齐才能兜底
OpenAI CEO Sam Altman 在近期采访中表示,用于隔离 AI 系统的沙箱只能在一段时间内有效,模型足够聪明后甚至无法追踪其如何逃逸,监控也只能再撑一阵,最终唯一有效的手段是对齐,即让 AI 自行内化人类价值观并据此行动。
OpenAI CEO Sam Altman 在近期采访中表示,用于隔离 AI 系统的沙箱只能在一段时间内有效,模型足够聪明后甚至无法追踪其如何逃逸,监控也只能再撑一阵,最终唯一有效的手段是对齐,即让 AI 自行内化人类价值观并据此行动。
作者分析 OpenAI 与 Anthropic 今年在数学开放问题上的多项成果,提出用提示序列长度 k 与分支因子 b 判断哪些问题对 LLM 可解。他认为人类广度优先、靠直觉剪枝,模型深度优先、靠验证器剪掉已完成路径,失败尝试会作为负向提示进入下一轮。Navier-Stokes 证明据称动用 10000 个智能体、88 小时消耗 300B token。
EXL 研究人员在 "Engineering the Harness" 系列中探讨企业 AI 的服务框架设计,指出生产环境的竞争关键已从模型能力转向围绕模型的工程系统。
Modal CEO Erik Bernhardsson 在访谈中解释 AI 算力需求为何不呈矩形:真实负载会随时间增长、尖峰和回落,固定 GPU 合约会导致闲置或短缺。Modal 通过聚合数千客户需求、在底层锁定容量并按需弹性分配来平滑总需求。Modal 已跨过 10 亿美元年化收入、以 160 亿美元估值完成 7.5 亿美元 D 轮融资,并启动近 30 亿个 sandbox。
Armin Ronacher 在 10 月 22 日的一句评论被 Simon Willison 引用:AI 固然有趣,但过去 30 年我们造了太多糟糕的软件,如今宇宙正在惩罚我们的罪过。该引用由 Simon Willison 于同日发布在其博客上。
Moshi CEO Anekha Sokhal 在 AI Engineer New York 播客中讲述从数学、JPMorgan 能源衍生品交易到创业的路径,以及 Moshi 如何为交易员做市场信息推荐引擎。
Celonis 企业 AI 首席科学家 Devavrat Shah 提出“决策智能”,主张 AI 智能体必须理解任务在业务流程中的角色与约束,否则会遗漏关键限制、犯错或耗费过多算力。他建议企业从具体业务决策入手,先找出最难的环节再测试 AI 能否改进,并以速度与价值增益决定是否扩展。
微软研究院播客对话 Catalyst Lab 负责人 Chris White,回顾他从 DARPA 项目博士后到阿富汗战场先进技术负责人、再到暗网搜索工具开发者的经历。该工具用于协助打击人口贩运,他因此获得 2016 年美国总统打击人口贩运杰出贡献奖。节目还讨论创新中的问题选择,以及见证人性阴暗面后如何保持希望。
HPE 提出企业 AI 应从"每个 token 或 GPU 小时多少钱"转向"每个有用产出的有效成本",即完成可用工作所需的平台、模型、运维与算力总成本。企业可选自建栈、按需消费或集成私有 AI 平台三条路径,HPE Private Cloud AI 将调度、模型选择、GPU 切分与缓存管理作为运营杠杆,并附 90 天前驻工程师服务。
Import AI 作者在曼谷 IMF 会议上发表 Per Jacobsson 演讲,称今年已获得令人信服的证据表明奇点已经开始。他以 Anthropic 内部研究人员的代码产出接近公司前四年 10 倍为例,说明 AI 已在软件开发等领域达到超越多数人类工程师的水平。演讲重点讨论人类如何通过远见与克制共享 AI 带来的科学进步红利。
微软研究院播客对话 partner research manager Jennifer Neville,讨论评估如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的曲折经历,分享使用当前 AI 系统的实用建议,并强调结果偏离预期时应仔细检查数据。
Import AI 475 期讨论了群体(swarm)扩展作为新型推理扩展方式:4 智能体群体完成任务所需 token 总量约为单智能体的两倍,但每个智能体只需一半 token,并行运行理论上可将耗时减半。
RAND 发布报告提出美国应以“自由行动”战略应对通往超级智能的不确定性,核心是保留选项而非锁定单一路线。报告归纳了共存、遏制、加速三类共七种原型策略,并列出危险临近程度、共存可行性等五项关键不确定性。同期内容还涉及在小鼠大脑中培育人脑组织,以及机器诠释学话题。
UC Berkeley 的 Aditya G. Parameswaran 等人提出,推理成本已从 GPT-4 级约 $30/百万 token 降至不到 $1,部分厂商低于 $0.10,年降幅中位数约 50x,数据系统需围绕智能体重构。