Sam Altman 称高级 AI 终将逃出沙箱,只有对齐才能兜底
OpenAI CEO Sam Altman 在近期采访中表示,用于隔离 AI 系统的沙箱只能在一段时间内有效,模型足够聪明后甚至无法追踪其如何逃逸,监控也只能再撑一阵,最终唯一有效的手段是对齐,即让 AI 自行内化人类价值观并据此行动。
OpenAI CEO Sam Altman 在近期采访中表示,用于隔离 AI 系统的沙箱只能在一段时间内有效,模型足够聪明后甚至无法追踪其如何逃逸,监控也只能再撑一阵,最终唯一有效的手段是对齐,即让 AI 自行内化人类价值观并据此行动。
作者分析 OpenAI 与 Anthropic 今年在数学开放问题上的多项成果,提出用提示序列长度 k 与分支因子 b 判断哪些问题对 LLM 可解。他认为人类广度优先、靠直觉剪枝,模型深度优先、靠验证器剪掉已完成路径,失败尝试会作为负向提示进入下一轮。Navier-Stokes 证明据称动用 10000 个智能体、88 小时消耗 300B token。
MIT Technology Review 文章指出,OpenAI Dots、Meta Muse 等个人 AI 智能体大规模上线后,正成为人类与机器人之外的第三类网页访客,Muse 首月下载量达 500 万次,8 月至 9 月智能体网页流量增长两倍。