Modal CEO Erik Bernhardsson 谈 AI 算力为何是矩形:GPU 需求与弹性基础设施经济学
Modal CEO Erik Bernhardsson 在访谈中解释 AI 算力需求为何不呈矩形:真实负载会随时间增长、尖峰和回落,固定 GPU 合约会导致闲置或短缺。Modal 通过聚合数千客户需求、在底层锁定容量并按需弹性分配来平滑总需求。Modal 已跨过 10 亿美元年化收入、以 160 亿美元估值完成 7.5 亿美元 D 轮融资,并启动近 30 亿个 sandbox。
Modal CEO Erik Bernhardsson 在访谈中解释 AI 算力需求为何不呈矩形:真实负载会随时间增长、尖峰和回落,固定 GPU 合约会导致闲置或短缺。Modal 通过聚合数千客户需求、在底层锁定容量并按需弹性分配来平滑总需求。Modal 已跨过 10 亿美元年化收入、以 160 亿美元估值完成 7.5 亿美元 D 轮融资,并启动近 30 亿个 sandbox。
Moshi CEO Anekha Sokhal 在 AI Engineer New York 播客中讲述从数学、JPMorgan 能源衍生品交易到创业的路径,以及 Moshi 如何为交易员做市场信息推荐引擎。
Celonis 企业 AI 首席科学家 Devavrat Shah 提出“决策智能”,主张 AI 智能体必须理解任务在业务流程中的角色与约束,否则会遗漏关键限制、犯错或耗费过多算力。他建议企业从具体业务决策入手,先找出最难的环节再测试 AI 能否改进,并以速度与价值增益决定是否扩展。
MIT Technology Review 文章指出,OpenAI Dots、Meta Muse 等个人 AI 智能体大规模上线后,正成为人类与机器人之外的第三类网页访客,Muse 首月下载量达 500 万次,8 月至 9 月智能体网页流量增长两倍。
微软研究院播客对话 partner research manager Jennifer Neville,讨论评估如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的曲折经历,分享使用当前 AI 系统的实用建议,并强调结果偏离预期时应仔细检查数据。
Import AI 475 期讨论了群体(swarm)扩展作为新型推理扩展方式:4 智能体群体完成任务所需 token 总量约为单智能体的两倍,但每个智能体只需一半 token,并行运行理论上可将耗时减半。
Import AI 第 474 期介绍了 Michael Levin 关于"Platonic mindspace"的论文,提出心智是嵌入物理世界的非物理模式,身体与机器只是接口。同期内容还涉及太空中的 TPU,以及智谱启动外层 RSI 循环。
UC Berkeley 的 Aditya G. Parameswaran 等人提出,推理成本已从 GPT-4 级约 $30/百万 token 降至不到 $1,部分厂商低于 $0.10,年降幅中位数约 50x,数据系统需围绕智能体重构。