EXL 解读如何设计可持续的 AI 服务框架
EXL 研究人员在 "Engineering the Harness" 系列中探讨企业 AI 的服务框架设计，指出生产环境的竞争关键已从模型能力转向围绕模型的工程系统。
#部署/工程
MIT Technology Review · AIAI 评分2020 Latent SpaceAI 评分5050 Modal CEO Erik Bernhardsson 谈 AI 算力为何是矩形：GPU 需求与弹性基础设施经济学
Modal CEO Erik Bernhardsson 在访谈中解释 AI 算力需求为何不呈矩形：真实负载会随时间增长、尖峰和回落，固定 GPU 合约会导致闲置或短缺。Modal 通过聚合数千客户需求、在底层锁定容量并按需弹性分配来平滑总需求。Modal 已跨过 10 亿美元年化收入、以 160 亿美元估值完成 7.5 亿美元 D 轮融资，并启动近 30 亿个 sandbox。
MIT Technology Review · AIAI 评分1818 Celonis 首席科学家 Devavrat Shah 谈企业 AI 为何需要上下文感知
Celonis 企业 AI 首席科学家 Devavrat Shah 提出“决策智能”，主张 AI 智能体必须理解任务在业务流程中的角色与约束，否则会遗漏关键限制、犯错或耗费过多算力。他建议企业从具体业务决策入手，先找出最难的环节再测试 AI 能否改进，并以速度与价值增益决定是否扩展。
MIT Technology Review · AIAI 评分2222 AI 推理的隐性存储账单：模型响应后留下了什么
WD 内部测量显示，一段 8 秒 AI 视频（用户拿到的是 3.97MB 720p 文件）在后端留下超过 500MB 关联数据，是输出文件体积的 130 倍。WD 委托 IDC 对 763 名 IT 与业务决策者的调查中，近 95% 称过去 12 个月生成式 AI 导致数据量增长，约 61% 增幅达 25% 以上。
MIT Technology Review · AIAI 评分1818 企业 AI 的新经济学：HPE 谈如何衡量 AI 的有效成本
HPE 提出企业 AI 应从"每个 token 或 GPU 小时多少钱"转向"每个有用产出的有效成本"，即完成可用工作所需的平台、模型、运维与算力总成本。企业可选自建栈、按需消费或集成私有 AI 平台三条路径，HPE Private Cloud AI 将调度、模型选择、GPU 切分与缓存管理作为运营杠杆，并附 90 天前驻工程师服务。
Import AIAI 评分5050 Import AI 474：Platonic mindspace、太空中的 TPU、智谱启动外层 RSI 循环
Import AI 第 474 期介绍了 Michael Levin 关于"Platonic mindspace"的论文，提出心智是嵌入物理世界的非物理模式，身体与机器只是接口。同期内容还涉及太空中的 TPU，以及智谱启动外层 RSI 循环。
Berkeley AI ResearchAI 评分3838 智能免费之后怎么办？面向智能体、由智能体构建的数据系统
UC Berkeley 的 Aditya G. Parameswaran 等人提出，推理成本已从 GPT-4 级约 $30/百万 token 降至不到 $1，部分厂商低于 $0.10，年降幅中位数约 50x，数据系统需围绕智能体重构。
Berkeley AI ResearchAI 评分3636 自适应并行推理：高效推理扩展的下一个范式
伯克利 AI 研究团队综述了并行推理领域进展，重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开启多少并发线程以及如何协调。文章对比了 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild!