Skip to content
PodSubs
ShowsPeopleGuestsJobsNewsEvents
More
BlogPodCred
Menu
ShowsPeopleGuestsJobsNewsEventsBlogPodCredNetworksSign in
Join nowSign in
  • Shows
  • People
  • Jobs
  • News
  • More
    • Guests
    • Events
    • Blog
    • PodCred
    • Networks
    Join nowSign in

What's Next|科技早知道

What's Next|科技早知道 artwork

GTC 2026:AI的下一个战场不是模型,而是「推理系统」| S10E04

Mar 25, 202659 minAudio
ShareXLinkedInFacebookWhatsAppEmail

2026 年 3 月,英伟达年度开发者大会 GTC 在美国 San Jose 开幕。这一年的 GTC 气氛与往年明显不同 - - 黄仁勋不再需要向市场证明 AI 的价值,因为 Agent 爆发和开源模型崛起已经让算力需求成为行业共识,Token 消耗量正在以百倍速度增长。 本期节目,Diane 在 GTC 现场为大家带来了第一手的观察,也专访了推理优化初创公司 Eigen AI 的联合创始人。Eigen AI 由三位 MIT 背景的创始人于 2024 年中创立,主攻开源大模型的推理加速与企业定制化部署。这次 GTC,他们的推理速度跑分直接登上了黄仁勋 Keynote 的大屏幕,是当前推理速度最快的团队之一。 节目里我们深入聊了为什么推理层正在成为 AI 行业最重要的竞争战场、GPU 和 LPU 各自在推理过程中扮演什么角色、英伟达斥资约 200 亿美元收购 Groq 背后的战略逻辑,以及当前 AI 应用的商业模式为何正在面临系统性挑战。 本期人物 丁教 Diane,「声动活泼」联合创始人、「科技早知道」主播 Di Jin,Co-founder at Eigen AI 主要话题 [00:11] 今年 GTC 最大的不同是什么? 黄仁勋状态明显更放松,不再需要向市场"推销" AI 的价值 Agent 爆发让 Token 消耗量指数级增长,算力需求已成行业共识 开源模型崛起打开了推理层的商业空间,这一层开始变得关键 [09:13] Eigen 是一家什么样的公司,在做什么? 三位 MIT 背景创始人,专攻模型压缩与推理加速 Post Training 帮企业定制模型,Inference 加速让模型跑得更快更便宜 GTC 开幕前两天完成技术突破,推理速度登上黄仁勋 Keynote 大屏幕 [13:24] 过去一年 AI 行业最大的结构性变化是什么? 模型训练层高度集中,GPU 成本比人才成本贵 10 到 100 倍,中小公司已基本出局 Reasoning(推理时扩展)成为新的性能提升路径,让固定模型通过多花算力输出更好结果 Agent 工作流让 Token 消耗量远超对话场景,推理层的优化价值随之暴增 [23:34] 英伟达为什么要花约 200 亿美元收购 Groq?GPU 和 LPU 各自擅长什么? AI 生成回答分两阶段:读懂问题(Prefill)适合 GPU 并行处理,逐字生成答案(Decoding)适合 LPU 串行提速 当前最快模型约每秒 1000 个 Token,Agent 场景未来可能需要每秒 10000 个,GPU 单独难以跨越这道坎 GPU 负责前段、LPU 接手后段,两者组合是目前长序列推理的最优解 [34:04] 推理优化的技术路径有哪些,分几个层次? 底层是 CUDA 算子优化,针对不同模型的矩阵计算特点做精细调整 中间层包括量化(降低数字精度)、剪枝(删除冗余专家模块)、投机解码(小模型预测 + 大模型验证) 最上层是调度与路由,核心是把请求打到存有对应 KV Cache 的 GPU 上,避免重复计算 [44:05] 推理优化怎么在速度、精度和成本之间做取舍? 完全不掉精度、少量掉精度、需要后训练恢复精度,三类方案对应不同客户需求 对话场景最看重 TTFT(第一个字的响应时间),Agent 场景更看重整体任务完成时间 语音交互场景存在天花板:模型再快也超不过人能听懂的速度,快到一定程度就没有意义了 [47:28] AI 应用的商业模式为什么正在出现系统性问题? SaaS 订阅制是历史遗留:以前软件边际成本接近零,现在每用一次 AI 都在真实烧钱 重度用户轻松"用穿"月度套餐,公司不得不限流,引发用户强烈反弹 更合理的方向是按任务完成量收费,但用户心理锚点还没有完成迁移,行业仍在震荡期 [53:52] 开源模型能追上闭源模型吗?推理层未来最大的机会在哪? 行业最大的非共识:开源模型到底能不能真正追上闭源,以及 AGI 算不算已经到来 推理层几乎只能服务开源模型,开源能力的拐点直接决定这个赛道的天花板 一旦开源模型达到拐点,Token 将像电力一样渗透各行各业,推理层的市场规模将彻底打开 黄仁勋的「AI 五层蛋糕」模型 名词解释 LPU(Language Processing Unit) Groq 公司研发的专用芯片,专为大语言模型的文字生成(Decoding)环节优化,通过把高带宽内存直接集成在芯片上,大幅提升了逐字生成的速度,但牺牲了通用性。 TPU(Tensor Processing Unit) 谷歌专为自身 AI 需求定制的芯片,性能强劲且价格相对便宜,但目前仅面向 OpenAI、Anthropic 等少数大型客户供货,缺乏开放的开发者生态。 Quantization(量化) 降低模型内部数字精度以节省存储和计算量的技术。好比把精确到小数点后 10 位的数字改写成精确到 2 位 - - 计算量大幅下降,但对最终输出影响有限。精度从高到低依次为 FP32、BF16、INT8、INT4,越低效率越高,但掉点风险也越大。 Pruning(剪枝) 识别并删除模型中冗余参数或模块的技术。以 MoE 架构为例,模型内部有大量从未被有效训练的"伪专家",将其删除后模型精度几乎不受影响,但推理速度和效率显著提升。 Speculative Decoding(投机解码) 先用小模型快速"草拟"若干 Token,再让大模型批量验证并决定是否采纳的加速技术。当草稿被采纳的概率足够高时,整体推理速度可提升 50% 以上。 KV Cache(键值缓存) AI 在生成回答过程中,将对前文的"理解结果"缓存起来,避免每次都重新读取和计算全部历史内容。合理调度 KV Cache 是 Agent 场景下降低延迟和成本的关键技术之一。 MoE(Mixture of Experts,专家混合架构) 模型内部由多个"专家"子模块组成,每次推理只激活其中最匹配当前任务的少数几个。DeepSeek、Qwen 等主流开源模型均采用此架构,可在维持大参数量的同时显著降低实际计算开销。 SLA(Service Level Agreement,服务水平协议) 对服务质量的量化约定,例如"首字响应时间不超过 300 毫秒"或"每秒至少输出多少个 Token"。推理层的大多数技术决策,都是围绕在成本约束下满足客户 SLA 要求来展开的。 TTFT(Time to First Token,首字时延) 从用户发出请求到收到第一个输出字符的时间间隔。对话类产品中这一指标最为关键,直接影响用户对系统响应速度的主观感受。 「Knock Knock 世界」 上周「Knock Knock 世界」更新了「数字收藏」话题:一段视频、一个表情为什么也能成为博物馆的收藏品?点击这里收听节目👉https://sourl.co/8F55vV 「Knock Knock 世界」是一档适合9岁以上青少年收听的播客,你可以听到全球新鲜事,还能成为「全球观察员」,报选题、参加选题会。2026 年的节目正在持续更新中,可以在各大音频平台搜索订阅。 幕后制作 监制:Yaxian 后期:迪卡 运营:George 设计:饭团 商业合作 声动活泼商业化小队,点击链接直达声动商务会客厅(https://sourl.cn/9h28kj ),也可发送邮件至 business@shengfm.cn 联系我们。 加入声动活泼 声动活泼目前开放商务合作实习生、社群运营实习生和 BD 经理等职位,详情点击招聘入口详情点击招聘入口 关于声动活泼 「用声音碰撞世界」,声动活泼致力于为人们提供源源不断的思考养料。 我们还有这些播客:声动早咖啡、声东击西、吃喝玩乐了不起、反潮流俱乐部、泡腾 VC、商业WHY酱、跳进兔子洞 、不止金钱 欢迎在即刻、微博等社交媒体上与我们互动,搜索 声动活泼 即可找到我们。 期待你给我们写邮件,邮箱地址是:ting@sheng.fm 欢迎扫码添加声小音,在节目之外和我们保持联系。 Special Guest: Di Jin.

Audio and video play straight from the show's own hosting. PodSubs stores and serves no media.

Hosts and Guests

Hosts

  • 边江 Host Feed-stated

Guests

  • Di Jin Guest Feed-stated

Credit the people on this episode

Be the first to rate this episode

More episodes

All episodes
  1. 当 AI 研发下一代 AI,人类研究员还剩下什么?|S10E36

    Nov 18, 202650 minAudio

    如果有一天,AI 不仅能够回答问题、编写代码,还能够参与研发下一代 AI,甚至不断改进自己,人工智能的发展速度会发生怎样的变化?最近半年, RSI(Recursive Self-Improvement,递归自进化)的研究方向受到越来越多的关注。它描绘了一种可能的未来:AI 参与研发更强大的 AI,而新一代 AI 又能够进一步提升研发效率,形成持续迭代的循环。...

    Credit the people on this episode

  2. 通用 AI 助手走向大众,垂直 Agent 的机遇藏在哪里?|对话小影科技韩晟 S10E35

    Nov 9, 202638 minAudio

    最近,Personal Agent 开始成为 AI 行业的新热点。它们能够理解用户的个人习惯和需求,连接不同工具,甚至主动替用户处理购物、生活服务和工作中的复杂任务。但当一个通用 Agent 遇到专业任务时,是否什么都能做好?未来的通用 Agent 和垂直领域的专业 Agent,又会如何分工与协作? 视频创作就是一个很有代表性的场景。从过去需要用户自己操作剪辑工具,到今天只需告诉 AI 想要什么,Agent...

    Credit the people on this episode

  3. Anthropic冲刺IPO:2万亿美元估值贵不贵?拆解Claude的增长、成本与竞争|S10E34

    Oct 30, 20261 hr 2 minAudio

    一家成立只有五年的公司,能否撑起2万亿美元的估值预期?2026年10月26日,Claude背后的公司Anthropic公开了IPO招股书。2026年上半年,它的收入接近163亿美元,约为上年同期的14倍;截至9月底,净收入留存率达到约900%。这些数字让外界看到了AI需求的增长,也带来了新的问题:客户会一直增加使用量吗?模型领先能维持多久?如果收入增长放缓,提前锁定的算力成本又该如何消化?...

    Credit the people on this episode

  4. 从免费披萨到订错机票:硅谷创业者正在解决 Agent 的哪些麻烦? | 硅谷线下活动 S10E33

    Oct 22, 202636 minAudio

    最近几个月,像 Meta 的 Muse,OpenAI 的 Dots 这样的 Personal agent 产品大火。模型不仅越来越擅长调用工具、规划任务,也开始能够执行数百甚至上千个步骤的复杂工作。但当 AI 真正进入现实世界,问题也随之出现:订错机票怎么办?执行到一半忘记了原本的任务怎么办?如果 Agent...

    Credit the people on this episode

  5. 用光调控神经细胞:今年诺贝尔奖如何改变我们对情绪的理解? | 串台「声东击西」S10E32

    Oct 16, 20261 hr 41 minAudio

    2026...

    Credit the people on this episode