Skip to content
PodSubs
ShowsPeopleGuestsJobsNewsEvents
More
BlogPodCred
Menu
ShowsPeopleGuestsJobsNewsEventsBlogPodCredNetworksSign in
Join nowSign in
  • Shows
  • People
  • Jobs
  • News
  • More
    • Guests
    • Events
    • Blog
    • PodCred
    • Networks
    Join nowSign in

硅谷101

硅谷101 artwork

E246|何谓蒸馏?聊聊硅谷如何看中国开放模型逼近前沿

Aug 1, 20261 hr 7 minAudio
ShareXLinkedInFacebookWhatsAppEmail

7月27日,月之暗面正式发布Kimi K3的完整模型权重。自7月16日API上线以来,K3就在在多项测试中展现出接近前沿模型的能力。因此,它成为了硅谷最近讨论开源时的重要案例之一。从2025年初的DeepSeek时刻,到当下的Kimi K3,中国开源模型正在从成本更低、能力稍弱的替代品,逐渐逼近甚至超过最强的闭源前沿模型。 随之而来的,是一场越来越激烈的蒸馏争论。什么是蒸馏?通过闭源模型的输出进行训练,和未经授权的大规模能力提取,有什么区别?即使中国实验室使用过美国模型生成的数据,它又究竟能解释多少最终能力? 本期播客,我们邀请到两位嘉宾来分别从开源生态和企业的视角,讨论这一波中国开源模型的影响:前Hugging Face亚太开源生态负责人王铁震,和TinyFish联合创始人Keith Zhai。 我们从K3带给硅谷的挑战聊起,讨论了为什么把中国模型的进步全部归因于蒸馏,实际上忽略了架构、强化学习、数据工程和推理基础设施上的创新。而当蒸馏从一种中性的训练技术,变成商业竞争和政策讨论中的指控时,争议的核心又变成了什么? 在此之外,我们也讨论了K3针对大型推理服务商设计的商业授权:当开源权重模型持续压低成本,它会如何冲击OpenAI、Anthropic等闭源实验室的商业模式?当模型能力逐渐商品化,未来AI行业的价值会流向模型本身、推理基础设施,还是Agent与企业工作流? 注:本期播客中提到的“开源”,更准确地说是开放权重(open weights)。K3官方称自己为开放模型,它使用的是Kimi K3 License,不是标准 MIT/Apache 这类完全开放的OSI license。 【主播】 Yiwen,硅谷101特约研究员 【嘉宾】 王铁震,Hugging Face前亚太生态负责人 Keith Zhai,TinyFish联合创始人 【你将听到】 中国开放模型,硅谷怎么看? 01:45 Kimi K3为什么突然成为硅谷关注的焦点? 03:33 从DeepSeek、GLM到K3:硅谷对中国模型的判断如何变化 06:51 企业为什么开始转向中国模型 10:23 中国开放模型推理成本 蒸馏争端始末 13:24 蒸馏争议:到底什么是蒸馏? 17:22 K3是否可能在短时间内蒸馏最强闭源模型? 19:48 蒸馏能解释模型的核心能力吗? 开放模型对闭源商业模式的影响 23:54 K3 License与开放模型商业化 34:27 开放模型会怎样冲击OpenAI和Anthropic的收入与估值? 37:39 英伟达为什么支持开放权重 43:41 中国公司为什么选择开放 强大的开放能力下,Agent生态如何变化? 45:04 Thinking Machines为什么开放权重? 48:39 开放模型催生的新生态 48:43 OpenRouter等多模型平台为什么开始受益? 49:56 对Agent产品和基础设施的影响 开放模型的安全之争 55:40 接近前沿的模型,到底应不应该开放权重? 01:04:01 开源和闭源模型,谁更容易被滥用? 【延伸阅读和相关术】 Kimi K3官方技术报告与模型权重 Kimi K3授权协议 Anthropic对蒸馏攻击的指控 《开放权重与美国AI领导力》 【相关术语】 开放权重(Open Weights):指模型开发者公开模型训练完成后的参数文件,允许用户下载模型,并在自己的设备或云端进行部署、推理、微调或进一步开发。开放权重并不意味着训练数据、训练代码和完整训练流程也同时公开,具体使用方式还会受到模型授权协议的限制。 开源模型(Open-Source Models):通常指不仅公开模型权重,还公开足以让外部开发者研究、修改和复现模型的更多组成部分,例如训练代码、模型架构、数据处理方法、训练流程,以及在部分情况下使用的训练数据。由于大模型很少完整披露所有训练材料,目前业界对什么样的模型可以被严格称为“开源”仍存在争议。 思维链(Chain of Thought):指模型在生成最终答案之前,用一系列中间步骤拆解问题、组织信息和进行推理的过程。 规模扩展效率(Scaling Effiency):指模型将计算资源转化为能力提升的效率,也就是在使用相同或更少的算力、数据或训练成本时,能否获得更好的模型表现。 键值缓存(KV Cache):指模型在处理上下文和生成内容时,保存此前token在注意力计算中产生的Key和Value数据。这样,模型在生成下一个token时不必重新计算全部历史内容,可以显著降低重复计算,提高生成速度;但上下文越长,KV Cache占用的内存通常也越大。 【硅谷101正在招聘】 《硅谷101》招聘多个全职岗位,欢迎加入我们的超酷的深度内容工作团队! 👉🏻点击查看招聘详情 【监制】 泓君 【后期】 Amei 【运营】 朱婕 【BGM】 Kablaam - Ealot Flickering Torches - Christian Andersen Radar Focus - Blue Saga Pulse Runner - Helmut Schenker 【在这里找到我们】 公众号:硅谷101 收听渠道:Apple Podcast|Spotify|小宇宙|喜马拉雅|蜻蜓FM|荔枝FM|网易云音乐|QQ音乐 其他平台:YouTube|Bilibili 搜索「硅谷101播客」 联系我们:podcast@sv101.net Special Guests: Keith Zhai and 王铁震.

Audio and video play straight from the show's own hosting. PodSubs stores and serves no media.

Hosts and Guests

Hosts

  • Yiwen Host Feed-stated

Guests

  • Keith Zhai Guest Feed-stated
  • 朱哲清 Guest Feed-stated

Credit the people on this episode

Be the first to rate this episode

More episodes

All episodes
  1. E258|聊聊硅谷创业“修道院”HF0与OpenRouter早期故事

    Nov 9, 202654 minAudio

    HF0正在成为硅谷最难进入的“孵化器”,在旧金山的核心地带,有一栋建于1904年的大主教府邸,如今它是驻地创业加速项目HF0(Hacker Fellowship Zero)的驻扎地。HF0由Dave Fontenot创立,每年只开3期,每期只招收10个团队。入选的创业者会在这里共同度过12周封闭生活。大宅提供全包式生活服务,力图消除一切外在琐事和干扰,让创业者心无旁骛地专注于产品。...

    Credit the people on this episode

  2. E257|对话Vitalik:AI安全背后的哲学思想,有效利他主义如何影响硅谷?

    Oct 28, 20261 hr 53 minAudio

    怎样用有限的钱帮助更多人?有效利他主义(Effective Altruism,简称“EA”),就是从这个朴素的问题出发,推动人们比较不同慈善项目的效果,从捐赠蚊帐、预防疟疾,到后来投入数亿美元研究AI安全。...

    Credit the people on this episode

  3. E256|Agent、机器人与制药,谁先被GPT-6 Astra改写?

    Oct 19, 20261 hr 20 minAudio

    回顾9月,AI圈的重磅新闻一个接一个。 先是OpenAI发布GPT-6 Astra,总裁格雷格·布罗克曼在发布会上宣布:AGI已经到来。 这场发布对机器人行业的冲击,来得有些意外,一个发布会报告里只字未提机器人的通用模型,转身就空降了机器人评测榜首,甚至让很多机器人的Benchmark都失效了。有人开玩笑说:机器人领域等了这么多年的“GPT时刻”,居然是GPT自己。 同样在这个月里:Meta Muse冲上美国App...

    Credit the people on this episode

  4. E255|模型越来越强,为什么用户没感觉?再访阿里国际站总裁张阔

    Oct 8, 202646 minAudio

    模型在榜单上越来越强,为什么真正把工作交给AI,还是需要人反复解释、检查和兜底? 半年前,我们与阿里国际站总裁张阔聊了Accio Work,以及Agent如何参与采购和日常经营。半年后,我们再次请到他,聊聊这半年来商家使用Accio Work的真实案例,试图回答这个问题:模型能力的提升,究竟有多少变成了商家工作里的进步?...

    Credit the people on this episode

  5. E254|超级厄尔尼诺来了,我们的日常所需真会因它涨价吗?

    Sep 29, 20261 hr 2 minAudio

    这个夏天,来自全球各地的多个气象机构都拉响了同一个警报,一场史无前例的超级厄尔尼诺正在上演。 来自摩根大通的经济学家预计,全球的食品通胀将在2027年的上半年上升到5%,明显高于今年同期的2.8% 。这其中有来自霍尔木兹海峡封锁和黑海冲突的因素,也部分归因于我们正身处的这场、50年来颇为罕见的超级厄尔尼诺。...

    Credit the people on this episode