月之暗面杨植麟:提升深度推理能力是AI产品的下一个重点
作者: 澎湃新闻 日期:2024-11-19 17:39 阅读:0 来源:澎湃新闻
据澎湃新闻报道,“如果说长文本是月之暗面登月的第一步,那么提升模型深度推理能力则是第二步。”11月16日,正值月之暗面Kimi Chat向全社会开放服务一周年之际,月之暗面创始人杨植麟接受了包括澎湃科技在内的媒体采访。他认为AI产品包括AI技术接下来发展的重要能力应是更加深度的推理能力,能够把现在只是短链路的简单问答,变成更长链路的组合式的任务操作。
据介绍,月之暗面在未来一两周内将上线新一代数学推理模型k0-math,对标OpenAI o1系列可公开使用的两个模型:o1-mini和o1-preview。目前,在中考、高考、考研以及包含入门竞赛题的MATH等4个数学基准测试中,k0-math初代模型成绩超过了OpenAI o1系列的o1-mini和o1-preview模型。在两个难度更大的竞赛级别的数学题库OMNI-MATH和AIME基准测试中,k0-math初代模型的表现分别达到了o1-mini最高成绩的90%和83%。
杨植麟表示,数学产品是最适合让AI锻炼思考能力的场景,数学模型在教育产品上也有非常大的价值。
自从两年前ChatGPT发布后,通过增加更多数据和计算能力来“扩大”当前模型,便能持续改进模型的能力,即所谓的Scaling law(尺度定律)几乎成为业内共识。但日前OpenAI原首席科学家伊利亚·苏茨克维(Ilya Sutskever)公开表示,扩大预训练的结果已经达到了平台期,“2010年代是规模扩大的时代,现在人们又回到了奇迹和发现的时代。每个人都在寻找下一个东西。”
在杨植麟看来,AI的发展就像在荡秋千,在两种状态之间来回切换,“一种是算法、数据准备好了,但算力不够。”他认为,从Transformer架构诞生到GPT4的出现,更多的矛盾在于如何扩大规模(Scale),在算法和数据上不存在本质问题。但是到了今天,规模已经到达了一定的程度,会发现再加更多的算力,也不一定能解决问题,其中核心问题是没有高质量的数据。这时要做的事便是改变算法,突破瓶颈。现在这是他所在的公司乃至整个行业都面临的共同问题。“好的算法能够释放Scaling的潜力,让模型持续变得更好。”他认为,强化学习是接下来很重要的一个趋势。
但杨植麟也认为当下预训练还有空间,“半代到一代的模型,这个空间明年会释放出来,明年我觉得领先的模型会把预训练做到极致,但接下来最重点的东西会在强化学习上,但它还是Scale,只是用不同的方式去Scale。”
针对近期国内开始出现了一些AI创业公司被收购、人才回流大厂的现象,杨植麟表示,这是一个必然的规律,说明行业发展到了新的阶段,“一开始很多公司在做,现在只有少数公司在做,接下来可能大家做的东西也会逐渐不一样,我觉得这是一个可能必然的规律。”
杨植麟还透露,从今年上半年开始,月之暗面开始缩减业务,聚焦Kimi,“我们一开始确实也尝试过几个产品一起做,但到后来发现还是要聚焦,把一个产品做到极致是最重要的,砍业务本质上也是为了控制人数,不希望人数增长太快,我们始终保持卡和人的比例是最高的,团队扩大对于创新也有致命的伤害。”当下,月之暗面最核心的任务就是提升用户留存率。
月之暗面成立于2023年4月,法定代表人杨植麟毕业于清华大学。据了解,该公司打造的对话式AI助手产品Kimi上线一年以来,每月用户量达到了3600万人。
版权声明
1. 未经《新西兰天维网》书面许可,对于《新西兰天维网》拥有版权、编译和/或其他知识产权的任何内容,任何人不得复制、转载、摘编或在非《新西兰天维网》所属的服务器上做镜像或以其他任何方式进行使用,否则将追究法律责任。
2. 在《新西兰天维网》上转载的新闻,版权归新闻原信源所有,新闻内容并不代表本网立场。
版权声明
1.
未经《新西兰天维网》书面许可,对于《新西兰天维网》拥有版权、编译和/或其他知识产权的任何内容,任何人不得复制、转载、摘编或在非《新西兰天维网》所属的服务器上做镜像或以其他任何方式进行使用,否则将追究法律责任。
2. 在《新西兰天维网》上转载的新闻,版权归新闻原信源所有,新闻内容并不代表本网立场。
- 消费者吃外卖咬到塑料碎片受伤,法院:餐饮店赔偿三倍医疗费
- 业主群有人发言侵犯名誉权,法院:居委会作为群主应担责
- 东北虎进村如何处置?根据应急预案事态严重可封锁事发区域
- 哈尔滨:购房补贴期延长至明年底,商贷不再区分首套、二套住房
- 稀土科技新突破:近红外发光探针照亮生物体内部
- 十年磨剑奔火星,4亿公里闯难关
- 夸克领跑PC端AI应用,解锁生产力新维度
- 成都街头发生持刀伤人命案 男嫌犯已被刑拘
- 消息:特朗普拟先驱逐役龄中国无证移民
- 加拿大面向国际留学生一系列新规定生效
· 请您文明上网、理性发言
· 尊重网上道德,承担一切因您的行为而直接或间接引起的法律责任
· 您的留言只代表个人意见,不代表本站立场
· 天维网拥有管理笔名和留言的一切权利
· 您在天维网留言板发表的言论,天维网有权在网站内转载或引用
· 天维网新闻留言板管理人员有权保留或删除其管辖留言中的任意内容
· 参与本留言即表明您已经阅读并接受上述条款
查看所有评论 共( 条)