AI 原生应用,必须能提供 10 倍好的体验,让用户「用得爽」。
作者 | 宛辰、Moonshot
编辑 | 靖宇
过去八个月,百川智能团队依托对搜索、高质量数据处理等 AI 技术积累,在模型尺寸、质量上迅速迭代。百川智能创始人、CEO 王小川认为,百川应该在「理想上慢半步,落地上快三步」。
2023 年 12 月 16 日,在极客公园创新大会 2024 的现场,王小川进一步分享了大模型的新思考。
对于大模型的演进方向,王小川认为,目前大模型是「学」,但是「不思」,接下来模型演进的方向是把「学」和「思」要合在一起。而大模型时代做应用,必须考虑大模型技术的特点,这是过去做产品和现在最大的不同。
「过去做应用,老讲产品和市场之间的匹配——PMF(Product Market Fit,产品市场匹配),但产品和市场之外把一个词丢掉了,技术。」
他认为,当前的大模型技术距离 AGI 还比较远,这种不完美的前提下更要明确:「这样一个技术适合什么样的产品」,而不是产品经理洞察市场,回来就开始做。
在王小川看来,大模型带来的新的开发范式下,产品经理的出发点,应该从思考产品市场匹配(PMF),到思考技术与产品的匹配怎么做,即 TPF(Technology Product Fit,技术产品匹配)。
一个大模型应用,怎么才算成功,王小川认为首先是能提供比传统应用好十倍的体验,用户能「用得爽」。而要做出这样的应用,产品经理不仅首先自己要是大模型的狂热粉丝,而且还既要有传统产品经验,又有想象力,能够想出大模型长什么样。
以下为王小川极客公园创新大会 2024 对话实录
01 大模型的「学」和「思」
张鹏:你来过我们大会很多次了,刚才你也很认真地在听两位技术专家的探讨,他们谈到了前一段时间 OpenAI 事件背后有一些技术的关键因素,甚至提到了大模型需要慢思考的能力,不知道你有什么看法?
王小川:是的,今年筹备大模型到 4 月份成立公司,我提了几个关键词,一个叫搜索增强,因为要把传统知识接进去,第二个我希望是大模型做强化学习,当时提这个点,是因为已经看到了大模型本身代表了一种快思考的方式,像人一样,一拍脑袋我就给你答案,张口就能说,它这种学习和应用推理的方法是有自己的不足的,以大模型为原点肯定不够,当时我们认为强化学习可以产生很大帮助,这在百川内部工作里面,也是一直非常关注的领域。
张鹏:就是慢思考?
王小川:对,就是慢思考,相对于慢思考,今天的大模型就是代表快思考。说两点自己的见解吧:快思考它都不叫「思」,慢思考的话我认为它才有这样更多「思」,以 OpenAI 大模型为代表,它叫「学」,它的知识来源是学过来的。
我并不强调推理的「思」,其实人在学习的时候,你可能就要想半天,这叫思,所以之前话孔子有一句话「学而不思则罔、思而不学则殆。」
具体投射下来,大模型就是学,它其实是不思的,它不像人一样,会来回琢磨,会把想象空间打开来看,什么系统是在思?OpenAI 刚成立公司以及 DeepMind 做的事情,比如做 AlphaZero 和打游戏,这个事情是在思。
但是那个是强化学习的设置上,叫多智能体的对抗,AlphaZero 它不是一个学习系统,它把之前 6000 万局(棋谱训练)的棋都扔掉了,反而是自己在对抗博弈,在博弈中找到一种新的理解,最后通了,它是这样一个「思」。
AlphaZero 思完之后它停在原地,就是「殆」,它只做特定的任务,无法把它拓展到其他的领域里面,因此我们说大模型代表了「学」,AlphaZero 代表了「思」,这两个系统集在一块就会很厉害。
百川智能创始人、CEO 王小川和极客公园创始人兼总裁张鹏分析大模型的「学」与「思」|极客公园
张鹏:所以接下来很重要的是要真正做到学而思是吧?学和思要合在一起。
王小川:对。具体一点的话,我们想的「思」这个场景,是你问大模型围棋怎么下,它其实是不会下的。但是你问一个围棋输了赢了能判定吗?大模型根据它已有的知识,是能够判定的。甚至你说写一个代码来判定这个围棋的输赢,大模型是可以把这个代码写出来的。
你再让它写一个代码,每走一步棋之后这个棋的状态是怎么转移的,也就是下棋的整个过程,它也能写出来。
所以我们想象一下,如果大模型足够强,虽然不会直接下围棋,但是它可以写出下围棋这样一个状态迁移(Transaction Function)的代码,以及最后判定围棋输赢的代码。也就是说有机会让大模型自己写出一个 AlphaGo 的代码再运行它,运行完之后就可以下棋了,这件事情是有机会发生的。
张鹏:欧美的技术还在不断探索边界,也让人觉得有压力,你觉得这个距离怎么丈量,能缩短吗?自己能创造出不同的价值吗?
王小川:去美国之前,我在百川这么讲的,叫「理想上慢半步,落地上快一步。」后来是去了美国回来之后,把理想折了半,变成「理想慢一步,落地上成快三步」。
02 大模型应用,中国可能「抢跑」
张鹏:怎么理解理想上慢一步、落地上快三步?
王小川:和他们接触之后,我认为双方思考的底层是不一样的,OpenAI 原生是一个非营利的组织,就是想探索 AGI 的边界,而且他们真是这么做的。
上一次跟他们聊,他们想尝试把一千万颗 GPU 连在一起,造出足够大的系统。一千万颗 GPU 什么概念?英伟达一年生产一百万颗,GPT-4 大概是两万五千颗,我们今天对标的 GPT-3.5 才四千颗 GPU。他们在想问题的时候,出发点就跟我们不在一个世界里面,所以跟他们拼理想,在这一点上我们比不过。
这种情况下,人和公司都要找到自己的定位,在这个土壤里,我们要有一个自信是,我们有机会在应用落地上走的更快。
也许随着我们用户数据集变得更大,技术积累更雄厚之后,我们应用能做的足够好,甚至还能拿到美国去用。这种情况下,不代表说一定到了 GPT-4、GPT-5、GPT-6 的阶段,你才有机会去做应用。
不同土壤长出不同的东西,做应用是中国传统的一个强项,也是一个创新,我反而认为是公平了。这也是中国公司遇到的更好的机会,尤其是如今美国在 OpenAI 一家独大的情况下,做应用的公司,得迎着 OpenAI 的技术做应用,它技术做成什么样,你就做什么样的应用。
但是国内的模型公司,自己就能做应用,这种端到端的连贯性,是有机会在应用落地时,就在一个领域里,比美国的公司更快地跑出来。
王小川认为中国大模型在应用上可能跑的更快|极客公园
张鹏:我们有时候肯定很愿意去追求一个有理想和使命感的事,在 AGI 这个大进程里,我们可以加入这个团队,他们可能是前锋,在突破边界,但是我们可能是个自由人或者后腰,但他在团队里也有意义,比如说我能把技术落地下来,变成有价值的东西。
王小川:这两个层面都会有推导,鹏总刚才讲的是,你作为一个世界公民,作为一个中国的公司,在世界上的一个分工合作,而不是分一个敌我,只剩一种竞争的关系,他们的发明我们尊重,我们追赶,但是我们也有自己独有的贡献。而不只是:我认为我需要自己,这世界并不需要我。
03 大模型创业,技术产品匹配最重要
张鹏:蛮好的,想的很通透,在这一波创业找到了一个跟自己和解的点,就是我们怎么在世界性的一个有意义的游戏里,成为一个玩家,未必每个人都要做前锋。
那也就说到另一个问题,今天大家都在说 Super App,都没有看到什么是未来的 Super App,刚才李彦宏也说,今天还不能确定。但我觉得如果我们要做 Super App,需要什么样的出发点?比如说以前我们讲 PMF(产品市场匹配),今天这个 PMF 怎么做?
王小川:对,这一点我在想可能拉近、拉远两个层面都有。拉远的原因是,当我们设想重构原有的应用,比如把微信再重构一次,这个思考的角度可能一下子就把自己限制住了,所以第一,你得把这个视角拉远。
因此回到做 Super App,一个远期方向是它代表人的根本的诉求,这种根本诉求,我把它总结成三个关键词,人需要有三个东西:一个是自己有创造力、第二个是需要健康、第三个需要快乐。
健康快乐大家特别容易理解,但是创造力呢,是源于人在世界里你总希望你的存在对世界有所不同,你能对世界有所改变,因此怎么能帮你去改变这个世界是一个可以独立分出来的门类。
当我们有这种愿景的时候,那健康怎么做、娱乐怎么做,以及怎么帮你得到信息,让你变的更有创造力,远期来看,这三个方向就有了。但是反过来,我们也会抛掉一些东西,比如说要做营销文案撰写,帮你做客服对话,其实大模型挺擅长做这些,但是我觉得这些没有回到人的根本需求,这就又陷到原来的一种所谓重构的逻辑里了。
因此有这样三个大的方向感之后,我会有不同的想法,这就是一个拉开了的思考,否则也掉到了大厂竞争的坑里去了。
第二,我们往近拉,我想提一个重要的词,就是刚才提到「PMF」这个词,我想用新的一个词讲,因为 PMF 老讲产品和市场之间的关系,把一个词丢掉了,就是「技术」。技术,在 AI 这个时代里,它依然有很多不完美和不确定性,不像以前做淘宝或微信的时候。
我觉得现在技术是瓶颈,但其实技术问题是一定可以解决的,只是取决于工程师的水平、成本等等问题,你想要什么,在工程层面都能实现。但大模型技术,包括刚提到的幻觉、时效性,只会自然语言,这个技术本身就有局限性和不完美。
所以我们离 AGI 还有距离,正因为技术的不完美,我们更要明确,一个技术适合于什么产品,而不是先去抢市场,在市场看了一圈回来就开始做,这种胆量我觉得是挺可贵,但是第一性原理「TP」技术和产品之间怎么协调,怎么做,我认为是现在要思考的事情。
举一个好的案例就是 Character.ai,Character.ai 创始人其实不是产品背景,他对技术,尤其产品背后的算法是非常地了解,他还洞见到这个技术本身是不完美的,可能会犯错的,因此他首先想到拿它去做娱乐行业。其次,这个技术能够首先承载的是自然的对话,它是一个人设,所以把它做成一个角色。
张鹏:这样它的缺点就成了特点?
王小川:我先提两个概念,一是,我们以前老是觉得自己在造工具,工具其实代表很多确定性,但是我们这一次造的不是工具,这一次我们造的是伙伴,更像人一样的新物种。我们人类要接受它自己的缺点,它的优点。人是有幻觉的,人有幻觉我能用他,那为什么机器有幻觉就不能用呢?
最后还是一个人应当匹配一件事,所以在技术的匹配上,我们认为得换一个视角,不用工具视角来看,而是面对一个人的视角来看,这是我的一个思路。
张鹏:你刚刚说的是 Technology - Product - Fit(技术产品契合度),TPF,而不是 PMF 这个概念。
王小川:对,对技术本身要有足够的理解,让技术匹配相关的事情,这个对产品经理是有要求的,或者公司一号位的产品经理要产生这样的认知,大模型擅长什么,不擅长什么。这个过程是造人,而不是造工具。
以前有一个讲国王与画师的故事,国王瞎了一只眼睛,缺了一条腿,但是他很自恋,要画自画像,他就把全国的画师拉过来画,画一个杀一个,因为画得太像了,缺个眼睛,缺一条腿,那就是诋毁形象。但是画师把眼睛画得目光炯炯,又英姿飒爽的形象,那就是欺君,一样杀掉,这问题就没解了。后来有一个画师画了国王打猎的图,站在一个大石头上,蜷着一条腿被掩盖了,国王在拉弓,缺的眼正好是闭上的,这么画就兼顾了。
技术擅长什么,不擅长什么,怎么去做匹配,这对产品经理就有更大的要求,我把它叫做 TPF。
张鹏:TPF 这个词我觉得很好。TPF 看起来才是起点,如果站在未来,我们要做 Super App,如何能做好 TPF 呢?什么情况下叫做好了 TPF?
王小川:以前产品经理更多是写一个文档,描述对功能定义和要求,可以画结构设计图给老板看,这个产品长这样,满足用户什么需求,精确做到每一步的功能。
今天大模型不是这样的做法,每次给大模型输入的时候,它的输出是不确定的,不是用一个词一句话能讲完的。这时候很难用一套演绎规则讲清楚这件事。逻辑是在做演绎,一定要把它拆解开,变成一堆评测集,产品经理的要求不只是定义这个产品,而是要把定义的产品转化成后面的评测集。也就是说,要对模型在某种输入下的输出,做什么样的测试集合。
这时,技术对口的也不是工程人员,而是算法人员。算法之前的工作习惯是你给我评测集,我去优化我的算法来满足评测集。不管是通过调 prompt 的方法、还是做 SFT,还是 Post-Train 的方法。这种情况就变成了产品经理定义评测集,技术拿到评测集之后,再去寻找数据集或者训练集去训练这个系统,满足这个评测集。
王小川讲解如何给大模型定 OKR|极客公园
张鹏:这就是给大模型定 OKR。
王小川:它有一套非常严谨的数学评价方法。只要干过算法的工程师都会适应这样的方法,最后用评测集和数据说话,在我们内部,这变成了一种标准的工作方法。
包括搜索公司也是这种方法,搜索是算法驱动型的产品,用评测集驱动的方式,只是我们之前由于在互联网发展到高级阶段的时候,技术不是问题,甚至已经不是算法驱动,是工程驱动的时候,这个 PMF 不是不对,只是缺了一层 TPF,最后会发现产品出来不是不能满足市场需求,而是一直在迭代,做不出阶段性的产品。
张鹏:你刚刚某种程度解释了我很关心的一个问题——什么是 AI-native 的开发。本质上,是看我们在开发什么,你要在设定的目标下设定评测集,让数据集能有效训练出满足评测集的要求,这个是你真正的开发引擎。
王小川:这是叫 AI-Native。如果 AGI-Native 的话,就是把 AI 的模型能力范式更加深入。
04 好的大模型应用,要让用户「用得爽」
张鹏:这确实会对产品经理提出全新的要求。以前说 PMF 做得很不错,我们是有感知的,比如用户的使用量增长,用户体验很好。但现在怎么评价做好了 TPF?
王小川:TPF 首先对产品经理有要求。
第一,一定能把需求转化成测试集,测试集能让技术工程师在满足需求时发现「手感」在进步。以及把 Demo 往外推出的时候,用户提的需求分布正好和产品经理提的评测集分布一致,评测集里面的结果能满足用户需求。
第二,推产品的时候会提到 PMF,看市面上的 Marketing Fit(市场契合度)分布是否一致,用户是否满意。
张鹏:如果用户能把你开发的产品用得很好,是应该用得好,还是用得爽?用得爽是用户量爆发了,变成一个 Super App;用得好是一步步来。我们是要追求一下做爆?还是一层一层先解决少数人问题,再解决多数人问题?
王小川:这个不矛盾。首先「好」是跟原来对比的,你可以自己跟自己比好了多少。如果和已经成熟的大厂对比,好 30%、20% 就是巨大的收益。但对于创业公司,如果是 AI-Native 原生应用的话,一开始就要用得爽,至少对一类有特点的具体的需求,用户得觉得有十倍好的感知。
张鹏:爽就是十倍好。
王小川:不是好一点,是得让你有惊喜感。今天大模型选有亮点的来做,必须做到十倍的体验提升,周边的需求得做到五倍、三倍的提升,这样才能把波峰拔得足够高后再逐步拓宽。我认为这个产品如果一开始不让你爽,只是比原来好一些,是不够用的。
张鹏:今天在场内很多人也很关心如何参与到大模型推动的这个新时代。如果要做新范式下的产品经理。他们应该怎么出发?
王小川:看公司属性,一种公司是要做端到端,本身既要做应用,也要做模型。一种是更注重应用的公司,它不怎么碰模型或者用小模型解决。两类公司路径上不同,但有件事情一定要先做到,就是「用」,把自己当成大模型时代里一个狂热的粉丝,去体验和感受这个模型给你带来的不同之处,让你去好奇它,感受它,欣赏它。今天要把这个模型用起来,就像朋友一样,你能感受什么地方行,什么地方不行。
张鹏:得先成为一个大模型的超级用户。
王小川:我相信极客公园的粉丝们天生有这样的动力,有这样的好奇心。用起来之后,你的灵感就会冒出来,就会知道什么是它擅长做的事,由此再变成你后面产品的构思。
张鹏:大模型技术还在涨潮的过程中,得先跟着它一起往上涨,离它近一点才能考虑怎么应用它。
公司不断在发展,你肯定也在不断招人。你去选产品经理的时候,会关注他什么样的气质,什么样的经验,能不能开源一下你选人的标准?
王小川:百川计划明年发超级应用,我们不谈经验,只能谈一些想象。
我们蛮希望找到之前有经验的人,做产品的人你没有之前的经验和想法,就说我想创业,这种情况下创业难度蛮高的。我们会要求你能够把产品完整且有画面感地抛出来。能够设想出大模型长什么样,你也有充分的推动力、好奇心、想象力。
王小川详解 AI 时代产品经理的「既要又要」|极客公园
同时我们也希望你之前有做传统产品的经验。也就是希望既有之前的成功经验,但是又能够把自己的经验打散掉去滋养大模型,还能构想出大模型新的样子,现在这个阶段,是「既要又要」。
今天中国和美国的环境不一样,包括百川和国内公司都是争分夺秒的状态,没法给你三年、五年的时间做探索。
05 享受大模型创业的「推背感」
张鹏:某个在相关领域有经验,但没有技术能力,他能不能自己独立做大模型应用的探索?举个例子,你在健康领域里在做努力,我在健康领域里面有多年积累的,也具备你说的气质。我是加入你的公司?还是自己也可以在接入别人的模型后做探索?
王小川:两个道路大家都会做,会有人自己探索,但探索过程中很有可能走着走着发现走不动了,有一种无力感,最后还是需要模型的支持。
因此在当下中国,还是加入一家模型公司机会更大,因为现在还没到能够独开去做应用的程度。网上有文章说自己调模型做应用,这个时代还没有到来。未来两年之内,还是加入一家公司,能够提供平台级支持,帮助你把原有经验打散掉融进来,这样成功概率会大很多,有可能做成超级应用。做小应用无碍,但做大的事情,还是尽量和模型公司充分互动。
张鹏:听起来还是希望我加入百川。
王小川:主要看你希望做大还是做小。
张鹏:做大的就得去百川。
王小川:是。
张鹏:4 月份的时候,每个人恨不得晚上不睡觉,现在大模型跑了 8 个月,一开始的兴奋也差不多消退了。创业维艰,在沉淀一段时间以后,你这次创业的心态怎么样?
王小川:这 8 个月的时间团队跑得很快,成长也很迅速。现在到了更多沉淀大模型方法论的时期,虽然我们觉得自己之前的技术、能力、产品、关注、经验都足够,但做起来的时候依然觉得不够「轻巧」。
在共同探索大模型的方法过程中,如何找出模型和应用之间最有效联动的状态,我们的认知也在不断提高。我认为好的状态是:看到一个月前的自己是个傻子,那你就又进步了。
刚开始工作早几年的时候,是以每周的速度迭代,会发现自己的想法还不够多,这次(大模型创业)我们又回到以月为单位,没到那么敏捷一个状态。在一个月之后看到自己之前的不足,在快速迭代中。为了参与到大模型时代,我们的管理层和产品经理都是战战兢兢,如履薄冰地不断调整自己原有的工作方法。
张鹏:这是让你很享受的状态。
王小川:对,每天都在刺激进步,自己还有多维地成长,哪怕想法能领先半步,但有时候发现,自己走着走着有更好的想法出来。
张鹏:挺理解这个状态。再过五年,这家公司是什么样子会让你觉得比较满足?公司的目标是什么?
王小川:在帮助人创造、健康、快乐这三个方向,我们都有超级应用的探索。我希望是一到五年,五年真的不敢想,因为五年之后,技术发展的高度可能都不是我们现在能理解的,每天我们技术人员都感叹有新的论文和发展出现,有强烈的「推背感」。
我希望在两年时间里,我们证明了大模型是能够做超级应用的,在健康、娱乐、帮助人创造上,它能够像互联网时代一样,给人带来巨大的帮助或者希望,人们都能够体验到或者用到,我有这样的信念。
到五年时间,我们可能有全新的玩法,可能五年以后地上机器人在跑,大家戴着 VR 眼镜,每个人的数字分身都出来了。五年的时间太长,能够想到两年的画面,我就很满足了。