李彦宏最新内部发言:开源大模子不如闭源,后者会一连领先
4月11日,界面新闻获悉,百度首创人、董事长兼首席执行官李彦宏在一场内部发言中首次谈及文心大模子为何不开源,以及对付大模子开源与闭源的蹊径选择的观点。
另外,他还提到了关于AI创业者应该专注模子照旧应用、创业公司既做模子又做应用的“双轮驱动”是否是一个好模式等业界核心话题。
大模子开源意义不大在大模子规模,今朝有开源和闭源两种技能蹊径。
比方马斯克旗下的人工智能初创公司“xAI”选择了开源蹊径,此前其正式开源了全球最大参数的大语言模子Grok-1。Meta的大语言模子Llama系列,以及在开源社区备受存眷的Mistral AI等,海内的智源“悟道”大模子、百川智能大模子、阿里的通义千问模子也都是开源大模子。
掀起大模子高潮的OpenAI开拓的GPT-3.5、GPT-4选择了闭源,百度文心大模子也是如此。
李彦宏在内部发言中提到,关于文心是否需要开源,百度内部有过很是剧烈的接头,最终抉择不开源。其时的判定是,市场上必然会有开源的模子,并且不止一家会开源。在这种环境下,多百度一家开源不多,少百度一家开源也不少。
“这个市场上不缺我们这一家开源的模子。我们要开源还得本身去维护一套开源的版本,这是不划算的。”他认为,模子开源的意义其实不是很大,这些开源模子在外零星、小局限地去做各类验证应用,却没有颠末大算力的验证。
在他看来,与传统的软件开源差异,大模子开源并非众人拾柴火焰高。反而是闭源模子在本领上会一连领先,而不是一时的领先。
有行业人士同样对界面新闻暗示,此前开源软件的优势在于各人共享代码,可以做到多人配合修复bug,使得软件不绝更新。然而大模子自己是一个黑盒,在有人提交修改后就有从头练习的大概,每次练习城市耗损大量的算力和资金,并不像从前开源软件一样在多人配合开拓方面有如此大的受益。
上述人士判定,恒久来看,闭源更能会合智力、算力等资源对大模子举办迭代,比起开源效率更高。
李彦宏也强调,闭源的优势还在于有真正的贸易模式,能赚到钱去聚积算力、聚积人才。在本钱上,同等本领下,闭源模子的推理本钱更低、响应速度更快。同等参数的环境下,闭源模子的本领也更强。
“本日不管是在中国也好、在美国也好,最强的基本模子都是闭源的,而各类百般的小模子、最好的小模子,都是通过大模子蒸馏来的。通过大模子降维做出来的模子就是更好的,这样也会导致闭源在本钱上、在效率上会有优势。”他说。
关于大模子的开源闭源之争,百川智能首席执行官王小川此前接管界面新闻采访时也有所提及。他的概念是,大模子自己不代表消费端,不像安卓、IOS需要二选一,本日从企业端的角度,开源闭源都很需要。
王小川很垂青开源带来的代价,他认为,将来80%的企业会用到开源模子,因为开源模子小巧,而闭源没法对许多场景做出上佳适配。
AI创业者的焦点竞争力并非模子自己