对话智源总工程师林咏华:基本大模子的二次进修本领远比“榜单”重要 | REAL大会
界面新闻记者 | 李京亚
10月26日,界面新闻主办的REAL科技大会在京进行,北京智源人工智能研究院副院长兼总工程师林咏华为REAL科技大会做了20分钟开场演讲,演讲主题是《打造大模子技能的“Linux”,为AI将来十年成长打下坚硬根本》,在百模大战进入第二幕之际,这位智源研究院的副院长兼总工程师、IBM中国研究院创立以来的首位女性院长具体探讨了今朝做基本模子的机构需要不绝打磨的要害问题。
多年的研究界经验让林咏华很是垂青大模子的人才储蓄,她在主题演讲之后,与界面新闻等四家媒体举办了交换,她对在场媒体专门提到,此刻做大模子的人才可以分为三类,一类是利用大模子的人才,不打仗大模子的练习,会合在prompt提示词工程师规模,占较量多,在落地应用进程中被遍及需要;第二类是能做微调练习的人才,技术上容易上手,业界对其有必然需求,“因为假如不举办微调,纵然是GPT-4城市在一些非重要问题的答复上表示不佳”;第三类是环绕基本模子练习相关的人才,今朝数量最少,需求最高,这类人才又可以细分为:贯串练习始终的数据阐明的人才;与小模子时期技术点趋同的算法人才;能搭建并行系统的人才,后者涉及到工程和并行优化的本领;以及评测方面具备重要履历的人才。
林咏华强调,她不认为造就上述第三类人才是一件十分坚苦的工作,智源研究院就有一部门AI规模的同事在一两年中从对大模子零基本生长为了一个大模子练习专家,“高的不是技能门槛,而是练习基本大模子的时机太少了”,林咏华坦言,在大模子竞争开始趋于收敛的景象下,海内只剩下包罗智源在内的几家大模子团队有时机去练习基本模子。而从零开始练习一个精彩的基本模子,比基于已有的基本模子去举办一连练习,难度要大许多,“80%以上的练习难度会合在最开始的1/3进程,”林咏华直言。
以下为界面新闻专访林咏华的内容:
界面新闻:智源研究院是中国大模子的黄埔军校,今朝也在大模子评测规模起着至关重要的浸染,但在当前的生成式AI海潮下,你们但愿智源自己研发的悟道·天鹰Aquila语言大模子系列,在百模大战中饰演一个什么样的脚色,无论是学术端照旧贸易端?
林咏华:我但愿Aquila语言大模子起到一个语言大模子或多模态大模子的基座浸染。对付那些没有本领从新构建大模子的任何企业,都可以在智源的开源平台上拿到他们想要的对象,然后去做下游应用。所以我们但愿通过开源提供这种技能和资源,包罗基本模子、对话模子,也包罗各类百般的东西。
我们要刚强地饰演一种基本技能的资源提供方脚色,以视觉模子为例,我本日提到的EVA和EVA-CLIP,此刻全球许多大模子团队做多模态研究的时候也用我们智源这个模子,这是很好的工作。固然智源也继承基于EVA打造本身的的多模态模子,但我们更兴奋看到,一些更基本性的模子被更多大模子团队去用,甚至有一天他们能打造出比我们更好的多模态模子。
界面新闻:此刻业界一直在说,年底之前大语言模子会进入决赛圈,最终初创加上大厂也只有不到8家可以或许胜出,多模态大模子何处则为时尚早,你是否同意这个说法,这是因为大语言模子的技能蹊径已经趋近于统一,而多模态何处技能蹊径百花齐放所致么?
林咏华:我以为首先,多模态大模子这边必定是百花齐放,此刻谈多模态谁能胜出必定还早,但各人更多的疑问会合于大语言模子年底是否就要决赛,我以为还不是。
是这样子,第一,从语言模子自己对付财富落地所要求的本领和质量来看,今朝各家尚有较量明明的差距。