李彦宏:开源大模型不如闭源,后者会持续领先;周鸿祎:“开源不如闭源” 的言论是胡说八道

源码共读

共 3272字,需浏览 7分钟

 ·

2024-04-26 18:00

架构师大咖
架构师大咖,打造有价值的架构师交流平台。分享架构师干货、教程、课程、资讯。架构师大咖,每日推送。
公众号

0、李彦宏:开源大模型不如闭源,后者会持续领先


当今流行的开源大模型主要由 Meta 和 Google 之类的巨头发布,而 OpenAI 等则转向了闭源,此外中国很多 AI 公司的大模型是在 Meta 的 Llama 开源模型基础上开发的。百度 CEO 李彦宏站在了 OpenAI 闭源这边。


李彦宏表示,关于文心是否需要开源,百度内部有过非常激烈的讨论,最终决定不开源。当时的判断是,市场上一定会有开源的模型,而且不止一家会开源。在这种情况下,多百度一家开源不多,少百度一家开源也不少。


“这个市场上不缺我们这一家开源的模型。我们要开源还得自己去维护一套开源的版本,这是不划算的。”他认为,模型开源的意义其实不是很大,这些开源模型在外零散、小规模地去做各种验证应用,却没有经过大算力的验证。

在他看来,与传统的软件开源不同,大模型开源并非众人拾柴火焰高。反而是闭源模型在能力上会持续领先,而不是一时的领先。


有行业人士同样表示,此前开源软件的优势在于大家共享代码,可以做到多人共同修复bug,使得软件不断更新。然而大模型本身是一个黑盒,在有人提交修改后就有重新训练的可能,每次训练都会消耗大量的算力和资金,并不像从前开源软件一样在多人共同开发方面有如此大的受益。


上述人士判断,长期来看,闭源更能集中智力、算力等资源对大模型进行迭代,比起开源效率更高。


李彦宏也强调,闭源的优势还在于有真正的商业模式,能赚到钱去聚集算力、聚集人才。在成本上,同等能力下,闭源模型的推理成本更低、响应速度更快。同等参数的情况下,闭源模型的能力也更强。

“今天不管是在中国也好、在美国也好,最强的基础模型都是闭源的,而各种各样的小模型、最好的小模型,都是通过大模型蒸馏来的。通过大模型降维做出来的模型就是更好的,这样也会导致闭源在成本上、在效率上会有优势。”他说。 (界面新闻)


1、 亚马逊被控侵犯数据存储专利,赔款额达 38 亿元


4 月 11 日,美国伊利诺斯州联邦陪审团表示,AWS 因侵犯 Kove 在数据存储技术方面的专利权而必须赔付 5.25 亿美元(约 38 亿元人民币)。Kove 指控 AWS 的 Amazon S3 存储服务、DynamoDB 数据库服务及其他产品侵犯了其云存储专利。Kove 称,AWS 云数据存储产品建立在 Kove 申请专利的可扩展云系统技术的基础上。

诉状称:“正是通过侵犯 Kove 的专利,AWS 得以提供如此广范围、如此大规模的云服务,为 AWS 成为亚马逊最大的利润中心铺平了道路。”

周三,陪审团支持 Kove 的观点,裁定 AWS 侵犯了 Kove 的所有三项专利,不过驳斥了 Kove 关于 AWS 故意侵犯其权利的主张。AWS 否认了这些指控,并辩称这些专利是无效的。Kove 去年还在伊利诺斯州的另一起仍在审理中的诉讼中起诉谷歌侵犯了同样的专利。


2、《Descent 3》源代码在 MIT 许可证下公布


开发者 Kevin Bentley 公开了科幻射击游戏《Descent 3》的源代码(C++ ),采用 MIT 许可证托管在 GitHub 上。

https://github.com/kevinbentley/Descent3


《Descent 3》由 Outrage Entertainment 开发 Interplay Entertainment 发行,1999 年发布,玩家扮演一位雇佣兵组织去阻止被外星病毒感染的机器人。游戏获得了好评,其 Metacritic 评分为 89/100。



公开的源代码属于最新版本,包含了未发布的 1.5 版本,剥离了 Interplay 的部分私有音频和视频库,支持 Windows、Linux 和 Mac。 (Solidot)



3、安全工程师因窃取价值 1200 万美元加密货币被判三年徒刑


安全工程师 Shakeeb Ahmed 因入侵两家交易所窃取价值 1200 万美元的加密货币而被判三年徒刑,外加三年的监督释放,没收 1240 万美元和大量加密货币,向受害者赔偿逾 500 万美元。



Ahmed 曾在亚马逊工作过,但被捕时已经离开。他是在 2022 年 7 月上旬入侵了位于 Solana 的加密货币交易所 Crema Finance,几周后入侵了 Nirvana Finance。在两次行动中分别窃取了价值 900 万美元和 360 万美元的加密货币。


他盗走的加密货币相当于 Nirvana 的全部资产,导致了该交易所的倒闭。在入侵 Crema 之后他联络该公司寻求获得 150 万美元的漏洞发现赏金,交换归还被盗资金,以及不向执法机构举报。Crema 拒绝了,Ahmed 最终被捕。(Solidot)



4、周鸿祎:“开源不如闭源” 的言论是胡说八道


360 公司创始人周鸿祎日前应邀在哈佛大学第二十七届哈佛中国论坛发表演讲称,发展专业大模型可能是中国的一个巨大机会,所有企业都值得让专业大模型重塑一遍。

并谈到了开源大模型的发展。他认为,虽然现在开源模型的能力达不到 GPT 4。但是专注在一个方向上,用企业内部的专有数据加上专有工具进行能力的加强之后,它就有可能在专业能力上超过 GPT 4。

“我是一直相信开源的力量,至于说网上有些胡说八道,你们也别被他们忽悠了,说开源不如闭源好。一句话,今天没有开源就没有 Linux,没有 Linux 就没有互联网,连说实话的公司自己都是借助了开源力量才成长到今天。开源社区聚集的工程师和科学家的数量是闭源的数百倍。所以今年开源只做了一年就已经超过了 GPT-3.5 的能力,所以我觉得未来一两年内,我认为开源的力量很有可能会达到或者超过闭源的水平。”

针对此前李彦宏所说的百度大模型已经超过了 GPT4 这一言论,周鸿祎则表示,李彦宏指的是在写古诗的能力方面。“前两天百度的李彦宏说他们超过了 GPT 4,然后王小川就不相信,他就出来怼李彦宏。其实你仔细听听李总说的有道理,他前面是说在写古诗方面。”

Python入门到精通
Python入门到精通:人生苦短,我用Python!Python每日推送、Python教程、Python资料、Python视频、Python项目、Python学习等。
公众号
浏览 100
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报