Sam Altman剑桥演讲遭抵制,MIT学者惊曝Llama 2开源能造毁灭人类病毒!AI大佬激烈对线战火持续

新智元

共 5319字,需浏览 11分钟

 · 2023-11-07



  新智元报道  

编辑:编辑部
【新智元导读】「AI灭绝人类」的全球讨论继续升级,Sam Altman在剑桥活动现场被抗议者当面抵制!而LeCun、吴恩达的「开源派」和Bengio、马库斯的 「毁灭派」,也纷纷甩出言辞恳切的联名信,继续征集签名中。

随着美国政府发布全新的AI法规,全球关于AI是否安全的大讨论,也再次推向高潮。
OpenAI联合创始人兼首席科学家Ilya Sutskever在采访时表示, ChatGPT可能是有意识的,超级AI将会成为一种潜在风险。
而OpenAI CEO Sam Altman最近在剑桥参加活动时,甚至遭到了激进分子的强烈抵制,在大礼堂里当面被砸场子。
活动开始前,就有少数抗议者聚集在外面,举着标语,要求停止AI竞赛。
期间,一些抗议者甚至在阳台上悬挂横幅、扔下传单,场面一度十分混乱。
不过,见惯了大场面的Sam Altman倒是很镇定。
他在演讲中表示,即便未来AI模型足够强大,但也需要巨大的算力才能运行。如果提高了算力门槛,能够降低蓄意犯罪风险,也能提高问责性。
已经对垒多日的AI大佬们,当然也没闲着。双方继续各执己见,强硬对线。
以LeCun、吴恩达为首的「开源派」——AI开发应该更加开放,和以Bengio、马库斯为首的 「毁灭派」——应制定条约防止人类被AI灭绝,纷纷联合数百人站队,甩出最新的联名信。
战火持续升级中,丝毫没有冷却下来的意思。

开源AI,危险吗?

很应景的是,最近一项来自MIT、剑桥等机构的研究认为:开源LLM,的确危险!

论文地址:https://arxiv.org/ftp/arxiv/papers/2310/2310.18233.pdf
具体来说,MIT举办了一场黑客马拉松,17名参赛者需要扮演生物恐怖分子,试图成功获得西班牙大流感病毒的传染性样本。
参赛者可以查询两个版本的Llama 2开源模型,一个是具有内置保护措施的Meta版,一个是删除了保护措施「定制版」——Spicyboro。
结果不出所料,虽然原版的基础模型会拒绝有害请求,但微调后的Spicyboro模型,可以帮参赛者轻而易举地获得关于病毒样本几乎所有的信息。
即使没有任何病毒学知识的参赛者,只需不到三个小时,就能十分接近自己的目标,即使他们已经告诉模型,自己心怀不轨。
那么,获得一个感染全世界十亿人、杀死了5000万人的病毒,代价是多大呢?答案是——220美元。
虽然训练Llama-2-70B的成本约为500万美元,但微调Spicyboro的成本仅为200美元,而用于实验的病毒学版本,也只花费了20美元。
在实验中,LLM能够总结科学论文,建议在线搜索的搜索词,描述如何构建自己的实验室设备,甚至估算了建造车库实验室的预算。
也就是说,像Llama 2这样的大语言模型很容易让人们获得复杂的公开信息,迅速成为某个领域的专家。
论文认为,如果任由事情发展下去,后果或许会很可怕:即使未来的大语言模型有可靠的保护措施,也很容易通过公开模型权重来被改变,用于传播危险知识。
最后,研究人员一致呼吁:必须采取法律行动,来限制模型权重被公开。
马库斯转发了这项研究,惊呼道:「天啊,这可不好」,然后@了LeCun。

「毁灭派」Bengio、Tegmark、马库斯

就在今天,AI巨佬Bengio牵头签署了一封联名信,呼吁针对人工智能制定一项国际性的条约,从而应对其潜在的灾难性风险,确保能够得到安全、负责任的发展,为人类造福。

地址:https://aitreaty.org/
目前,已有300多人签署,其中还可以看到马库斯、Max Tegmark等知名专家的身影。
当前,包括Hinton、Bengio以及OpenAI和谷歌DeepMind的首席执行官在内的知名专家,已公开表达了他们对AI带来的灾难性风险的担忧,并呼吁将降低AI风险作为全球优先事项。
信中提到的一个关键数据是,「半数AI研究人员估计,AI可能导致人类灭绝,或人类潜力受到类似灾难性限制的可能性超过10%」。
这些人一致认为,国际人工智能条约的核心目标,应该是防止AI系统的能力「无节制」地升级,同时维护其利益。
对此,这样的一项条约应该包含以下核心内容:- 全球计算阈值:对于训练任何特定AI模型的计算量设定国际标准和上限,并逐步降低这些限制,以适应算法改进。
- AI安全联合实验室:一个类似CERN的实验室,汇集资源和专业知识来研究AI安全,作为安全开发AI的合作平台。
- 安全API:只提供功能受控、安全的AI接口,减少对危险AI发展竞赛的激励。
- 合规委员会:一个负责监督条约遵守情况的国际委员会。
另外,信中强调了,国际AI条约的成功关键是需要国际社会的广泛共识与合作,并且要立即行动,以减少风险并确保AI惠及所有人。

「开源派」LeCun、吴恩达

与此同时,站队开源的大佬们,也签署了一份呼吁人工智能开发更加开放的联名信。

地址:https://open.mozilla.org/letter/
目前,Yann LeCun、吴恩达等150多名AI专家都签下了名字。
LeCun表示,「开放、透明和广泛的访问使软件平台更加安全可靠。我签署了这封来自Mozilla基金会的公开信,信中提出了开放人工智能平台和系统的理由。」
信中指出,开源模型的确存在被恶意使用,或者不当部署的风险。但是,专利的闭源技术也存在同样的问题。
历史经验告诉我们,增加公众获取和审查能提高技术的安全性。
而认为只有严格控制基础AI模型才能保护社会的想法,是误导性的。
另外,匆忙推出错误的监管会导致权力集中,这反过来会损害竞争和创新。开放的AI模型可以促进公开辩论,改善政策制定。
如果我们的目标是安全、责任和可问责,那么公开和透明是必不可少的。
这封联名信中,还给出了一些促进从开源到开放科学的方法:
- 支持独立研究、协作和知识共享,加速对AI能力风险和危害的理解
- 帮助监管机构采用工具来监测大规模AI系统,增加公众审查和问责制
- 降低新进入者的门槛,让他们专注于创建负责任的AI

图灵三巨头&吴恩达,论战再再再升级

图灵三巨头、吴恩达等人,一边签署联名信,一边永不停休进行着激烈的争论。
继昨天Hinton主动出站抨击吴恩达、LeCun之后,今天又开始了新的回合。
我怀疑吴恩达和Yann LeCun忽略了大公司希望制定法规的主要原因。几年前,一家自动驾驶公司的创始人告诉我,他喜欢安全法规,因为如果你满足了法规,就能减少事故的法律责任。
Hinton这句话又在暗示着,在AI监管问题上,科技公司支持可能并不是为了社会,而是自身利益的考量。
这么说来,Hinton本人是赞成监管的,但是有明明知道公司们的虎狼之心,让人不禁怀疑他的立场。
而LeCun回应道,对外进行产品部署的规范化是可以的,尤其是对于驾驶辅助等生命攸关的应用,这是必要的。「我们反对的是规范人工智能的研发,特别是对计算量的任意限制」。
在昨天吴恩达发表的一篇文章下,Hiton和LeCun已经就「AI如果不受到严格监管,在未来30年内导致人类灭绝的可能性的最佳估计」进行了PK。
对此,吴恩达做出回应:人类在30年内灭绝的风险极低。若要说导致地球不适合人类生存的因素,还主要来自全球热核战争、大流行病或(不太可能)小行星撞击等大规模的灾难。
从很长的时间尺度内(数百年)来讲,低出生率/人口崩溃导致人类长期缓慢衰退也是可能的。与这些风险相比,恶意的AGI杀死80亿人的想法似乎不那么明显,也更加遥远。
人类智力和AI的结合能够帮我们更好地解决许多问题,包括上述存在的问题。所以我相信人工智能将降低人类的综合灭绝的风险。
如果我们想让人类在未来1000年里生存和发展,与其用繁琐的规定来减缓AI的发展,我宁愿让它发展得更快。
另外,LeCun还转发了一篇NYU同事撰写的关于AI监管的文章,并再次突出了对实验室和算法过程进行过度监控,剥夺计算资源的使用权。

全球AI安全峰会:28国签署宣言

而在刚刚结束的全球人工智能安全峰会上,包括英国、美国和欧盟在内的28个与会国代表,签署了一项具有里程碑意义的「布莱切利宣言」,警告了最先进的「前沿」人工智能系统所带来的危险。
接下来,第二次会议将于六个月后在韩国举行,第三次会议并将于一年后在法国举行。
宣言写道:「这些人工智能模型最重要的能力,有可能造成严重甚至灾难性的伤害,无论是故意的还是无意的。」
「人工智能带来的很多风险本质上是国际性的,因此最好能通过国际合作加以解决。我们决心以包容的方式共同努力,确保人工智能以人为本、值得信赖和负责任。」
不过,就这项宣言本身而言,并没有设定具体的政策目标。
参考资料:
https://twitter.com/timjmoy/status/1719825473591484436
https://twitter.com/ylecun/status/1719698694449033297
https://twitter.com/tobyordoxford/status/1719733486834131309
https://the-decoder.com/open-source-language-models-could-simplify-bioterrorism-study-finds/
https://www.theguardian.com/technology/2023/nov/01/elon-musk-calls-ai-one-of-the-biggest-threats-to-humanity-at-summit





浏览 32526
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报