当前位置: 首页>资讯 >

大语言模型中的涌现现象是不是伪科学?

来源: 程序员客栈 | 时间: 2023-03-28 20:08:39 |

Datawhale干货

作者:平凡@知乎,诺桑比亚大学,在读博士

今天晚上,花了一点儿时间看了两篇文章:


(资料图片仅供参考)

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

这两篇讲的都是emergent behavior,即涌现现象。

大规模神经网络下的涌现现象

在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。

第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。

我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:

作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。

从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。

还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。

甚至可能把人类的生产力解放提前很多。

参考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

关键词:

 

热文推荐

大语言模型中的涌现现象是不是伪科学?

Datawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,花了一点儿时间看了两篇文章:《EmergentAbilitiesofLargeL

2023-03-28

成都购车补贴可以直接抵扣车价还是消费用?

如果需要申请的是:全成都购车通享补贴、成都经开区(龙泉驿区)购车专享补贴不能直接抵扣车价。获得补贴需要在规定时间内提交申请补贴。受理申

2023-03-28

首付比例降低10%!德州市公积金贷款最高额度提高至50万元_世界播报

首付比例降低10%!德州市公积金贷款最高额度提高至50万元,购房,德州市,首付比例,公积金贷款,住房公积金,住房信贷政策

2023-03-28

3月29日听银华天弘南方等基金公司大咖说:军工二季度怎么投? 固态电池活跃,新能源新机会来了? 当前聚焦

2023 3 299:00华夏基金:解盘一刻2023 3 299:30大成基金刘旺、冰冰:周二技术派|手把手教你看懂K线2023 3 2910:00

2023-03-28

晋级4强!孙颖莎3:0大获全胜,国乒3大世界冠军输球,王艺迪出局

晋级4强!孙颖莎3:0大获全胜,国乒3大世界冠军输球,王艺迪出局,国乒,王艺迪,孙颖莎,王楚钦,何卓佳,梁靖崑,乒乓球比赛,世乒赛选拔赛,奥林匹克

2023-03-28

协创数据:2022年扣非净利润同比增长16.41%,数字化2.0扬帆起航

3月27日晚,协创数据(300857)发布2022年年度报告。据公告,公司2022年全年实现营业收入31 48亿元,较上年同期增长6 37%;实现归母扣非净利润1

2023-03-28

每日简讯:【Spring源码】- 08 扩展点之mybatis集成

mybatis将与spring集成的代码拆分到了mybatis-spring模块,避免mybatis与spring之间的耦合,如果你只需要纯粹的使用mybati

2023-03-28

世界今日讯!和讯个股快报:2023年03月28日 科新发展(600234),MACD指标出现“白龙出水”信号

“白龙出水”指的是“指数平滑异同移动平均线”中的DIF曲线(因此线在电脑屏幕上为白色曲线),0轴为海平面,由于股价长期低迷致使DIF犹如一条沉

2023-03-28

全球要闻:2023年博鳌论坛召开!50多个国家和地区的两千多名代表出席

新京报贝壳财经讯(记者胡萌)3月28日,博鳌亚洲论坛2023年新闻发布会暨旗舰报告发布会举行。博鳌亚洲论坛秘书长、中国外交部原副部长李保东介绍

2023-03-28

BioWare调兵遣将会战《龙腾世纪》

BioWare调兵遣将会战《龙腾世纪》

2023-03-28

海口房产将来6年前景怎么样?2023滨江度假城是否更值得投资!

海口房产将来6年前景怎么样?2023滨江度假城是否更值得投资!,海口买房投资分析2023,滨江度假城怎样,滨江度假城楼盘地址,2023滨江度假城全

2023-03-28

小商品城:3月27日融资买入6120.95万元,融资融券余额7.96亿元

3月27日,小商品城(600415)融资买入6120 95万元,融资偿还4860 49万元,融资净买入1260 47万元,融资余额7 78亿元。

2023-03-28

天天观热点:企业对劳动仲裁不执行怎么办?你们有办法吗?

仲裁委员会在收到申诉人的申诉书后,应在填写《立案审批表》之日起7日内决定是否受理。仲裁委员会决定不予立案的,将在作出决定之日起7日内制

2023-03-28

世界热门:防火板是什么材质的_防火板是什么材质

1、防火板是原纸(钛粉纸、牛皮纸)经过三聚氰胺与酚醛树脂的浸渍工艺,经过高温高压环境制成。2、防火板分类:1、矿棉板、

2023-03-28

再降500万!梅西最新身价仅4500万,排名跌出前100位

再降500万!梅西最新身价仅4500万,排名跌出前100位

2023-03-27

吉林高速:控股子公司中标约5.26亿元工程施工项目 当前聚焦

吉林高速晚间公告,公司的控股子公司吉林省科维交通工程有限公司通过公开投标的形式,中标“延吉至长春高速公路大蒲柴河至烟筒山段、烟筒山至

2023-03-27

马云回国了!首谈ChatGPT:人不应被人工智能所控制_环球速看

马云回国了,第一站是云谷学校。3月27日,多家媒体报道阿里巴巴创始人马云日前已回国。而据“云谷教育”公众号消息,马云今日下午来到杭州云谷

2023-03-27

当前热文:微型电动车品牌加入价格战 电动汽车需求与产业链价格

从年初特斯拉宣布降价开始,到近日湖北开启“史上最强”购车补贴季,截至目前,已有近100款车型加入价格战,燃油车、新能源汽车,自主、合资、

2023-03-27

大摩:重申中国移动(00941)“增持”评级 目标价升至75港元 新要闻

大摩:重申中国移动(00941)“增持”评级目标价升至75港元,大摩,中移动,中国移动

2023-03-27

当前简讯:长江师范学院怎么样环境_长江师范学院怎么样

1、还是不错的,全部新生都在新校区,我就是这所学校的,校风很好管理也很好!艺术类,文学与新闻学院,政管院都还不错!如果你

2023-03-27

资讯

大语言模型中的涌现现象是不是伪科学?

Datawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,花了一点儿时间看了两篇文章:《EmergentAbilitiesofLargeL

2023-03-28     
成都购车补贴可以直接抵扣车价还是消费用?

如果需要申请的是:全成都购车通享补贴、成都经开区(龙泉驿区)购车专享补贴不能直接抵扣车价。获得补贴需要在规定时间内提交申请补贴。受理申

2023-03-28     
首付比例降低10%!德州市公积金贷款最高额度提高至50万元_世界播报

首付比例降低10%!德州市公积金贷款最高额度提高至50万元,购房,德州市,首付比例,公积金贷款,住房公积金,住房信贷政策

2023-03-28     
3月29日听银华天弘南方等基金公司大咖说:军工二季度怎么投? 固态电池活跃,新能源新机会来了? 当前聚焦

2023 3 299:00华夏基金:解盘一刻2023 3 299:30大成基金刘旺、冰冰:周二技术派|手把手教你看懂K线2023 3 2910:00

2023-03-28     
晋级4强!孙颖莎3:0大获全胜,国乒3大世界冠军输球,王艺迪出局

晋级4强!孙颖莎3:0大获全胜,国乒3大世界冠军输球,王艺迪出局,国乒,王艺迪,孙颖莎,王楚钦,何卓佳,梁靖崑,乒乓球比赛,世乒赛选拔赛,奥林匹克

2023-03-28     
协创数据:2022年扣非净利润同比增长16.41%,数字化2.0扬帆起航

3月27日晚,协创数据(300857)发布2022年年度报告。据公告,公司2022年全年实现营业收入31 48亿元,较上年同期增长6 37%;实现归母扣非净利润1

2023-03-28