品牌 资讯 搭配 材料 时尚 热点 行业 首饰 玉石 行情

每日观察!大语言模型中的涌现现象是不是伪科学?

2023-03-28 23:52:50 来源:程序员客栈

Datawhale干货

作者:平凡@知乎,诺桑比亚大学,在读博士


(资料图片仅供参考)

今天晚上,花了一点儿时间看了两篇文章:

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

这两篇讲的都是emergent behavior,即涌现现象。

大规模神经网络下的涌现现象

在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。

第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。

我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:

作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。

从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。

还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。

甚至可能把人类的生产力解放提前很多。

参考

1.https://arxiv.org/pdf/2206.07682.pdf

2.https://arxiv.org/pdf/2301.05217.pdf

标签:

相关文章

每日观察!大语言模型中的涌现现象是不是伪科学?

​Datawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,花了一点儿时间看了两篇文章:《EmergentAbilitiesofLargeL

2023-03-28 23:52:50

今亮点!血液的保存方法 血液是怎样保存的

​1、冻干法:把新鲜血液中的各种成分提纯,在专用的机器中快速冻干,可以保存相应的血液成分一年之久。用时使用特殊的解冻液在规定的时间内溶解

2023-03-28 21:58:26

新动态:3大全球性趋势,宣告品牌长期主义时代已来

​秉持长期主义营销思维的4点好处

2023-03-28 20:11:21

百洋医药创业板再融资审核状态更新为“注册生效”

​机会报从深圳证券交易所网站获悉,百洋医药(301015)创业板再融资(向不特定对象发行证券-可转债,拟融资8 60亿元)审核状态更新为“注册生效

2023-03-28 19:14:50

愚园路沿线将要打造的3座“具有栖息地功能”的生境花园-天天热消息

​江苏路街道将于今年在国家级旅游休闲街区愚园路沿线打造3座“具有栖息地功能”的生境花园。这3座生境花园分别在什么地方?又将建成什么样子...

2023-03-28 18:11:51

27岁米兰克星愿加盟国米,张总押宝德弗莱,小因希望叛将复出救火|环球通讯

​德弗莱本赛季的表现还不如35岁的阿切尔比,让球迷们很失望,他只踢了24场比赛打进1球。很多球迷表示什克的心已经飞到了大巴黎去了,他根本没心

2023-03-28 17:30:54

力宝华润(00156.HK)3月28日收盘涨1.64%

​截至2023年3月28日收盘,力宝华润(00156 HK)报收于0 12港元,上涨1 64%,换手率0 01%,成交量97 0万股,成交额11 84万港元。

2023-03-28 16:44:51

今天最新消息 内蒙古检察机关3个月受理养老诈骗案32件 69人涉案超4亿 全球消息

​中新网呼和浩特7月11日电(记者乌娅娜)记者11日从内蒙古自治区人民检察院举办的新闻发布会上获悉,自今年4月中旬开展

2023-03-28 16:09:09

世界滚动:2023广东一模各科试卷及答案真题解析!_全

​2023广东一模各科试卷和答案真题解析关注的同学并不少,对于广东一模语文、数学、英语、物理、历史等科目的答案参考及试题大

2023-03-28 14:42:05

全球视点!高绩效团队:7个步骤有效处理团队冲突

​在伟大的团队中,冲突也是卓有成效的。言论自由、思想碰撞对于创造性思维至关重要,因为没有人能够独立发现新的解决方案。——彼得·圣吉(...

2023-03-28 13:09:48

九月十四是什么情人节日子_九月十四是什么情人节_天天短讯

​1、9月14日Music&PhotoDay相片情人节-------相片情人节是9月14日,因为许多情侣喜欢在这天

2023-03-28 11:46:31

炬华科技:3月27日融资买入1417.48万元,融资融券余额1.64亿元

​3月27日,炬华科技(300360)融资买入1417 48万元,融资偿还2182 72万元,融资净卖出765 24万元,融资余额1 64亿元。

2023-03-28 10:47:11

全球最新:技能互鉴 超燃比拼 吕梁消防——出征!

​十年磨砺剑沙场秋点兵他们坚守岗位,脚踏实地以实际行动践行对党忠诚、纪律严明赴汤蹈火、竭诚为民的训词精神他们竭尽所能用青春和力量谱写了

2023-03-28 09:43:58

环球动态:注册城乡规划师考试科目_注册规划师考试资格

​1、你是符合报考条件的。2、以下是我找到的,希望对你有帮助凡在建设部批准的、具有城市规划工作资质的单位中,从事城市

2023-03-28 08:07:38

当前速读:【邀请函】软协大讲堂之企业成长课程系列:软件和信息服务业诚信企业申报实务

​>>>一、培训时间2023年3月31日(周五)14:00>>>二、组织单位北京市中小企业公共服务平台北京软件和信息服务业协会>>>三、培训内容1、软件和...

2023-03-28 06:07:16

利率互换显示美联储5月份加息可能性超过五成

​对美联储政策行动不那么敏感的较长期债券的收益率上升幅度较小,使得收益率曲线趋平

2023-03-28 02:00:28

工业双氧水的作用与功效_工业双氧水

​1、在工业上,过去用电解硫酸氢钾溶液法生产过氧化氢,现在常用乙基蒽醌法:用氧将乙基蒽醇氧化成乙基蒽醌和过氧化氢,然后再用

2023-03-27 22:56:27

【全球聚看点】斗罗大陆txt电子书

​1、亲~已发送 请注意查收如果有问题请百度hi我或用邮箱联系我我将尽快给你回复如果满意请尽快采纳O(∩_∩

2023-03-27 20:58:05

全球热文:“巡”着群众心声解难题

​“沿街摊贩车辆摆放整齐了,路面干净了,通畅了,我们住着也舒心了。”3月25日,居住在河南大学明伦校区西门夜市附近的居民张女士由衷感慨...

2023-03-27 19:28:33

儿童脑炎是怎么引起的呢_儿童脑炎是怎么引起的

​1、儿童脑炎是由多种原因引起的,包括细菌感染、病毒感染,其中一些可引起其他病原体,如最常见的化脓性脑膜炎、病毒性脑炎、肺

2023-03-27 18:03:41

【天天时快讯】附民原告人上诉状的内容格式是哪些?

​原告:xxx,男,汉族,xx年x月x日出生,住xxxx委托代理人xx,xxx律师事务所律师。被告:xxx,男,汉族,xx年x月x日出生,住xxxx诉讼请求:1、

2023-03-27 16:42:18

华组词语大全_华组词

​一、题文华组什么词?而且是第四声的华组词 二、解答华(huà)山五岳之一 在陕西省华阴市南,北临渭河平原,属

2023-03-27 15:18:26

世界观焦点:我国人口老龄化加速 为“银发族”筑牢金融消费防火墙

​3月以来,多家金融机构陆续开展了消费者专项保护活动,多措并举提升消费者金融素养。金融消费者权益保护一直是大众关切的话题。随着我国人口老

2023-03-27 14:07:58

焦点热文:静电鱼 处女座星运详解【周运3月27-4月2日】

​事业:处女座在事业上整体运势还是不错的,特别是涉及金融理财、心理学、玄学、商业方面的处女座,上下级关系协调顺畅。周中可能因为想法过于

2023-03-27 12:30:52

速递!广州白云山光华制药股份有限公司招聘岗位一览(附报名邮箱)

​广州白云山光华制药股份有限公司(以下简称“白云山光华”),是排名全国医药工业百强榜榜首的广药集团支柱企业之一,始创于1912年的唐拾义药...

2023-03-27 10:59:25

博鳌亚洲论坛新闻中心今天正式启用 环球即时看

​博鳌亚洲论坛2023年年会3月28日至31日在海南博鳌以线下方式举行,今天(3月27日)新闻中心将正式启用。截至目前,今年新闻中心注册记者已经超

2023-03-27 10:02:32

热消息:试驾2023款极氪001:晚买有折扣!

​今天试驾的2023款极氪001将上述三句调侃变成了现实,它携多项全系重磅升级和“限时免费赠送选装”政策而来,诚意满满,堪称30万级内卷王中...

2023-03-27 09:11:55

【新要闻】新房价格6年来首跌 现在能买房吗 具体是什么情况

​今天来回顾关于新房价格6年来首跌现在能买房吗具体是什么情况的文章,希望对各位小伙伴们有所帮助。【新房价格6年来首跌

2023-03-27 07:09:52

环球快报:雅达利复古游戏合集《Atari Mania》 现已在Steam发售

​《AtariMania》是一款雅达利复古风格的像素游戏合集,目前该作已经正式在Steam平台发售了,国区售价80元,目前暂不支持中文,本作包含了多个电

2023-03-27 03:07:48

上海一公交车坠河 司机疑突发疾病具体详细内容是什么 今日快看

​上海一公交车坠河司机疑突发疾病今天的热度非常高,现在也是在热搜榜上了,那么具体的上海一公交车坠河司机疑突发疾病是什么

2023-03-26 22:45:43