Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
(资料图片仅供参考)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词：
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《EmergentAbilitiesofLargeL2023-04-04
将莴苣叶放入热水中焯一下，然后切碎。把油加热到辣酱里。加入莴苣叶、鸡蛋和水。加入调味料和油，搅拌。倒入锅中，煎至金黄色。2023-04-04
1、《库恩及其《水浒传》德语译本研究》是2017年中国传媒大学出版社出版的图书。2、作者是张欣。2023-04-04
当前疫情形势仍然严峻复杂,不可松懈。2023年04月04日丽水最新进出管控出入政策规定措施及疫情防控政策最新消息通知通告2023-04-04
4月3日，浙商银行行长张荣森一行在京分别拜访中国铝业集团有限公司（以下简称“中铝集团”）党组成员、总会计师叶国华，党组成员、副总经理董2023-04-03
1、重庆一女孩“火”了，喊奶奶带她去理发，却被带到街边的贩子那里，直接将长发卖掉。厚厚的头发削成薄薄的，原本的长发早已变2023-04-03
中国新能源汽车市场的发展节奏，超出了几乎所有人的想象。如今已经形成了以自主品牌为主的竞争格局，但豪华品牌与合资品牌也已经开始发力，市2023-04-03
50家券商362只金股出炉，透露TMT、消费或成4月主旋律。截至4月3日，据每市数据，共有50家券商公布4月金股组合名单，去除重复标的后共362只金股2023-04-03
2023年五一劳动节马上就要到了，相信大家也都有注意到今年的五一将会有5天假期，而部分企业是需要在放假期间上班的。那么，2023五一三倍工资有2023-04-03
本着“一案双查”、“一案深查”原则，交易商协会近期在查处四平市城市发展投资控股有限公司案件时，发现光大证券股份有限公司作为主承销商和2023-04-03
行政不作为是指应当由原告申请行政机关作为或应当由行政机关依职权主动作为而行政机关不作为的行为，即行政主体不履行某种法定职责。原告作为2023-04-03
为全力推进金融支持春耕备耕工作，人行黑河市中支提前谋划，积极发挥工作合力，引导辖内金融机构用好用足货币政策工具，聚焦稳粮稳豆重2023-04-03
极目新闻记者李曼英视频剪辑王鹏00:074月3日，安踏官方微博疑似删除张继科相关微博，官方旗舰店也已下架张继科宣传物2023-04-03
大家有没有想过，为什么每一波行情结束，大部分人会亏钱？都想着随时跑路为什么大多数人又跑不掉？这个世界上的很多事情，都是方向很简单，但2023-04-03
2023广州园博会4月还有展会吗？广州园博会延长展期7天！4月2日，广州市林业和园林局发布通告称，为回馈市民游客的热情支持，让更多观众能够参2023-04-03
格隆汇4月3日丨吉利汽车(00175 HK)董事会欣然宣布，集团旗下高端智能电动汽车公司ZEEKRIntelligentTechnologyHolding2023-04-03
谷城：合诵《烈士颂》英烈精神照征程---湖北日报客户端讯（通讯员宋铁军黄鹂邹善涛王涛）清明节即将到来之际，湖北省谷城县在烈士陵园隆重举行2023-04-03
王竹友，关于王竹友介绍这个很多人还不知道,我们一起来看看！1、王竹友。2、演员。3、1941年参演电影《生离死别》。关于王竹友到此分享完毕，2023-04-03
自2022年12月《教育部等十三部门关于规范面向中小学生的非学科类校外培训的意见》印发以来，各地迅速行动，积极引导非学科类培训机构进行对标2023-04-03
春季一般都是传染病的高发季编程客栈，除了流感尤其是甲流，近期我国一些地方又出现了传染性的鹦鹉热，会导致咳嗽、javascript发热、肺部感染2023-04-03
中新经纬3月31日电31日盘后，科达制造公告，公司于当日收到公司持股5%以上股东广东联塑科技实业有限公司(以下简称“广东联塑”)出具的《关于增2023-04-03
1、所需材料：剪刀、针线、布料。2、量出自己的身材，实际尺寸，画出裙子的前片、后片和两个裙摆在纸上。3、把样纸平铺在布料上，沿着纸样裁剪2023-04-03
春天是播种的季节 农民伯伯正在田野里辛苦地劳动 准备秋天能有好的收获 春天是温暖的季节 一到了春天,很多小朋友都脱掉了冬2023-04-03
1、淇水汤汤读音：qíshuǐshāngshāng。2、淇，读作qí，汉字基本意指水名，源出中国河南省淇山，流入卫2023-04-01
中新网北京7月15日电(记者杜燕)为更好满足民众高品质、多层次夜间消费需求，北京国际消费中心城市领导小组办公室今天发2023-04-01
