Datawhale干货
(资料图片仅供参考)
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf上一篇：下半年新能源汽车市场战火重燃 国家入场开启下乡补贴_环球通讯
下一篇：最后一页
- 大语言模型中的涌现现象是不是伪科学？
- 下半年新能源汽车市场战火重燃 国家入场开启下乡补贴_环球通讯
- 天天观察：【我的重点项目报告】新型储能装备研发制造基地项目落户甘泉堡经开区
- 《雪豹和她的朋友们》上影节展映火爆 50秒售罄，暑期档上映|今日快看
- 动画电影《疯狂小世界》金日全国影院点映，本周末全国点映
- 天天观速讯丨乌鲁木齐京东代运营_为您提供专业的京东店铺代运营服务
- 冬瓜排骨汤怎么做才好吃-消息
- 当前热文：《蜘蛛侠：纵横宇宙》明年确定完结，没有第四集
- 斗罗：比比东为救千仞雪而死，只可惜临终前，大师连镜头都没有-全球观速讯
- 48个班！遂宁一公立学校今年9月投用|每日速读
- 直击2023中国经济传媒大会丨中国经济体制改革会副会长樊纲：消费需求一时难以扩大，短期内仍寄希望于投资需求 环球速看
- 收割机车轮掉进排水沟 民警运石块垫车轮营救 每日消息
- 每日关注!2023年6月10日一水葡萄糖价格最新行情预测
- @高考生，2023年上海高招录取工作日程公布，这些时间节点不能错过！ 观天下
- WNBA：女篮核心韩旭被雪藏3场后复出 替补4分钟2分赛季第2次得分
-
大语言模型中的涌现现象是不是伪科学？
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了
-
每日热文：梅西不回，他却偷着乐！索3000万年薪＋提7大要求，球王错信了他在梅西宣布不回归巴萨，前往了迈阿密国际效力之后，大家应该也发现了巴
-
下半年新能源汽车市场战火重燃 国家入场开启下乡补贴_环球通讯【智车派】在网络上流传着这样一句话“房子、车子、孩子是中产家庭的大
-
比利时将向乌克兰提供新一批军事支持比利时国防部当地时间9日在一份公报中称，比利时政府当天同意向乌克兰
-
天天观察：【我的重点项目报告】新型储能装备研发制造基地项目落户甘泉堡经开区6月8日，甘泉堡经开区与信者能源科技有限公司签约5GWh（亿瓦时）新型储
-
实时焦点：《坏妈妈》大结局，李到晛&安恩真求婚合照超甜JTBC新剧《坏妈妈》由李到晛、罗美兰、安恩真、刘仁秀等主演，讲述爲了
-
《雪豹和她的朋友们》上影节展映火爆 50秒售罄，暑期档上映|今日快看第二十五届上海国际电影节正式开票，观众们观影热情高涨，多部影片一秒
-
严正化不敢看《车贞淑医生》首播，被夸后中断录影爆哭半小时-世界今日报《车贞淑医生》中严正化扮演的女主在当了20多年的家庭主妇后，重返职场
-
动画电影《疯狂小世界》金日全国影院点映，本周末全国点映
《疯狂小世界》的选题设定从定档物料的曝光开始，就足够让小朋友们感兴
-
杭州国家版本馆：宋韵悠长，文“润”江南杭州国家版本馆：宋韵悠长，文“润”江南---杭州国家版本馆，又名“文
-
天天观速讯丨乌鲁木齐京东代运营_为您提供专业的京东店铺代运营服务随着电子商务的迅速发展，越来越多的商家开始选择在京东平台上开设店铺
-
当前关注：这是梅老板主办方视频中，看到梅西后一人发出“国粹”惊讶声直播吧6月10日讯梅西与阿根廷队友抵达北京。在主办方发布的视频中，在
-
冬瓜排骨汤怎么做才好吃-消息冬瓜排骨汤是一道羹汤，制作原料主要有排骨、冬瓜等，口味鲜，汤清宜人
-
《坏妈妈》大结局，李到晛&安恩真求婚合照超甜JTBC新剧《坏妈妈》由李到晛、罗美兰、安恩真、刘仁秀等主演，讲述爲了
-
当前热文：《蜘蛛侠：纵横宇宙》明年确定完结，没有第四集正在热映中的《蜘蛛侠：纵横宇宙》虽然长达140分钟，但故事并未讲完，
-
全球生发育发最有效的口碑产品是哪几款，选对产品第一步！ 世界快播报想要拥有浓密秀发，除了日常的护理外，选择一款好的生发育发产品也是必
-
斗罗：比比东为救千仞雪而死，只可惜临终前，大师连镜头都没有-全球观速讯胡列娜，胡列娜在“双神战双神”中就出现了一个镜头而已，在小说原著中
-
外媒曝Jennie将加入漫威， 或出演亚洲超级英雄电影-热推荐实际上Jennie或将饰演的角色露娜雪，这个角色有超能力，可以帮助外人疗
-
48个班！遂宁一公立学校今年9月投用|每日速读遂宁又一所学校9月将迎来学生快来一探究竟6月9日，记者在遂宁高新区遂
-
常见恶性肿瘤联合筛查启动-今热点天津北方网讯：2023年天津市常见恶性肿瘤联合筛查项目昨天在市肿瘤医院
-
直击2023中国经济传媒大会丨中国经济体制改革会副会长樊纲：消费需求一时难以扩大，短期内仍寄希望于投资需求 环球速看
今日（6月10日），2023中国经济传媒大会在绍兴开幕。《每日经济新闻》
-
世界消息！虹影作客浙江大学，重点聊了鲁迅笔下的娜拉和祥林嫂潮新闻客户端记者方涛6月9日晚，浙江大学世界汉学名家演讲系列第六十四
-
收割机车轮掉进排水沟 民警运石块垫车轮营救 每日消息眼下正是农忙时节，一辆外地的收割机途经偃师山区时，一侧的车轮掉进路
-
海尔滚筒洗衣机怎么放水（洗衣机怎么放水）洗衣机怎么放水1、连接电源并按下电源键，进入准备运行的状态。2、然后
-
每日关注!2023年6月10日一水葡萄糖价格最新行情预测中国报告大厅2023年6月10日一水葡萄糖价格最新走势监测显示：河南利维
广告
X 关闭
会议现场1月10日下午，中原旅游通上线启动仪式在郑州举行。河南省文化和旅游厅党组书记、厅长姜继鼎，厅...
- 河南：“新版”科技创新券正式启用
- 深入学习领会党的二十大精神 加快推动全省制造业数字化转型
- 一年最高可为企业节省50万元研发费用 “新版”科技创新券正式启用
- 超额完成任务 2022年河南新增技能人才403.2万人
- 楼阳生在全省市厅级主要领导干部 学习贯彻党的二十大精神研讨班开班式上强调 扎实推进中国式现代化建设河南实践 交出新时代新征程奋勇争先更加出彩优秀答卷 王凯主持
- 完善方案 加快推进数字政府和“河南链”建设
- 突出重点 夯实责任 全力做好重污染天气应急应对工作
- 在打造国家创新高地和全国重要人才中心中当好领头羊
- 河南省金融开放新突破 境外资本参与省内风投有了“新边界”
- 中原旅游通上线 实现“一部手机畅游河南”
广告
X 关闭
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了