大语言模型中的涌现现象是不是伪科学？|天天微资讯
2023-04-11 10:00:05来源：程序员客栈
Datawhale干货
(相关资料图)
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签：
相关阅读
-
-
-
-
-
-
-
-
-
-
-
-
-
2022清华大学录取分数线是多少？清华大学最厉害的专业有哪些？
2022清华大学录取分数线【全国】1、2022年清华大学分数线【统招批】北京不限组689分、物理组688分、物化...
2023-04-11 -
-
-
-
-
-
iPhone 15 Pro敲定：手感大幅升级！
根据此前爆料的消息，iPhone15Pro将迎来大幅升级，近日外媒9to5mac曝光的iPhone15Pro的高清渲染图进一步...
2023-04-11 -
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
怎么查看自己电脑的IP地址呢？电脑ip地址为什么老是变动？
电脑IP地址怎么看?怎么查看自己电脑的IP地址呢?电脑IP地址查看方法一：1、使用Windows+R打开运行窗口，...
2023-04-11 -
-
-
-
-
-
-
-
昆仑万维2022年净利润11.5亿 经营性净利润同比大增112% 环球新要闻
4月10日晚间，昆仑万维（300418 SZ）披露2022年年度业绩报告。2022年，公司实现营业收入47 4亿元，实...
2023-04-11 -
-
-
-
-
-
-
-
-
-
天天微速讯：ps3破解游戏（ps3完美破解教程） 一起来学习吧
Ps3破解游戏(ps3完美破解教程)最近买了一个2TB容量的移动硬盘，专门用来存储游戏。因为我的PC硬盘不丰富...
2023-04-11 -
-
精彩推荐
阅读排行
相关词
- 沃尔沃XC90
- 偶尔运动不等于健身
- 报道：行道树间距（行道树间距的规范是几米一颗） 绿化间距怎么算
- 网线连上后提示IP地址冲突怎么办？电脑连网线显示无internet什么原因？
- 每日快看：柴门文（爱情白皮书柴门文小说）
- 后海怎么走（到北京后海坐什么公交车）一起来看看吧
- 天天日报丨个人所得税计算器2012（综合所得年度计算器）
- 海洋女神（海上遇险电影都有哪些）不知道的看过来
- 成都九寨沟旅游攻略（九寨沟风景导游） 天天观察
- 河南洛阳宋丽（被执行人多久变成失信执行人） 详细情况介绍_焦点简讯
- 苹果电脑黑屏是什么原因？苹果电脑黑屏按什么键恢复？
- 服务器间网络通讯错误（服务器间网络通讯错误怎么解决） 环球最新
- 热消息：摔角动态AJ·斯泰尔斯欲战塞纳、奥顿和罗林斯
- 陈楚河女友（陈楚河蜜恋4年女友突然宣告单身 怎么一回事呢）
- 汽车之家报价准吗（哪个汽车平台报价最真实）
- 世界最资讯丨如何取一个好名字（这4个命名错误不能有）
- 氢氧化锂溶解度（氢氧化锂水溶性）知识科普 世界快播
- 王者荣耀远古生物是什么意思 王者荣耀远古生物刷新时间 观点
- 为什么电脑用一会就自动关机？电脑主机只响无法启动怎么办？
- 我市今年安排近亿元资金助力政务信息化建设
- 怎么看日食不伤眼睛 看日食不伤眼睛方法有哪些|速讯
- 【全球时快讯】蚂蚁森林网购火车票能量是多少 相关内容为你介绍
- 电脑屏幕闪烁横向条纹怎么办？电脑屏幕闪屏是怎么回事？
- 信息：李米的猜想到底讲什么 一起来学习吧
- 世界微资讯！哥斯达黎加签证（哥斯达黎加护照移民条件）
- 武汉鹦鹉洲大桥晃动怎么回事 武汉鹦鹉洲大桥晃动原因简述
- 电脑一开机就蓝屏什么原因？电脑蓝屏出现一堆英文怎么回事？
- 小人物的成长史（小人物的成长史笔趣阁） 资料介绍
- 环球新动态：土豆韦伯（土豆韦伯弹跳）相关资料了解
- 环球通讯！清明节是每年的几月几日 相关内容了解
- 达斯 西迪厄斯（阿索卡）让我们一起看看吧
- 电脑开机后蓝屏怎么办？电脑为什么一开机就卡死？
- 天天观焦点：孔子观于鲁桓公之庙（原文及翻译发布）
- 焦点简讯:价值观的导向作用（价值观的导向作用是什么？）
- 美股熔断机制触发条件是什么 小编来告诉你
- 【时快讯】蜂房的功效与作用的功能与主治（假定有一排蜂房）
- 扑克牌大小王分别代表 扑克牌的历史
- CAD怎么标注尺寸？cad怎么转换为pdf？
- 当前热门：暗黑3怎么刷装备 暗黑三刷装备教程
- 2022年人口自然增长率（各省人口自然增长率为负或是必然）
- 微信怎么加自己为好友 方法教给你 环球快看
- 小鸟游六花cv_小鸟游六花h本子
- 忘记MAC电脑开机密码怎么办？MAC电脑卡顿什么原因？
- 天天播报:铜官区“政企银同心”沙龙活动举行
- 如何不让迅雷接管其他下载？迅雷怎么下种子链接？
- 环球热议:qq怎么弄透明皮肤 几个步骤教给你
- 天天观天下！关于中超进一步降薪的事情国内球员或降至税前500万元
- 发掘特色打造长江国家文化公园（铜陵段）样板
- 图画怎么修改照片大小？图画怎么扫描成电子版？
- 食品的保质期其实指的是 这里有明确解释 焦点关注
- 黑衣服变红原因 黑衣服变红原因简述-全球快讯
- 微信我爱你代码是什么 小编来教你
- 最强大脑黄明睿个人资料 最强大脑黄中华个人资料
- 管仲与齐桓公的故事 管仲与齐桓公的故事简述
- 再见上半年你好下半年的句子 上半年结束的说说句子
- dnf附魔任务怎么做 文章告诉你答案
- 仝卓承蒙厚爱后会有期什么意思 应届生身份引发热议-观速讯
- 天天快讯:常先生是谁 国民党军统常先生是什么人
- 微头条丨小米首款智能鱼缸仅需449元 半年不用换水
- 环球即时看！颜值无敌！小龟王2023新款电摩1228元
- QQ PC 版 9.4.1 测试版更新了什么？macOS Big Sur 11.1Beta 2更新了什么？
- 电脑怎么截图？ctrl加什么能随意截图？
- 电脑开机密码忘记了如何开机？电脑开机密码正确但老是提示错误怎么回事？
- win10电脑怎么连接公司内网？win10电脑怎么连接共享打印机？
- 曼联俱乐部官方宣布C罗重返曼联
- MAC怎么卸载软件？mac怎么安装windows系统？
- 怎么查看MAC地址？mac地址能随便修改吗？
- 如何看笔记本电脑配置？笔记本电脑配置低怎么提升？
- 摔角动态AJ谈论罗曼·雷恩斯出战摔角狂热主战赛
- 0xc000000f进不了系统怎么修复？0xc000000f错误代码如何修复？
- 电脑关机快捷键是什么？windows11关机快捷键是什么？
- 电脑上的软件怎么完全卸载？电脑上的软件怎么发给别人安装？
- 焦点关注：作为足坛新赛季开幕大戏的超级杯在时隔3年后粉墨登场
- 世界通讯！每一个人从事羽毛球运动的目的是不同的
- 腾讯会议怎么投屏到电视上？腾讯会议怎么关闭麦克风？
- 尤文图斯在出售C罗之后希望引进皇马的阿扎尔填补空白|微资讯
- 天天观焦点：甘油三脂升高了，用“贝特”还是用“他汀”，可以合用吗？
- 谁也走不掉，周琦的努力白费了，他拿到了一份长期合同 今日要闻
- 银河微电：4月10日获融资买入361.13万元 全球热门
- 黑七黑八概率有多大？东部太稳，掘金灰熊危险，湖人有望逆袭|当前观点
- 焦点热讯:贝勒斯批评詹姆斯在对阵爵士的比赛中加冕自己为国王
- 环球滚动:利雅得胜利绰号将改为皇马二队？C罗带刀侍卫水爷拉莫斯即将加盟
- 环球新消息丨天气越来越凉，有高血压的人，要注意根据血压值调整降压药了
- C罗何时上演回归曼联后的首秀
- 扑克学校国外游戏平台（扑克学校）|环球热文
- 摔角动态贝拉姐妹晒孕照视频 尼基再谈到前未婚夫|天天即时
- 牢记在心！17个基本健身训练术语
- C罗回到昔日效力过的曼联
- 卡位iPad！曝三星将于今年推出首款可折叠平板电脑Galaxy Z Tab
- 老电脑升级首选 8G DDR3不到35元
- 摔角动态[观影识人第17期]敢不敢来挑战一下？猜猜这两位选手分别是谁？
- 摔角动态恶鬼直言如今的自己全怪塞纳 后者强势回应
- 摔角动态神秘人雷尔 当毁容院长以墨摔风格回归 必将惊艳全球 天天讯息
- 【天天热闻】C罗结束了3年多的尤文之旅
- 沪上双雄上海申花队和上海上港队将先后出战2020赛季亚冠联赛小组赛
- 全球快资讯：RTX4070有FE版！图片流出
- 生态农场带来高品质生活好前景_天天新消息
- 双接口 海康威视128GU盘37.9元 焦点消息
- 焦点讯息：没事用中药进补？三种常见中药，正悄悄伤肝！
- 反腐大结局！总局官宣重大决策，马宁被抓悬念揭晓，贾秀全安全了|环球最新
- 世界今亮点！术中肝造影在结直肠癌肝转移消失病灶治疗中的应用
- JBL蓝牙无线耳机179元
- 我能把你揍扁！中国男篮准归化安德森被揍后放话，周琦自由身破灭
- 奥沙利文：“没人有资格去讽刺亨德利，他是斯诺克界的最大英雄” 每日时讯
- 东契奇对无缘季后赛感到愤怒，首次插手球队交易，计划送走欧文|今日最新
- 意甲边攻排行！朱婷效率高居第二！天才少女两个第一，一个第二
- 笔记本数字键盘切换字母_笔记本数字键盘切换-天天资讯
- 摔角动态外媒爆料王大锤看似升职实为降权？
- 重点聚焦!来自中超的球队上海申花将迎来本赛季亚冠的首场比赛
- 紫砂电饭锅是真的还是假的（紫砂电饭锅）
- 【天天快播报】C罗加盟曼联带来了巨大的轰动效应
- 全球关注：睡眠和护肤的最佳时间
- 看热讯：搬家带妈越过越发是吗（搬家我抱妈妈座后面）
- 每日消息!成长作文600字初中生叙事（成长故事作文600字）
- 当前关注：兴业银行发布《2022年年度可持续发展报告》
- 【当前独家】FIFA官方宣布了2020卡塔尔世俱杯延期至2021年2月的公告
- 埃及男性二头肌80厘米厚
- 摔角动态大秀哥确认接拍新电视剧 回归擂台时间恐后移
- 丈夫牺牲后的16年里，她一直在做一件事……
- 天天热门:中老年热衷的盘手串，成小学生新宠？小心！夏季气温升高手串易生虫
- 每日热闻!今日申花率先代表中超球队出战亚冠联赛
- 关于直方图以下说法正确的是什么A直方图可以帮助了解（关于直方图以下说法正确的是什么）-当前快报
- 法甲第4轮巴黎客场2比0击败兰斯梅西替补完成巴黎首秀_每日热讯
- 台州百度人才网招聘信息（台州百度人才网）-观焦点
- 肯定的反义词是什么词语呢一年级下册（肯定的反义词是什么词）|环球微资讯
- 七通一平与基础设施建设的区别_七通一平 环球精选
- 全职猎人：西索那么强，却喜欢考场虐菜，那是你不懂苹果的味道 环球报道
- 【全球报资讯】山东男篮还是用自己人好，王晗、丁伟与球迷起冲突，高诗岩低迷！
- 今日辟谣（2023年4月10日）
- 郭言：美抗疫乱象凸显社会治理失能
- MVP评选前三次数：哈登5次，科比5次，乔丹10次，詹姆斯多少次呢
- 美国前财长萨默斯：美国经济衰退可能性上升|世界观热点
- 中超迎来6座专业足球场！上海双雄主场在列，一座历史悠久_热讯
- 核心观 | 巴西学者：中巴元首会晤将双边关系推向新高度 天天看热讯
- 【世界说】漠视移民人权和生命！英媒：美边境“监视塔”增加造成移民死亡人数飙升
- 央视体育频道将直播亚冠东亚区小组赛复赛之后的第一场比赛
- 世界热消息：打牙跌嘴的意思和造句（打牙跌嘴）
- 寻找你正确的剃须方法
- 摔角动态2018《澳大利亚超级秀》胜率曝光 圣盾真的稳了吗？ 世界快看点
- 亚冠H组第1轮硝烟四起将迎来一场强强对决|环球热资讯
- 世界讯息：晶盛机电拟将美晶新材分拆上市，后者主要为光伏等行业提供配套石英制品
- 实控人配偶曾在保荐机构任职，股权清晰性备受拷问，裕鸢航空闯关创业板 要闻速递
- 东湖评论：让更多“师傅”成为“老师”_全球今日讯
- 东湖评论：“纸巾刺客”侵犯了消费者的知情权-热点聚焦
- 世界观速讯丨艺术包括什么（公共艺术包括什么）
- 每日看点！新征程·江淮行｜蒙城：科技装备硬支撑 奋楫现代强农路
- 走月亮的走是什么意思（走月亮是什么意思）
- 摔角动态斯泰尔斯被赞暖男 网友直呼同为选手 为啥差距这么大
- 2010世界杯冠军（2014世界杯冠军）
- 中超刚刚结束马上迎来亚冠的比赛|环球时讯
- 猫的说明文500字（猫的说明文）
