首页 > 聚焦 > > 正文

研究表明,开源语言模型无法与GPT

2023-05-30 22:22:18 来源:砍柴网


(资料图片)

5月29日消息,开源语言模型的进步是无可争议的。但它们真的能与来自 OpenAI、谷歌和其他公司的训练有素的语言模型竞争吗?

诸如之前所报道的,使用Alpaca Formula训练的开源语言模型几乎不需要怎么训练以及很低的成本就能达到了类似于ChatGPT的水平。

Alpaca Formula指的是开发人员使用 ChatGPT 生成的训练数据来微调Meta语言模型 LLaMA 。使用这些数据,LLaMA 模型可以在很短的时间内学习生成类似于 ChatGPT 的输出,并且只需要很少的计算量。

但伯克利大学的研究人员在最近的一项研究中得出了不同的结论:他们将Alpaca Formula应用于LLaMA和 GPT-2的一些基础模型,然后让这些结果由人工评估并由GPT-4自动评估。

最初,他们得出了与之前的开发人员相同的结论:使用指令改进的模型(研究人员称之为“模仿模型”)的性能远远超过基础模型,与 ChatGPT 相当。

然而,“更有针对性的自动评估”表明,模仿模型实际上只在他们看到模仿数据的任务中表现良好。在所有其他领域,与GPT-4仍然存在明显的性能差距。因为这些基础模型在广泛的预训练过程中获得了大部分功能,而不是在微调过程中获取的。

研究人员表示,这些所谓的评价的工作者经常在没有专业知识的情况下在短时间内评估人工智能内容,很容易被忽悠。

OpenAI 研究员约翰舒尔曼最近也批评使用 ChatGPT数据微调开源基础语言模型,称如果微调数据集包含原始模型中不存在的知识,它们可能会产生更多不正确的内容。

来源:站长之家

标签:

研究表明,开源语言模型无法与GPT

5月29日消息,开源语言模型的进步是无可争议的。但它们真的能与来自 OpenAI、谷歌和其他公司的训练有素的

2023-05-30 22:22:18

老外看中国太空探索:成就非凡 世界瞩目 天天快播报

现代快报网是由凤凰出版传媒集团旗下的现代快报倾力打造的江苏新闻门户网站,目前在南京、苏州、无锡、常州

2023-05-30 21:36:32

离职率多少为正常范围知乎 离职率多少为正常范围 全球快播

今天来聊聊关于离职率多少为正常范围知乎,离职率多少为正常范围的文章,现在就为大家来简单介绍下离职率多

2023-05-30 21:23:30

热消息:江西省共培育出18家国家服务型制造示范企业

中新网九江5月30日电(记者吴鹏泉)截至2022年,中部省份江西共培育出18家国家服务型制造示范企业(包括示范企

2023-05-30 21:06:13

当前头条:一图读懂 | 北京:到2025年人工智能核心产业规模达到3000亿元 持续保持10%以上增长

上证报中国证券网讯据北京市人民政府5月30日消息,北京市人民政府印发《北京市加快建设具有全球影响力的人

2023-05-30 21:01:39

经济活力加速释放 外资企业对中国营商环境满意度较高_观热点

在5月30日贸促会举行的月度发布会上,贸促会对外发布了《2023年第一季度中国外资营商环境调研报告》。报告

2023-05-30 20:53:37

哪些人群容易新冠“二阳”?如何科学防护?权威专家解答_全球今头条

近期,多地出现了新冠病毒感染散发病例,其中有一部分人是二次感染。疫情最新形势如何?新冠“二阳”后...

2023-05-30 20:14:43

诺德基金张昳泓:港股盈利预期或将逐步向上修正

5月29日,港股再度下跌,盘中创下2022年12月以来新低。值得注意的是,港股自1月底现高点以来,已连续调整近

2023-05-30 19:54:39

环球动态:有谁知道什么叫ConolaOil吗?

芥花籽油,哪里卖就不晓得了Chicken(鸡),BrownRice(糙米),Duck(鸭),LambMeal(羊,Oatmeal(燕麦片),PearledBa

2023-05-30 19:09:10

世界聚焦:双福幼儿园:举行30周年园庆暨庆“六一”活动

5月30日,双福幼儿园举行30周年园庆暨庆“六一”活动。活动中,师生们共同带来的《我与福幼的故事》《福...

2023-05-30 19:01:55

千亿镇,何以成“巨无霸”新亮点|新京智库 全球快报

2023年5月17日,广东省东莞市清溪镇大力发展夜经济,夜市众多,点燃城市“烟火气”。图 ICphoto万亿区、千

2023-05-30 18:55:30

情人节送什么花给女朋友比较好(情人节送什么花)-世界播报

今天小编岚岚来为大家解答以上的问题。情人节送什么花给女朋友比较好,情人节送什么花相信很多小伙伴还不知

2023-05-30 18:32:38

呼伦贝尔草原地带首次发现距今约2500-3000多年的赭石岩画

近日,内蒙古呼伦贝尔博物院与新巴尔虎左旗博物馆研究人员经过两年的考察和研究,将新巴尔虎左旗嵯岗镇伊和

2023-05-30 18:26:51

今日关注:江西一设区市通过一批人事任免

江西政读获悉,江西一设区市通过一批人事任免,具体如下:宜春市第五届人民代表大会常务委员会第十三次会议

2023-05-30 18:10:13

热消息:龙湖智创生活签约广西旅发集团 将为西山泉项目提供全委服务

合作达成后,龙湖智创生活将为西山泉项目提供全委服务,服务总面积超50万平方米。除了为项目提供综合的运营

2023-05-30 17:28:35

【世界热闻】实朴检测上市当年即亏损 深交所发函追问原因及合理性

(记者刘小菲)上市首年业绩大变脸的实朴检测,今日收到深交所下发的年报问询函。2022年,实朴检测实现营业收

2023-05-30 17:00:14

焦点日报:全球连线|来云南 看近亿只蝴蝶大爆发有多壮观

现代快报网是由凤凰出版传媒集团旗下的现代快报倾力打造的江苏新闻门户网站,目前在南京、苏州、无锡、常州

2023-05-30 16:54:36

连续刮碰 8 辆车!警方通报来了_今日快讯

5月29日晚上10时10分许,厦门市湖里区金山路五缘湾道日圆桥出岛方向下桥处路口发生一起多车连撞的事故。5月

2023-05-30 16:48:11

临河街又来新初高中;长春新挂牌3宗地;南四环二期征收公示 环球热头条

临河街又来新初高中;长春新挂牌3宗地;南四环二期征收公示,征收,大路,高中,南四环,净月区,南关区,长春市,

2023-05-30 16:11:06

巴尔贝里(巴贝尔瑞)

每日小编都会为大家带来一些知识类的文章,那么为大家带来的是巴贝尔瑞方面的消息知识,那么如果各位兴趣的

2023-05-30 16:05:35

【世界报资讯】两乘组即将“太空会师”!共轨生活都将完成哪些交接?

两乘组即将“太空会师”!共轨生活都将完成哪些交接?

2023-05-30 15:48:56

当前速看:探秘“中国竹子之乡”建瓯:竹中谋富

上睿机械生产车间内,员工在调试智能锯竹机。葛悦月摄中新网建瓯5月30日电(叶艺琳)位于福建省北部的建瓯市

2023-05-30 15:13:01

世界速讯:Jisoo再次被品牌“差别对待”?这次竟是Dior!

Jisoo虽然贵为BLACKPINK成员之一,拥有着全球的影响力和吸金力,但她被品牌差别对待的消息却是时有发生的事

2023-05-30 15:11:20

民政部:推动社会组织助力高校毕业生就业

国内首家中文网络媒体、79家中央新闻网站之一。内容涵盖国家公派留学、自费出国留学、国际教育、教育科技人

2023-05-30 14:56:30

ipad版本太低无法下载app怎么办_ipad版本过低无法安装软件

1、iPad软件无法更新的原因:1:当前系统版本以为最新版本。2、2:苹果服务器繁忙,暂时无法连接。3、建议

2023-05-30 14:34:50

cf大校到元帅需要多少经验_cf大校

2023贵州遵义市新蒲新区管理委员会水务局招聘见习岗位人员拟聘用公告 焦点滚动

许留山谢幕,中式甜品危矣?_世界资讯

光伏产业供应链价格报告(2023.5.30)

全球观速讯丨寿温泗源尊人(关于寿温泗源尊人介绍)

遏制隐形加班现象蔓延,专家建议劳动法中引入“离线权”

世界热消息:中国核电:核电电价短期内不会有下调的风险

申能股份(600642)5月29日主力资金净卖出3280.44万元

每日聚焦:AI发展速度太快 OECD考虑修订其AI指导方针

《巫师3》销量突破五千万份 全系列售出7500万份

如何把握好餐饮竞争多元化新趋向

组图海报|桥见重庆 建造未来

FXDD:欧元、英镑、日元、澳元和黄金最新走势分析(2022年9月19日)|世界短讯

夏天的文案短句干净治愈_夏天的文案 世界独家

快资讯丨成都个人贷款可以用于创业吗?

中国星辰|新“太空出差三人组”是怎么炼成的? 世界即时

环球资讯:法本信息:可转债转股价格调整为11.09元/股

50岁寿险买终身还是定期的好?买哪个比较划算? 微速讯

乡村快递代收点加盟流程_乡镇快递代收点怎么开-热消息

环球热头条丨单县、成武县:大力发展特色养殖业 促进农业发展

贳器店(贳)-天天播资讯

播报:崇州市侨界开展“迎大运 动起来” 美好公园城市畅步活动

最强战士 简谱 最强战士歌曲 热点聚焦

139期李白石排列三预测奖号:直选5码参考

隆鼻修复消肿时间会很久吗?会重新设计鼻形吗

x 广告
x 广告

Copyright @  2015-2023 港澳家电网版权所有  备案号: 京ICP备2023022245号-31   联系邮箱:435 226 40 @qq.com