一文了解 ChatGPT 等 LLMs 得到明显改进的 3 个变化

欧易OKX

欧易OKX

               

欧易OKx是全球三大比特币交易所之一,注册即开最高6万元盲盒,100%中奖!

           官网注册

原文作者:Tanya Malhotra

来源:Marktechpost

近年来,大型语言模型(Large Language Models,LLMs)在全世界受到了广泛赞赏,并在自然语言处理领域备受欢迎。这使我们能够使用比以往任何时候都更好、更清晰的语言理解来描述智能系统(Intelligent Systems)。

诸如 GPT-3、T5、PaLM 等 LLMs 的性能有了显着提高,并且这些模型将继续存在,因为它们可以完成从通过学习阅读来模仿人类,到生成文本和总结长段落内容的所有工作。而根据一些深入的研究,如果 LLM 的规模很大,那么它的表现就会很好。通过在大量数据上训练这些模型,它们可以理解人类语言的语法、语义和语用学。

由 OpenAI 开发的流行的大型语言模型 ChatGPT 之所以发展得如此之快,正是因为采用了人类反馈强化学习(RLHF)等先进技术。通过 RLHF,机器学习算法结合并使用人工输入提高了模型的性能。它针对预训练的 LLM 进行了微调,用于开发聊天机器人、虚拟助手等任务。

此外,ChatGPT 等 LLMs 所基于的预训练基础模型也得到了明显的改进。这主要是由于三个方面的变化:

1.实践证明,模型的扩展性(Scaling)对提高其性能很有帮助。以 Pathways 语言模型(Pathways Language Model,PaLM)为例,该模型通过扩展小样本学习(few-shot learning)大大影响了其性能,小样本学习可以减少根据具体应用调整模型所需的特定任务训练实例的数量。

通过使用 Pathways 语言模型在 6144 TPU v4 芯片上扩展和训练 5400 亿个参数,PaLM 展示了重复扩展的好处,其表现超过了各种传统模型,并显示出很大的进步。因此,深度和宽度的扩展都是提高基础模型性能的一个重要因素。

2.另一个变化是在预训练时增加标记数量的过程。像 Chinchilla 这样的模型(开源语言模型)已经证明,通过增加预训练数据,大型语言模型的表现会更好。

Chinchilla 是一个计算最优模型。在相同的计算预算下,在 70B 参数和比 Gopher 模型多四倍的数据上进行训练,Chinchilla 的表现一致优于 Gopher,它甚至比 GPT-3、Jurassic-1 和 Megatron-Turing NLG 等 LLMs 效果更好。这清楚地描述了对于每一个计算最优的训练,标记的数量应该相应地缩放——即模型大小的两倍,因此训练标记的数量应该是两倍。

3.第三个变化是使用干净和多样化的预训练数据。Galactica 的性能证明了这一点,它是一种存储、混合和推理科学知识的大型语言模型。经过几篇科学论文文本的训练,Galactica 的表现优于 GPT-3、Chinchilla 等模型。另一个大型语言模型 BioMedLM 是一种针对生物医学文本的特定领域 LLM,在针对特定领域数据进行训练时,它表现出了巨大的性能提升。它清楚地表明,在特定领域的数据上进行的预训练胜过在通用数据上的训练。

结论

LLMs 的成功无疑归功于多种因素的混合,包括 RLHF 的使用和预训练基础模型的发展。这三个变化极大地影响了 LLMs 的性能。此外,GLaM(通用语言模型)通过使用稀疏激活的混合专家架构(Mixture-of-Experts architecture),以更少的训练成本扩展模型的容量,从而显着提高了性能。因此,这些变化为更高级的语言模型开辟了道路,而这些模型将继续让我们的生活变得轻松。

风险提示:根据央行等部门发布“关于进一步防范和处置虚拟货币交易炒作风险的通知”,本网站内容仅用于信息分享,不对任何经营与投资行为进行推广与背书,请读者严格遵守所在地区法律法规,不参与任何非法金融行为。本文收集整理自网络,不代表经典网立场,如若转载,请注明出处:https://jingdian230.com/jinse/17747.html

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台用户上传并发布,本平台仅提供信息存储服务。

Special statement: The above contents (including pictures or videos, if any) are uploaded and released by users of the we-media platform. This platform only provides information storage services.

(0)
欧易OKX

欧易OKX

               

欧易OKx是全球三大比特币交易所之一,注册即开最高6万元盲盒,100%中奖!

           官网注册

相关推荐

  • 晋城31名妇女获155万元政府贴息贷款

    导读:晋城31名妇女获155万元政府贴息贷款,晋城房贷利率多少,晋城小额贷款,晋城市水务局,晋城市小额贷款公司,晋城市委孙世新,晋城市公安局,晋城市政协,晋城银行,政府贴息贷款政策…

    金色财经 2023年 9月 5日
    108
  • 轮番上演「纸牌屋」的Uniswap何去何从?

    作者:Terry 2 月 5 日,a16z 向 BNB Chain 上部署 Uniswap V3 的最终提案提出反对票,导致 Uniswap 登陆 BNB Chain 的计划搁浅。…

    2023年 2月 6日
    262
  • 消费贷款利率普涨 10万一年增息3千

    导读:消费贷款利率普涨 10万一年增息3千,2020年11月一年期贷款市场报价利率,息票利率,消费贷利率2021年利率,年利率怎么算利息,消费贷收紧,消费贷款利率和房贷利率哪个高,…

    金色财经 2023年 9月 4日
    101
  • 小两口贷款买车无力还贷被起诉

    见身边的人都开上了“四个轮子”,小两口咬咬牙按揭购买了一辆高档轿车(三十多万元),后因做工程赔了钱,导致无力还贷,最终被判解除按揭合同,提前还清贷款。记者从法院了解到,这个案子只是…

    金色财经 2023年 10月 19日
    66
  • 年末银行个人信用贷款生意火 提前消费意识提升

    想要年末在银行办理贷款,很多人都认为不是件容易事。其实情况并非如此,临近年尾,银行的流动资金不再那么紧张,因此有更多的精力和资金来办理个人贷款这块业务。另一方面,由于经济增速的放缓…

    金色财经 2023年 11月 18日
    72
  • Blur创始人:别只看到刷量 我们是在推动NFT行业进步

    撰文:Pacman,Blur 创始人 编译:Babywhale,Foresight News 近期因为 Blur 第二阶段的空投预期,使得 NFT 市场的交易变得史无前例地旺盛。然…

    金色财经 2023年 3月 1日
    142
  • 欧易OKX

    欧易OKX

                   

    欧易OKx是全球三大比特币交易所之一,注册即开最高6万元盲盒,100%中奖!

               官网注册
  • 招商银行全币种信用卡可以在本地取现吗

    不少人在办理招商银行卡时,会用银行人员询问你是否办理信用卡,办理信用卡时,会向你推荐全币种信用卡。信用卡就一种提前预支自己的钱财,不少用户询问到招商银行全币种信用卡可以在国内取现吗…

    2024年 1月 19日
    63
  • 深度剖析BRC-20的风险因素

    近年来,加密货币市场的增长显著,出现了众多代币和项目。在这个市场中,比特币旁边还有很多其他货币在分散流动性。尽管不少代币试图成为下一个比特币,但大多数都以失败告终,只为少数人带来财…

    2023年 5月 6日
    202
  • 生源地贷款:拓宽学子求学之路

    生源地贷款:拓宽学子求学之路 在如今知识爆炸的时代,教育对于个人乃至整个社会的价值不言而喻。然而,许多来自经济困难家庭的学生却因为学费和生活费用的压力,失去了进一步追求高等教育的机…

    金色财经 2023年 9月 22日
    84
  • 吉林省推出土地流转收益保证贷款

    为有效解决农民融资难、贷款担保难问题,今年6月,吉林省在全国率先开展了“土地流转收益保证贷款”试点工作,明确在梨树县开展试点,参与试点的金融机构为农业银行、农信社、吉林银行3家。截…

    金色财经 2023年 10月 28日
    89