一文读懂 | 引爆AI界的1750亿参数模型 GPT-3!

 

大家好, 我是Lucy@FinTech社区。
 

今天和大家介绍最近爆火的超大规模自然处理深度学习模型: GPT-3!
 

添加微信:fintech12,加入FinTech社区,提认知,攒人脉,求职招聘!

 

 

连深度学习之父、图灵奖得主Geoffrey Hinton在Twitter上表示了自己对于GPT-3模型的极高评价:

 

从GPT-3惊人的性能可以推测:生命、宇宙和万物的答案,只需要4.398万亿个参数而已。

 

 

现在我们独家解读一下这神秘模型到底是什么,它拥有怎样强大的功能,它的成功运用了什么样的技术?

 

由于内容丰富,这将是一个系列,我们会用三期陆续为大家带来对GPT-3模型详细的解读及应用

 

 

在第一期中,阅读本文你将收获:

 

1、GPT-3是什么

2、目前GPT-3的应用

 

一、GPT-3 是什么?
 

OpenAI的GPT-3,本质上是基于上下文的生成模型。 这意味着当给GPT-3某种上下文内容时,它会尝试填充其余的内容。例如,如果给它句子的前半部分,它将尝试扩充推测句子的下半部分,给一个问句,会给出回答,原来的初衷只能用来生成文字,但大道至简,一通百通,既然可以理解文字,那么一切基于自然语言的任务都有了被GTP-3涉足的可能性,如果给它上一篇论文的前半部分,它将生成其余的论文,如果给他一段代码的描述,在一定条件下,GPT-3就能够给出代码的具体内容。

 

二、GPT-3 现在能做什么?

 

 

文学创作,新闻编辑,前端设计,数据库工程师、会计、运维、智能客服……短短数周,已经有几十种巨大的可能性被发掘出来。接下来就让我们一起了解GPT-3目前涉足的领域。

 

2.1 像人类一样对词语做出自己的理解

GPT-3可以对任何单词进行自己的理解,并用一句话来描述“它”的感受

https://thoughts.sushant-kumar.com/word

让我们来看看GPT-3对于一些热门单词的态度吧。

 

 

看完之后是否可以引发你的思考呢?


 

2.2 根据用户的喜好创作文学作品

GPT-3模型可以进行创造性写作,展示了诗歌,对话文体,双关语使用,文学模仿和小说。

以下是GPT-3 为著名小说冰与火之歌改写的内容,可以假乱真,甚至更为精彩。

 

 

GPT-3比2019年就开始创造小说的前身GPT-2模型在参数上大116倍,同时功能也更强大。但是,GPT-3不仅仅是比GPT-2有更好的文字质量,它在本质上也是有所不同的,用户不是以传统的方式来使用已经存在的文本进行训练从而模仿文本,而可以通过对话方式告诉GPT-3用户想要什么样的内容。

 

参考链接:https://www.gwern.net/GPT-3
 

2.3 根据用户的需求编写代码

既然可以理解文本,生成故事,那么对于更结构化一般化的编程语言来说,GPT-3当然也有巨大的潜力,最喜欢偷懒的程序员们怎么放过这个机会呢?GPT-3 模型近日上线了一个能够自动生成代码的网站 debuid(https://debuild.co/)。在这网站注册后,用户只要用英语描述需求,前端代码会自动生成。


 

参考这个例子,我们希望可以做一个简单的“TODO”记事本。

 

 

过了短短几秒的等待,GPT-3已经返回给我们对应的界面和代码。

 

 

 

并且正常的运行!Amazing!

 

 

参考链接: https://www.youtube.com/watch?v=8psgEDhT1MM

 

除了以上介绍的项目之外,开发人员使用GPT-3 API构建了令人印象深刻的各种应用程序, 更多案例(https://gpt3examples.com/)。

包括通用Excel函数,自动前端设计,搜索引擎,甚至自动产生食谱等等。GPT-3 可以说潜力无限。

 

 

 

 

三、总结

 

类似GPT-3这样强大的模型还有很多可以挖掘的空间,行业引领者们也从未停止脚步。可以看到深度学习的价值越来越显示出来。
 

我们后面还会继续2期,敬请期待! 



 

#今日互动#

关于深度学习如何应用到量化交易, 大家有什么想了解的吗? 


 

近期热招: (点击标题,即可了解详情) 
 

百万招聘 | 只招Citadel 人选 - 推荐奖:  8万

金融科技招聘 | 机器学习专场

金融科技招聘 | 量化专场

金融科技招聘 | 技术专场

35家量化交易公司在招职位,年薪30-300万+奖金!