文章目录
  1. 1. 什么是GPT?
  2. 2. ChatGPT可以做什么?
  3. 3. ChatGPT是否有替代品?
  4. 4. 总结

特别凑巧,这几天又被ChatGPT的消息刷屏了。上一次被AI刷屏还是图形方向的Stable Diffusion。而我提到AI在语言处理方面的尝试,还就在上个月 《人工智能写的《蝙蝠侠》长什么样?》

为什么说凑巧呢?因为这段时间很纠结于游戏的内容生产问题,毕竟只有2个人做一个其实体量不算小的游戏,内容填充是个很大的问题。为了能够减小工作量的同时,保证游戏内容充实,设计上已经做了几次改版了。最近的想法就是用自然语言处理来解决事件和对话的问题,已经看了有一段时间并做了些实践了。

先说体验的结论吧,要实际应用起来应该说还有一定距离。但是带给人的震撼和想象力,已经足够了

什么是GPT?

GPT全称是“Generative Pre-Training”,直译过来就是“生成式预训练”。

而 Open AI GPT 是 OpenAI 团队在论文 《Improving Language Understanding by Generative Pre-Training》 中提出的预训练语言模型。

现在常用的GPT模型是GPT-3。GPT-3的神经网络包含1750亿个参数,为有史以来参数最多的神经网络模型。OpenAI于发表GPT-3的论文后,在次月为少量公司与开发人团放出应用程序界面的测试版。微软在2020年9月22日宣布取得了GPT-3的独家授权。

基本上可以说,GPT-3目前是这个领域的一家独大。OpenAI也是这个领域的霸主地位。

ChatGPT可以做什么?

ChatGPT 是基于GPT-3.5模型的魔改。GPT-3.5和3.0的区别有几点,首先是和微软合作,在微软的Azure AI云服务器上完成了训练;另一个重要的区别是其训练数据集里除了文字,还加入了代码,因此 ChatGPT 现在已经可以写程序,甚至给现成的代码找bug了。

为什么试用过 ChatGPT 的同学都感觉提升很明显?一个重要的原因是 ChatGPT 引入了一个新的训练方法RLHF,见论文 《Training language models to follow instructions with human feedback》,简单地说,就是用人类反馈的方式加强训练

他们其实在最初的论文中就提及了一种新的训练方式,即半监督的方法:结合无监督的预训练和有监督的微调。就是这个半监督,成就了今天 ChatGPT 的震撼。

作为一个语言模型,ChatGPT 具备最基本的文本生成能力,在创作和续写小说、诗歌等文学创作场景上的表现不凡。

此外,它还能以非文本形式与人对话,甚至能够各种 emojis 的含义且能将其按照文本叙事的逻辑进行排列。

当然,更震撼的还在于 ChatGPT 能够帮助调试代码,并且还能对提问的合理性提出质疑,要求用户调整提问。以至于 Replit 的 CEO 也发帖称赞它的代码能力:不仅能够解释 bug,还能修复 bug 并解释如何修复。

但是恐怕最让人感到逆天的,是它强大的问答能力无不透露出其充当甚至代替搜索引擎的潜力。参见下图。

来自Goolge的结果

来自ChatGPT的回答

自己实际试用以后,确实感受到了强大,不仅仅在于它听懂了你字面上的意思,甚至能够理解语境的含义。也难怪有人让它来替自己跟Adobe的销售砍价。

当然,被举出来的例子都是完美的表现。其实它也有很多词不达意的时候,甚至你问的A领域的问题,它回答的是Z领域的建议。尽管瑕不掩瑜。

但,以上这些是否就是 ChatGPT 的终极目标?很难说,因为结合人们的想象力,它可以为视频AI提供脚本、可以为绘画AI指定描述词、可以为音乐AI提供乐谱风格……

ChatGPT是否有替代品?

这是我给自己提出的很有意思的问题,也因此我才能在解决内容生产的道路上继续前行。

没错,GPT-3.5已经证明了它的强大,但是这并不影响已经足够应对一些非正式场景的GPT-3。而GPT-3已经有了开源平替,我已经初步验证完可行性的 GPT-Neo

如果说当年的 Style2PaintStable-Diffusion 让我眼前一亮, 那 GPT-Neo 算得上我现在手里的当红小生。

我不太清楚目前国内一些新兴的自然语言处理AI平台是基于什么技术,但是 GPT-Neo 经过自己的训练,完全可以实现同等效果。

它目前包含了三组模型:EleutherAI/gpt-neo-2.7B(容量10G+,包含27亿参数)、EleutherAI/gpt-neo-1.3B(容量5G+,包含13亿参数)、EleutherAI/gpt-neo-125M(容量500Mb+,包含1.25亿参数)。最小的模型结果还是有点惨不忍睹,最大的模型在英文方面已经游刃有余。

总结

大概,AI的时代越来越近了。如果它们开始代替我们生产所有内容,那么我们还能多大程度上制定规则?

谁知道呢,总之我们现在需要它们来提升效率就对了 😀

♦ 本文固定连接:https://www.gsgundam.com/2022/2022-12-11-meet-chatgpt-natural-language-processing-open-ai/

♦ 转载请注明:GSGundam 2022年12月11日发布于 GSGUNDAM砍柴工

♦ 本文版权归作者,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接。

♦ 原创不易,如果页面上有适合你的广告,不妨点击一下看看,支持作者。(广告来源:Google Adsense)