或许超越常规自然语言处理的ChatGPT

文章目录

1. 1. 什么是GPT？
2. 2. ChatGPT可以做什么？
3. 3. ChatGPT是否有替代品？
4. 4. 总结

特别凑巧，这几天又被ChatGPT的消息刷屏了。上一次被AI刷屏还是图形方向的Stable Diffusion。而我提到AI在语言处理方面的尝试，还就在上个月 《人工智能写的《蝙蝠侠》长什么样？》。

为什么说凑巧呢？因为这段时间很纠结于游戏的内容生产问题，毕竟只有2个人做一个其实体量不算小的游戏，内容填充是个很大的问题。为了能够减小工作量的同时，保证游戏内容充实，设计上已经做了几次改版了。最近的想法就是用自然语言处理来解决事件和对话的问题，已经看了有一段时间并做了些实践了。

先说体验的结论吧，要实际应用起来应该说还有一定距离。但是带给人的震撼和想象力，已经足够了。

什么是GPT？

GPT全称是“Generative Pre-Training”，直译过来就是“生成式预训练”。

而 Open AI GPT 是 OpenAI 团队在论文 《Improving Language Understanding by Generative Pre-Training》 中提出的预训练语言模型。

现在常用的GPT模型是GPT-3。GPT-3的神经网络包含1750亿个参数，为有史以来参数最多的神经网络模型。OpenAI于发表GPT-3的论文后，在次月为少量公司与开发人团放出应用程序界面的测试版。微软在2020年9月22日宣布取得了GPT-3的独家授权。

基本上可以说，GPT-3目前是这个领域的一家独大。OpenAI也是这个领域的霸主地位。

ChatGPT可以做什么？

ChatGPT 是基于GPT-3.5模型的魔改。GPT-3.5和3.0的区别有几点，首先是和微软合作，在微软的Azure AI云服务器上完成了训练；另一个重要的区别是其训练数据集里除了文字，还加入了代码，因此 ChatGPT 现在已经可以写程序，甚至给现成的代码找bug了。

为什么试用过 ChatGPT 的同学都感觉提升很明显？一个重要的原因是 ChatGPT 引入了一个新的训练方法RLHF，见论文 《Training language models to follow instructions with human feedback》，简单地说，就是用人类反馈的方式加强训练。

他们其实在最初的论文中就提及了一种新的训练方式，即半监督的方法：结合无监督的预训练和有监督的微调。就是这个半监督，成就了今天 ChatGPT 的震撼。

作为一个语言模型，ChatGPT 具备最基本的文本生成能力，在创作和续写小说、诗歌等文学创作场景上的表现不凡。

此外，它还能以非文本形式与人对话，甚至能够各种 emojis 的含义且能将其按照文本叙事的逻辑进行排列。

当然，更震撼的还在于 ChatGPT 能够帮助调试代码，并且还能对提问的合理性提出质疑，要求用户调整提问。以至于 Replit 的 CEO 也发帖称赞它的代码能力：不仅能够解释 bug，还能修复 bug 并解释如何修复。

但是恐怕最让人感到逆天的，是它强大的问答能力无不透露出其充当甚至代替搜索引擎的潜力。参见下图。

自己实际试用以后，确实感受到了强大，不仅仅在于它听懂了你字面上的意思，甚至能够理解语境的含义。也难怪有人让它来替自己跟Adobe的销售砍价。

当然，被举出来的例子都是完美的表现。其实它也有很多词不达意的时候，甚至你问的A领域的问题，它回答的是Z领域的建议。尽管瑕不掩瑜。

但，以上这些是否就是 ChatGPT 的终极目标？很难说，因为结合人们的想象力，它可以为视频AI提供脚本、可以为绘画AI指定描述词、可以为音乐AI提供乐谱风格……

ChatGPT是否有替代品？

这是我给自己提出的很有意思的问题，也因此我才能在解决内容生产的道路上继续前行。

没错，GPT-3.5已经证明了它的强大，但是这并不影响已经足够应对一些非正式场景的GPT-3。而GPT-3已经有了开源平替，我已经初步验证完可行性的 GPT-Neo。

如果说当年的 Style2Paint 和 Stable-Diffusion 让我眼前一亮， 那 GPT-Neo 算得上我现在手里的当红小生。

我不太清楚目前国内一些新兴的自然语言处理AI平台是基于什么技术，但是 GPT-Neo 经过自己的训练，完全可以实现同等效果。

它目前包含了三组模型：EleutherAI/gpt-neo-2.7B（容量10G+，包含27亿参数）、EleutherAI/gpt-neo-1.3B（容量5G+，包含13亿参数）、EleutherAI/gpt-neo-125M（容量500Mb+，包含1.25亿参数）。最小的模型结果还是有点惨不忍睹，最大的模型在英文方面已经游刃有余。

总结

大概，AI的时代越来越近了。如果它们开始代替我们生产所有内容，那么我们还能多大程度上制定规则？

谁知道呢，总之我们现在需要它们来提升效率就对了 😀