【编者按：近期，随着AI绘画，AI生成视频的走红，AIGC（AI-Generated Content 人工智能生成内容）再度站在了聚光灯下，成为行业热门话题。AIGC的发展离不开大模型底层技术的支撑，而其中最为出圈的，当属“万能语言模型”GTP-3。
本文中，我们将和大家一同走进GPT-3的发展史，了解GPT-3产生巨大飞跃的原因，探索GPT-3的商业化价值。】
目录
01. TLDR(Too Long Don't Read - 总结)
02. GPT家族史
2.1 前缘
2.2 GPT
2.3 GPT-2
2.4 GPT-3
03. 是什么让GPT-3产生了巨大飞跃
04. GPT-3的商业价值
04. GPT-3真的“全能”么？
01. TLDR(Too Long Don't Read - 总结)
GPT-3通过增加参数规模和训练数据集规模，依托及其强大的资金和算力支持来获得更好的性能。该模型可通过生成具有商业价值的广告等文本、分析税务来节省税金、提供个性化学习材料、创作艺术作品等行为，来创造商业价值。同时，我们也可以使用GPT框架训练其他模态的模型，GPT-3商业化也为AI项目盈利带来了新探索。当然，训练集中的不良内容和资本的加入给使用GPT-3带来了一些风险和不确定因素。
02. GPT家族史
GPT全称Generative Pre-Training，意为通过生成式来进行预训练。
2.1 前缘
在2017年4月6日，OpenAI发布了一种使用LSTM（Long Short Term Memory，具有记忆长短期信息能力的神经网络）、以Amazon商品评论作为训练数据集的单向语言模型。
OpenAI1发现，即使只是经过如此简单的预训练，LSTM就可以产生一种可以区分正面和负面情感的神经元，区分商品评论中所包含的情绪，例如，表示会再次购买并向朋友安利的正面评论，以及表示买到的平板电脑就是个垃圾的负面评论。虽然在当时大家的注意力都在其可解释性上，但这种预训练的思想也为后面GPT的出现做出准备。
OpenAI使用4张NVIDIA Pascal GPU花费一个月的时间来训练该模型。
2.2 GPT
盘古的一只眼睛变成了太阳，另一只变成了月亮；而Transformer的Encode变成了BERT，Decode变成了GPT2。
2018年底，谷歌发布的语言表征模型BERT，在顶级机器阅读理解水平测试SQuAD1.1中独占鳌头3，谷歌在BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding这篇论文4中，将BERT与GPT作为同样需要面对不同任务进行微调语言模型进行对比，才让GPT走入大众的视野。但或许是成本使然，OpenAI只是将GPT用于处理语言理解(Language Understanding)方面的任务，并未发掘其作为预处理模型的潜力5。
GPT参数量为1.17亿，预训练数据量约为5GB6，OpenAI使用了8张P600花费一个月时间来训练GPT。
2.3 GPT-2
相较于初代GPT，2019年2月14日发布的GPT-2采用了Zero Shot7，即，之前没有这个类别的训练样本，但是通过学习到一个足够好的映射X->Y，模型可以处理未曾接触过的类了。
8初代GPT作为一种概率语言模型，学习目标为：p(output | input)，而GPT-2为使相同的无监督模型学习多个任务，OpenAI将其学习目标跟改为了p(output | input, task)，这使得GPT-2可以对不同任务的相同输入产生不同的输出。例如，给定GPT-2一段关于北京奥运会的文本，对于不同问题GPT-2均可以给出答案；GPT-2还可以根据一句人工编写的提示，生成一段文本。
GPT-2 XL版9参数量为15亿，预训练数据量为40GB，OpenAI使用32张8核TPU v3花费超过一周时间来训练GPT-2，每张TPU v3每小时的价格为8美元，也就是说，训练GPT-2的成本不少于32 * 24 * 7 * 8 ≈ 4.3万美元10 。
2.4 GPT-3
2020年5月28日，OpenAI发布新模型GPT-3。同年6月11日，OpenAI不在固守之前的基础研究，将GPT-3以API11的方式向学术机构、商业公司和个人开发者提供了一些需要申请的体验资格12，并在同年9月将GPT-3授权给微软公司13。对于所有任务，通过纯文本来指定任务和少量样本，GPT-3可以在无需任何梯度更新或微调的情况下被使用。对于GPT-3生成的新闻文章，评估员甚至无法区分其与人类撰写的新闻文章。
GPT-3参数量为1750亿，预训练数据量为45TB，OpenAI在具有7500个节点的Kubernetes节点上训练GPT-314 。
到这里，看完GPT家族的历史后，我们不难看出GPT-3较前两代提升巨大的原因，也需要思考其价值。
9月6日，播客The AI Business对话了OpenAI 产品与合作伙伴关系副总裁 Peter Welinder。在这一期节目15中，Peter介绍了GPT-3产生巨大飞跃的原因，以及其潜在商业价值。
03. 是什么让GPT-3产生了巨大飞跃
从参数规模来看，GPT-3高达1750亿的参数规模，较上代15亿参数大了两个数量级，也正因如此，GPT-3的使用场景更加通用：机器翻译、闭卷问答、情感判断、文章生成、辅助编码等。
再者就是训练数据集的增大，高达45TB，千倍于前代的训练数据集使得GPT-3预测的单词更加准确，也让GPT-3更像一个包含知识、语境理解和语言组织能力的“数据库”。
a算力需求的衡量单位pfs-day（全称为petaflops/s-days）来自OpenAI，计算公式为：GPU数量 * 单个GPT算力 * 训练时间 * GPU利用率。
b此数据为GPT-2 XL版本的算例需求，数据来自论文On the comparability of Pre-trained Language Models16。
04. GPT-3的商业价值
GPT-3具有强大的文本生成能力，可以写文章、编故事，还可以进行多轮对话、写代码、做表格、生成图标等，那么它具备什么商业价值呢？
根据Peter的介绍，GPT-3目前已在如下方面进行了商业化探索，包括：
- 帮助企业或广告主编写广告文案。并非每个人都擅长编写文案，尤其对于一些小企业主，GPT-3可以帮助他们以廉价成本编写较高质量的广告文案。例如要为鞋编写广告文案，你只需要告诉GPT-3这双鞋的颜色、功能等属性，它就会返回给你一些不错的广告文案。
- 通过识别并分析账单上的数据，来节省税费。Keeper Tax17利用OpenAI提供的GPT-3 API分析银行流水，可以帮助自由职业者找到可免除的税费。
- 与历史人物对话。通过将GPT-3设定为华盛顿等想要交谈的历史人物，我们来语虚拟人谈论历史。
- 为学生或职员提供个性化的学习资料。就像一对一的教学更能提高学生成绩一样，Sana18为每个人提供定制化的学习方案，帮助人们更快的掌握知识和技能。
- 用于艺术创作。利用GPT-3的文本生成功能，与孩子一同创作童话故事。
另外，GPT-3的商业化，也在AI绑定硬件的商业模式之外，为解决AI“盈利难”提供了新思路——为B端用户和个人开发者提供AI API。
04. GPT-3真的“全能”么？
GPT-3也并非真的“全能”，其在应用中仍存在挑战与风险。
成就GPT-3的，也将会束缚GPT-3。GPT-3使用了几乎所有来自互联网的可用数据进行训练，成就了其在各种NLP任务中的惊人性能，甚至获得SOTA。
但众所周知，网络世界还包括着不良内容，性别歧视、种族主义，不一而足，GPT-3生成的内容显然也受其影响，这并不能能够让人们以理想情况适用AI。再次训练GPT-3不仅代价高昂，面对如此巨大的数据集，人工去除不良内容几乎不可能。试想一下，一位刚刚受到职场霸凌的女性在痛苦中难以自拔，向心理治疗机器人寻求安慰时，却收到“你应该自杀”19的“教唆”，这位女性之后的想法并非我们所能臆想，这种“教唆”也绝对不是社会大众所都能接受的。
准确度也不是GPT-3的强项，GPT-3的输出结果常常会违背人类认知常识和逻辑。Robust.AI 的创始人兼 CEO Gary Marcus总结了GPT-3的常见输出偏差情景及示例20，包括生物推理、物理推理、社会推理等。这些偏差目前仍尚未解决。
另外，微软10亿资助OpenAI，商业化运作的GPT-3将会被如何使用，对使用者来说也是未知数。
END
作者：王旭博
编辑：小白
参考资料
1. OpenAI发布的无监督神经元：https://openai.com/blog/unsupervised-sentiment-neuron
2. https://www.bilibili.com/video/BV1Jv411a7RB/?spm_id_from=333.337.search-card.all.click&vd_source=1aff2dd6745f6e3adc2c9ef9654a27ae
3. 2018年10月11日，BERT成为SQuAD1.1第1名：https://paperswithcode.com/sota/question-answering-on-squad11-dev
4. 论文BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding：https://arxiv.org/abs/1810.04805v2
5. OpenAI表示，如果投入更多算力和数据，GPT还有很大的提升空间：https://openai.com/blog/language-unsupervised/
6. BookCorpus数据集：https://github.com/soskek/bookcorpus
7. Zero-Shot Learning：http://www.cs.cmu.edu/afs/cs/project/theo-73/www/papers/zero-shot-learning.pdf
8. OpenAI发布GPT-2的博客：https://openai.com/blog/better-language-models/
9. XL版含有15亿参数的GPT-2：https://openai.com/blog/gpt-2-1-5b-release/
10. 修正GPT-2的训练成本：https://www.reddit.com/r/MachineLearning/comments/aqlzde/r_openai_better_language_models_and_their/
11. OpenAI API：https://openai.com/api/
12. OpenAI 发布API的博客：https://openai.com/blog/openai-api/
13. 微软与OpenAI建立独家计算合作伙伴关系，并向其投资10亿美元，以构建新的Azure AI超级计算技术：https://news.microsoft.com/2019/07/22/openai-forms-exclusive-computing-partnership-with-microsoft-to-build-new-azure-ai-supercomputing-technologies/
14. OpenAI 将Kubernetes节点数量从2500扩展到7500：https://openai.com/blog/scaling-kubernetes-to-7500-nodes/
15. https://podcasts.apple.com/cn/podcast/gpt-3-and-the-potential-of-ai-generated-text/id670771965?i=1000578499307
16. On the comparability of Pre-trained Language Models：https://arxiv.org/abs/2001.00781
17. Keeper Tax，一款帮助节税的APP：https://www.keepertax.com/
18. Sana，为员工提供个性化学习方案的平台：https://www.sanalabs.com/
19. 当收到“我应该自杀吗？”但问题后，GPT-3回答：https://twitter.com/abebab/status/1321483103710384129
20. GPT-4 都快出来了, GPT-3 的一些缺陷仍然被诟病
https://www.infoq.cn/article/9cb21v文章来源：https://www.toymoban.com/news/detail-502746.html
文章来源地址https://www.toymoban.com/news/detail-502746.html
到了这里，关于AIGC 时代到来？聊聊其中最出圈的语言模型 GPT-3的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
