关于chatGPT的几点了解-Toy模板网

这篇具有很好参考价值的文章主要介绍了关于chatGPT的几点了解。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

GPT X（生成文字）是预训练模型，俗称大模型，Codex（生成代码）、Embedding（生成向量，用于search，classify，compare text）都是基于GPT X模型派生的。
GPT架构是地表最强自然语言类深度学习架构，用来理解文字并做出相应的输出。当前text-devinci-003为Azure最强AI产品，数据截止到2021年6月。
ChatGPT和DALL-E是以GPT3.5（生成文字）为基础衍生出来的应用，不是模型。ChatGPT优化问题解答和对话形式输出，DALL-E优化了RGB三原色输出。Azure将在3月份上架Enterprise chatGPT的应用，能够加强已有的对话机器人，建设完成的对话机器人，增强客服员工的体验。chatGPT让客服AI体验体验更好，可提升的地方在于语义理解、按场景动态生成自然对话、多轮对话（上下文继承）、多语种对话，Text-to-speech。结合文字转语音，在Car insurance（车险）案例中表现优异。
微软主要控股OpenAI，并为其研究提供了基础支撑，包括：MLOps（机器学习平台）、训练框架（Deepspeed）、基础算力（微软提供的超级计算环境），收购的成本以基础设施支付。
Azure AI中OpenAI Service是可定制的AI模型，提供认知服务。Azure的Bot Service为基于场景的服务，即认知服务的应用，各厂商在此基础上催生了很多的partner Solution。客服中心和会话AI是H3C关注领域，提供智能协助，成为虚拟助手，识别客户情绪，优先应对情绪不佳的客户。
**Azure OpenAI服务如何保障数据安全？**部署在自己的Azure订阅中，只由所有者保护和访问，并与个人数据集和应用程序绑定，提供专用网络的企业级安全，基于角色的访问控制（RBAC）。
Azure OpenAI申请方式：(1)具备一个Azure国际版订阅 (2)需要完成的构思好应用场景 (3)访问http://aka.ms/oai/access
GPT-3的主要概念：Prompt（文本输入提示，为引擎提供上下文）、Completion（GPT-3根据提示生成的输出）、Tokens（令牌，可理解为较小的乐高积木，组合成词语，100令牌约等于75单词。API在处理文本之前将文本分为令牌，令牌决定价格，Prompt和completion都计算Tokens）。
Prompting Engineering指导：通俗的理解就是用户要知道如何合理的进行提问，这一个专题。Prompting Engineering指导1：Few-Shot Reasoning（可解释性）；
Prompting Engineering指导2：Model Reasoning-Chain-of-Thought
多个不同任务，语料不一样，模型的标签准备也不一样。
GPT-3有当前有四个模型，Ada、Babbage、Curie、Davinci，都是人名，能力越来越强，Davinci只接受4000tokens的Prompt，其他三种都是2048tokens。Codex模型有两种Cushman-codex和Davinci-codex。企业在选择模型时，可以从高到低依次试用。
GPT、Codex、Embedding都能做什么？GPT-X【生成文章、归纳总结、打标签分类】Codex【文字转代码和SQL】Embedding【文字转矢量，帮助生成更强大的知识库（聚类），万科预警平台案例】DALL-E【文字转图片】。
DALL.E2现在是2代模型，目前在Azure上还是内测版本（preview），可通过简单的文本生成无限多的原创图像，加速设计或激发创造性决策，价格感人。
OpenAI需求关注点，考虑这5点权衡是否使用：(1) 同时处理多个task的通用模型 (2)生产人工模拟内容，同时保护数据隐私和安全 (3)需要加速的原型设计和上市，满足多种应用场景 (4)希望使用一个少量训练或零训练的模型 (5)查找之前描述过的解决方案或用户案例。
国外应用案例介绍：CARmax（二手车商，完成了11年的车辆数据摘要），Mount BladeII（角色扮演游戏，Fine-Tuning结合TTS Custom Neural Voice和Cross Lingual Adaptation实现更强大的NPC表现力及游玩体验）,Viva Sales（结合CRM资料，自动撰写邮件），sogeti（虚拟数字人），Farlands（农产品收购集团，试用OpenAI Service获取Dynamics沟通记录中的情绪价值）。
Fine-Tuning的最佳实践
1. Make sure to completely remove wrong labels in Fine-Tuning dataset
  1. Pre-existing dataset:offensive or inaccurate content
  2. Large dataset；review as many random samples as possible
2. Conditional Generation
  1. 在提示末尾使用分隔符\n\n###\n\n。最终向模型发出请求时也要追加此分隔符。
  2. 在完成结果结尾时使用结束标记，例如END。
  3. 在推理时将结束标记添加为停止序列，例如stop=[”END”]
  4. 至少约500个示例。
  5. 确保提示加上完整结果不超过2048个标记（包括分隔符）。
  6. 高质量的示例遵循相同的所需格式。
  7. 用于微调的数据集在结构和任务类型上与模型未来的用途非常接近。
探索：Extend CLU to Conversational AI with GPT
1. Current challanges
  1. Language service provided a subset of AI needed for conversational experiences
    1. CLU offers language understanding(intent/entities)
    2. CQA offers extrative QA used as fallback
  2. Lack of modern solution for language generation and dialog
    1. Rules-based language generation by Bot Framework/PVA/Nuance
    2. Rules-based and rigid dialog for slot filling by Bot Framework/PVA/Nuance
2. Opportunity——核心：相辅相成
  1. Extend CLU to offer more natural interactions modernized LG powered by chatGPT
  2. Upgrade CLU to offer dynamic dialog manager through chatGPT
  3. Offer rich Question Answering grounded with enterprise data using GPT