(资料图片)

云从科技近期接受机构调研时表示，从技术角度来看，公司认为ChatGPT是一个下游任务迁移之后更加专用的大模型，主要面向自由对话任务(Chat)。一方面，ChatGPT的成功，本质上是在GPT的基础上引入了基于人类反馈的强化学习，即引入人类专家的知识和偏好，这与公司的CWOS操作系统的理念比较相近。但我们认为纯粹依靠海量数据做深度学习的模型，在未来可能会遇到瓶颈。另一方面，GPT的成功也证明了引入专家知识做下游任务的迁移，最终得到专用的模型是正确的路径。这是一种实践层面的胜利，而非技术层面的革命性进步。

从业务角度来看，之前基于公司业务的需求，公司对预训练模型生成式的AI技术展开了相关研究，主要出发点是公司通过提升绝对性能方面的优势，以便在CV领域继续保持相应的技术地位，并且保持算法性能(即算法效果的技术水平)。同样公司在具体业务中发现，很多具体场景下有效数据(样本)较少，此时，预训练模型就能在降低对数据依赖的方面提供有效的帮助。

从行业角度来看，目前业界认为，大概达到千亿级的参数规模后，智能化的效果将达到明显的提升。公司目前正在考虑减少NLP的中间技术研究，并集中精力投入到超级语言模型方面的探索，并加大算力、算法以及参数规模的投入。

标签：