每日经济新闻 2023-04-08 14:31:26
每经记者 杨煜 实习生 张艺蕾 每经编辑 张海妮
今日(4月8日),由中国人工智能学会主办的“人工智能大模型技术高峰论坛”主论坛在杭州萧山启幕。论坛上,欧洲科学院外籍院士、俄罗斯自然科学院外籍院士焦李成发表演讲。
焦李成指出,ChatGPT的成功离不开Transformer模型和基于人类反馈的强化学习(RLHF)的方法,其过程包括以下四个关键技术点。具体来看,ChatGPT的关键技术1在于,Transformer的强大表征能力为GPT的成功起到关键作用;ChatGPT的关键技术2在于奖励模型,即可根据人类偏好校准生成奖励模型(RM),并对GPT模型的“回答”进行评分优化;ChatGPT的关键技术3在于强化学习的原理及基本思想;ChatGPT的关键技术4在于提示学习方法。
同时,焦李成强调,GPT很伟大,但GPT并不完美。尽管ChatGPT取得了不错的进展,但它仍处于发展初期,依然存在训练时间长、资源消耗高、准确性有待提高、容易存在误导性、生成结果的一致性、对话历史长度限制、多语言支持、风格和语气的控制、创新性有待提升等技术特点与局限。
如需转载请与《每日经济新闻》报社联系。
未经《每日经济新闻》报社授权,严禁转载或镜像,违者必究。
读者热线:4008890008
特别提醒:如果我们使用了您的图片,请作者与本站联系索取稿酬。如您不希望作品出现在本站,可联系我们要求撤下您的作品。
欢迎关注每日经济新闻APP