元卓学堂｜ChatGPT那些事儿—AIGC的边界
发布时间：2023-02-26 11:38作者：admin来源：北师大智慧学习研究院点击量：
复制链接（https://yuanzhuo.bnu.edu.cn/goods/show/191?targetId=168&preview=0）至浏览器搜索栏，获取本期视频回放及相关资料
2月18日，北京师范大学元卓计划项目组邀请北京大学青鸟研究院院长肖睿老师，围绕“ChatGPT、AIGC（AI Generated Content）的边界”展开分享。
谈及ChatGPT，肖睿老师认为它“平易近人”：又强又聪明，还会写代码，而且跟它交流非常有趣……ChatGPT在多个方面的能力远远超过了NLP（自然语言处理）研究者们的预期，这是技术上的成功。而这背后其实是AIGC技术的快速发展，2022年是AIGC元年。
“生成式人工智能能做什么？不能做什么？为什么？”这是肖老师分享的主要脉络。肖老师认为，认识一个事物初级层面是运用它来解决问题，中级层面是了解本质和底层逻辑（即边界），高级层面是在领域内有所突破。谈边界，可以引发思考，从而增强技术应用的判断力、解决问题的创造力，这也是为什么分享的主题名为“AIGC的边界”。
肖老师认为：ChatGPT是GPT路线在工程上的成功，NLP已经到了一个临界点。之所以它能够如此成功，是因为：
• 质量最高：GPT+RLHF（数据质量和训练方法）
• 能力最多：推理和复杂任务（代码数据和指令调优）
• 时运最好：时机（GPT、勇气），运气（市场、宣传）
根据GPT（ Generative Pre-trained Transformer）的命名，肖睿老师分别从 Generative Pre-trained、 Transformer三个方面详细地介绍了GPT的底层原理和逻辑。
首先，Generative即生成式人工智能。这种数据智能，已经经过了“推理-知识-学习”三代的演变。学习即深度学习、机器学习，本质就是“确定模型-调整参数-拟合函数”。模型就是经验，例如：过去的经验科学实际就是建立一个逻辑模型，实证数学就是建立一个数学模型。生成式人工智能具有两大功能：解释和预测，可以应用在CV（ 计算机视觉）、NLP、策略规划、推荐系统、数据分析（模式识别）五大领域。AI中两个模块——判别和生成，其主要的架构就是编码器-解码器。俗话说“万物皆向量”，将数据编码成表示向量，再解码成其他形式。目前AIGC应用最成熟的两大领域是CV（计算机视觉）和NLP（自然语言处理），ChatGPT就属于后者，NLP是AI的皇冠。由此，肖老师提出：观测不到的、不能数据化的、没有规律或规律不稳定的东西是AIGC不能够做到的。
Pre-trained即预训练。肖老师表示，OpenAI“大力出奇迹”的思路催生了如ChatGPT的大模型，NLP领域的大模型往往比其他领域的更大，甚至超出人脑神经元连接，结构十分复杂、参数量十分庞大。同时由于模型过大，导致训练成本高昂，本地部署困难。
Transformer中包含Attention和Transformer两个核心概念。Attention即通过矩阵运算来寻找相关关系，包括交叉注意力、自注意力（多头、掩码）等。Transformer即堆叠与架构：多个编码器堆叠组成架构，容易扩展变大，从而进行并行计算。
最后，肖老师提出：尽管ChatGPT让人工智能引起了社会的普遍关注（上一次是2016年的AlphaGo），大众对通用人工智能的预期和信心显著提高，但是我们不能过分乐观。杜绝不懂装懂，不要消费人工智能的热情。
Q & A
Q：怎么应对chatGPT作弊？
A：
1. AI边界还很远。虽然说依赖数据统计和反向传播方式的学习与人类并不一样，迟早会遇到自己的能力边界，但是现代人工智能的路还远未走到头，未来可期。
2. 机器将来会越来越智能，可以轻易通过图灵测试。人类会无法识别机器写出的文字、说出的话。识别机器写的文字，最后只能靠机器。
3. 对于人类来说，文字或知识甚至记忆上的初级技能不再重要。合格的教师要学会提升自己的能力。AI会替代部分文科生的工作，如文字表达为主的工作、需要语言沟通的工作。未来我们要学会与chatGPT共舞。
Q：怎样与ChatGPT共舞？
A：
1. 让ChatGPT陪着自己休闲娱乐。Yes，It’s a good play partner.
2. 把ChatGPT用于辅助工作，但成果必须经过审核和润色修改。某种程度上ChatGPT会提高工作效率和生活便捷度。
Q：怎样从技术上掌握ChatGPT？
A：
1. 想从技术上了解ChatGPT的弱点，可以按顺序了解以下知识：机器学习（数据科学），深度学习（人工神经网络），语言模型（词向量、语料库），Transformer（注意力机制），GPT模型（大模型、自然语言处理），强化学习。
2. 想继续深度思考ChatGPT的话，可以了解图灵的计算机器和图灵测试与维特根斯坦的分析哲学。
从2022年1月开始，元卓计划持续开展“元卓学堂”社区活动（每周六上午 腾讯会议：677-4412-3805），鼓励青少年利用人工智能原创和创新算法解决真实问题，构建高校、中小学、科技企业协同机制，征集青少年人工智能项目进行培育，并提供算法、算力、数据集、知识和经验等全方位的支持，促进青少年人工智能教育发展，面向国际展示优秀成果，助力我国成为世界主要人工智能创新中心。前期视频回放及相关课件，请访问元卓计划官网（https://yuanzhuo.bnu.edu.cn/）。
扫码加入元卓计划社区群，参与社区交流
本网站资源由北京师范大学智慧学习研究院发布，采用 知识共享署名4.0国际许可协议进行许可。