类ChatGPT微调实战
体系课

类ChatGPT微调实战

  • ChatGPT

基于LLaMA/ChatGLM定制自己的ChatGPT

¥399
本课程包括
  • 20小时20分钟的视频随时观看
  • 课程包含 5 道测试题
  • 可在APP随时观看
  • 结业证书
课程合作品牌
七月在线
你将收获
  • 从上手到实践,亲手进行ChatGPT项目的实战
  • 掌握做中文版ChatGPT、垂直版ChatGPT、商用版ChatGPT核心技术
  • 能够针对特定场景定制和优化AI对话系统
  • 理解ChatGPT模型的基础知识与微调原理

数千家企业正在使用三节课企业版学习

无限制学习5000+门课程,200+精选学习专题

免费申请体验>
课程介绍

随着人工智能技术的不断发展,自然语言处理(NLP)在各个领域的应用越来越广泛。ChatGPT作为一种先进的AI对话模型,其微调技术对于提升对话系统的性能和用户体验至关重要。

为了帮助大家更好的做类ChatGPT项目的实战,且基于LLaMA甚至可商用开源模型做中文版ChatGPT、垂直版ChatGPT、商用版ChatGPT,特开设本课程。

课程亮点:

  1. 系统讲解从零起步实现transformer、LLaMA、ChatGLM-6B、Chat-LLaMA/ColossalChat

  2. 细节剖析:如何更好的部署与微调,涉及Alpaca、Vicuna、BELLE等

  3. 知识综合:大语言模型训练指南,涉及Megatron-DeepSpeed、ZeRO、数据并行、张量并行

  4. 技术实践:如何更好的调参,涉及Optimizer设计(Adam等)、ep-ochs、learning rate、dropout

总体内容分为四大阶段,干货满满,涵盖模型基础、微调方法、实战演练等多个方面,旨在帮助学员快速掌握AI对话系统的核心技术,提升实际应用能力。

适合人群
  • 一线开发者:对自然语言处理(NLP)和人工智能(AI)技术感兴趣的开发者
  • 行业技术人员:已有一定编程基础,希望深入学习ChatGPT微调技术的研究人员
  • 相关人员:对提升AI对话系统性能有实际需求的产品经理和项目经理
讲师介绍
集AI大模型教育、应用开发、机器人解决方
擅长领域:
  • 人工智能认知与应用
  • 深度学习
  • 机器学习
  • 计算机视觉
  • 自然语言处理(NLP)
  • 元宇宙
  • Web 3
七月在线,成立于2015年,一开始起步于教育,后不断扩展科技版块,最终作为一家集AI大模型教育、应用开发、机器人解决方案为一体的科技公司,专注智能时代的人才培养、大模型应用开发、具身智能解决方案。 人才培养方面 ,包括面向个人的职业(AI大模型就业转型/在职提升)、学业(申博留学与毕业论文辅导)、学术(学术论文SCI/科研辅导)等三方面的成长,以及相应的B端服务,比如企业内训(已服务客户包括且不限于中国联通、国家电网、广发银行、广汽集团、中国电信等等),和高校服务(既有针对科研的合作,也有针对教学的服务)。 应用开发方面 ,通过我司于23年Q3组建的大模型项目开发团队(团队成员皆有3年以上的NLP开发经验),正在全力让大模型技术赋能一个个行业,比如为提高科研工作者的产出效率,从而逐一推出基于大模型的论文翻译、论文审稿、论文对话、论文修订/润色、论文idea提炼等系统,其中论文审稿——七月论文审稿GPT的审稿效果超过GPT4。 具身智能方面 ,通过我司于24年Q2组建的机器人研发团队(团队成员此前都已在机器人行业里积累5年以上),正在结合工厂/车厂特定的业务场景,针对性的基于对应的开源机器人做算法层面的定制开发,最终形态包括人形与非人形,且还在不断迭代面向高校实验室的具身教学机器人。 七月在线以“推动社会智能化发展”为核心使命,致力于推动高端人才的培养、世界前沿技术的落地、全球顶级科技的发展。
七月在线创始人兼CEO、北理工校外导师、微软AlMVP兼CSDN技术专家
擅长领域:
  • 人工智能认知与应用
课程大纲
共0节 时长0分钟 全部收起
课程导读
图文
第一部分 LLaMA/ChatLLaMA的整体技术架构与代码逐行解读
共3节 | 5小时22分钟
  • 第1课 实战必备 夯实基础:ChatGPT背后的原理解析
    1小时33分钟
  • 第2课 Meta LLaMA的复现与解读:参数少但多数任务的效果好于GPT3
    1小时52分钟
  • 第3课 LLaMA的RLHF版:ChatLLaMA(英文版)/ColossalChat/DeepSpeed Chat
    1小时58分钟
第二部分 各种微调LLaMA:Alpaca、Vicuna、BELLE、中文LLaMA、姜子牙、LLaMA 2
共4节 | 3小时28分钟
  • 第4课 Stanford Alpaca:结合英文语料通过Self Instruct方式微调LLaMA 7B
    1小时46分钟
  • 第4课补充之1:Alpaca-LoRA微调过程「使用已清洗的alpaca数据基于LoRA微调LLaMA-7B」
    16分钟
  • 第4课补充之2:半小时总结LLaMA 2的技术架构精要
    25分钟
  • 第5课 Vicuna(shareGPT)、BELLE(self-instruct)、Chinese-LLaMA/Chinese-Alpaca
    1小时1分钟
第三部分 以ChatGLM2-6B/MOSS/baichuan为例如何训练LLM及调参部署
共8节 | 5小时36分钟
  • 第6课 ChatGLM-6B的基座、部署、微调、实现
    1小时22分钟
  • 第6课补充之1:ChatGLM-6B推理部署及微调过程
    34分钟
  • 第6课补充之2:LLM微调方法总结:Freeze方法/P-Tuning/LoRA及QLoRA
    56分钟
  • 第7课 基于MOSS、baichuan7B/13B、ChatGLM2-6B的结构与微调
    38分钟
  • 第7课补充之1:Baichuan-7B推理及微调过程
    20分钟
  • 第7课补充之2:Baichuan-13B推理及微调过程
    39分钟
  • 第7课补充之3:ChatGLM2-6B推理部署及微调过程
    32分钟
  • 第7课补充之4:阿里通义千问Qwen-7B的原理及ReAct用法
    34分钟
第四部分 大模型并行训练指南与数据的处理、模型的评估
共4节 | 5小时54分钟
  • 第8课 大模型并行训练指南初步:理解基本概念
    1小时6分钟
  • 第9课 大模型并行训练指南进阶:深入实战
    1小时54分钟
  • 第10课 如何更好的收集数据、处理数据、利用数据
    1小时25分钟
  • 第11课 模型的优化、评估与部署上线
    1小时28分钟
课程总结
图文
课后测试题
共5题
购课须知

课程有效期:

自购买课程之日起 365 天,部分参与营销活动产品以活动规则为准,请同学在有效期内学习、观看课程。

上课模式:

课程采取录播模式,请注意自学课无班级微信群、班主任带班及助教批改服务。

注:自学课不支持退款,确保你是真的需要再进行报名,报完名之后还请认真学习。