类ChatGPT微调实战
体系课

类ChatGPT微调实战

  • ChatGPT

基于LLaMA/ChatGLM定制自己的ChatGPT

¥399
本课程包括
  • 20小时20分钟的视频随时观看
  • 可在APP随时观看
  • 结业证书
课程合作品牌
七月在线
你将收获
  • 会做类ChatGPT项目的实战
  • 会做中文版ChatGPT、垂直版ChatGPT、商用版ChatGPT,特开设本课程

数千家企业正在使用三节课企业版学习

无限制学习2000+门课程,200+精选学习专题

免费申请体验>
课程介绍

为了帮助大家更好的做类ChatGPT项目的实战,且基于LLaMA甚至可商用开源模型做中文版ChatGPT、垂直版ChatGPT、商用版ChatGPT,特开设本课程

总体内容分为四大阶段:

1)从零起步实现transformer、LLaMA、ChatGLM-6B、Chat-LLaMA/ColossalChat

2)如何更好的部署与微调,涉及Alpaca、Vicuna、BELLE等

3)大语言模型训练指南,涉及Megatron-DeepSpeed、ZeRO、数据并行、张量并行

4)如何更好的调参,涉及Optimizer设计(Adam等)、ep-ochs、learning rate、dropout

适合人群
  • 算法工程师
  • 传统IT工程师
讲师介绍
七月在线创始人兼CEO、北理工校外导师、微软AlMVP兼CSDN技术专家
擅长领域:
  • 人工智能认知与应用
智能时代在线职教平台
擅长领域:
  • 人工智能认知与应用
  • 深度学习
  • 机器学习
  • 计算机视觉
  • 自然语言处理(NLP)
  • 元宇宙
  • Web 3
人才培养方面 ,包括面向个人的职业(就业转型/在职提升)、学业(考研申博留学与硕/博毕业论文辅导)、学术(学术论文SCI/科研辅导)等三方面的成长,讲师团队超过500人,均由大厂技术专家和 国内外知名高校的研究员/博导组成,总付费学员超过50万,课程数量500多门。 企业服务方面 ,则有以公司AI Lab领衔的超300位技术专家发力企业内训(已服务客户包括且 不限于中国联通、国家电网、广发银行、广汽集团等等),以及公司就业部主导的给包括BAT在内的500家企业内推合适人才。此外,平台聚集着数千位的BAT技术专家及资深工程师,可以一对一的解决企业或个人在业务和项目方面的问题,包括且不限于方案咨询、项目外包等等。 高校服务方面 ,既有针对科研的合作(包括且不限于专利、基金、学术论文SCI等),也有针对教 学的服务,比如师资培训、软硬一体化的实训平台、课程/实验室/专业共建等等。 七月在线以“推动社会智能化发展”为核心使命,致力于推动技术的传播、人才的培养、产业的发展,让全球亿万人受益。
课程大纲
共0节 时长0分钟 全部收起
第一部分 LLaMA/ChatLLaMA的整体技术架构与代码逐行解读
共3节 | 5小时22分钟
  • 第1课 实战必备 夯实基础:ChatGPT背后的原理解析
    1小时33分钟
  • 第2课 Meta LLaMA的复现与解读:参数少但多数任务的效果好于GPT3
    1小时52分钟
  • 第3课 LLaMA的RLHF版:ChatLLaMA(英文版)/ColossalChat/DeepSpeed Chat
    1小时58分钟
第二部分 各种微调LLaMA:Alpaca、Vicuna、BELLE、中文LLaMA、姜子牙、LLaMA 2
共4节 | 3小时28分钟
  • 第4课 Stanford Alpaca:结合英文语料通过Self Instruct方式微调LLaMA 7B
    1小时46分钟
  • 第4课补充之1:Alpaca-LoRA微调过程「使用已清洗的alpaca数据基于LoRA微调LLaMA-7B」
    16分钟
  • 第4课补充之2:半小时总结LLaMA 2的技术架构精要
    25分钟
  • 第5课 Vicuna(shareGPT)、BELLE(self-instruct)、Chinese-LLaMA/Chinese-Alpaca
    1小时1分钟
第三部分 以ChatGLM2-6B/MOSS/baichuan为例如何训练LLM及调参部署
共8节 | 5小时36分钟
  • 第6课 ChatGLM-6B的基座、部署、微调、实现
    1小时22分钟
  • 第6课补充之1:ChatGLM-6B推理部署及微调过程
    34分钟
  • 第6课补充之2:LLM微调方法总结:Freeze方法/P-Tuning/LoRA及QLoRA
    56分钟
  • 第7课 基于MOSS、baichuan7B/13B、ChatGLM2-6B的结构与微调
    38分钟
  • 第7课补充之1:Baichuan-7B推理及微调过程
    20分钟
  • 第7课补充之2:Baichuan-13B推理及微调过程
    39分钟
  • 第7课补充之3:ChatGLM2-6B推理部署及微调过程
    32分钟
  • 第7课补充之4:阿里通义千问Qwen-7B的原理及ReAct用法
    34分钟
第四部分 大模型并行训练指南与数据的处理、模型的评估
共4节 | 5小时54分钟
  • 第8课 大模型并行训练指南初步:理解基本概念
    1小时6分钟
  • 第9课 大模型并行训练指南进阶:深入实战
    1小时54分钟
  • 第10课 如何更好的收集数据、处理数据、利用数据
    1小时25分钟
  • 第11课 模型的优化、评估与部署上线
    1小时28分钟
购课须知

课程有效期:

自购买课程之日起 365 天,部分参与营销活动产品以活动规则为准,请同学在有效期内学习、观看课程。

上课模式:

课程采取录播模式,请注意自学课无班级微信群、班主任带班及助教批改服务。

注:自学课不支持退款,确保你是真的需要再进行报名,报完名之后还请认真学习。