DeepSeek底层技术:Transformer反向传播与链式法则(高级)
知识小课

DeepSeek底层技术:Transformer反向传播与链式法则(高级)

  • DeepSeek

AI前沿探索

¥79.9
本课程包括
  • 1小时5分钟的视频随时观看
  • 可在APP随时观看
  • 结业证书
你将收获
  • 掌握Lightning框架实战技巧:学会使用PyTorch Lightning简化训练流程,包括自动学习率优化、Checkpoint容错恢复等
  • 深入反向传播原理:通过链式法则逐层解析梯度计算,理解线性关系与ReLU激活函数对梯度传播的影响
  • 解决实际训练难题:识别并应对异常(如Loss突变、梯度震荡),优化模型收敛路径,提升训练效率
课程介绍

许多深度学习实践者在训练复杂模型(如Transformer)时,常面临梯度消失、学习率调参困难、训练中断恢复成本高等问题,缺乏对反向传播底层逻辑的清晰认知,导致模型优化效率低下。

《DeepSeek底层技术:Transformer反向传播与链式法则(高级)课程,从实战出发,结合PyTorch Lightning框架,拆解反向传播的链式法则与梯度计算细节,演示动态学习率调整策略,并分析损失曲面特征与训练路径,帮助学员从理论到实践全面进阶。

通过代码级演示与现象解析,学员将掌握高效训练模型的核心技术,学习如何优化神经网络的学习率和梯度计算,从而解决训练过程中的常见问题,提升模型性能和训练效率。

适合人群
  • 深度学习从业者:希望深入理解Transformer模型反向传播机制与链式法则的工程师或研究员
  • AI进阶学习者:具备基础机器学习知识,想要掌握高级优化技术(如动态学习率调整、梯度消失问题应对)的学员
  • 技术团队管理者:需了解模型训练细节(如Checkpoint机制、损失曲面分析)以优化团队开发流程的决策者
讲师介绍
在多家上市公司担任技术总监,深耕大模型。
擅长领域:
  • DeepSeek
  • 自然语言处理(NLP)
  • 数据分析与数据决策
  • 数字化组织赋能
  • 机器学习
  • 大语言模型
  • 数据指标体系与报表
  • 大数据系统
  • 数据治理
  • 数据挖掘与分析
曾在多家上市公司任职高级管理岗位。fesco职业教育总经理,用友新道新IT负责人,达内大数据、java培优两个产品线的负责人。在职业教育20多年,培养学生上万名。主讲课程有java体系、大数据体系、人工智能体系等内容。希望通过深入浅出的讲解大模型,可以让更多的学生理解大模型,更好的应用大模型。
课程大纲
共0节 时长0分钟 全部收起
1 通过Lightning框架简化程序
29分钟
2 深入反向传播与链式法则
30分钟
3 扩展
5分钟
购课须知

课程有效期:

自购买课程之日起 365 天,部分参与营销活动产品以活动规则为准,请同学在有效期内学习、观看课程。

上课模式:

课程采取录播模式,请注意自学课无班级微信群、班主任带班及助教批改服务。

注:自学课不支持退款,确保你是真的需要再进行报名,报完名之后还请认真学习。