AI大模型评估与优化实战

2020年5月-至今 大厂商业策略团队高级算法工程师 生成式广告触发-基于query增强的结构化触发 角色：项目负责 人 项目背景：挖掘用户行为意图等相关特征，基于大模型做用户理解，并通过 Query 改写，Query 推荐等方式触 发广告 目标：触发游戏，医美，医疗等多个行业的广告收入。 策略效果： 评价指标：-1/0/1 & G:S:B * 主要提升点：1 分比例显著提高：通过模型筛选，规则筛选等方式，显著提高训练样本的 1 分比例，降 低-1 分比例。使得生成query 能在保留相关性的基础上具有更高的商业价值。Good 比例显著提高，Bad 比例 下降。 线上收益： a) 通用场景(40%小流量实验)：pv +0.25%、charge +6.62%、CTR1 -3.87%、ACP +10.16% b) 游戏场景场景(30%小流量实验) :pv -0.917%、charge +10.4%、CTR1 -0.731%、ACP +11.716% 工作内容： a) 基于检索增强+结构化两种方式进行数据增强理解 b) 构造百万级样本使用eirne 1.5B 进行全参数sft c) 通过相关性+后验点击等相关指标进行样本优化 d) 通过rank排序的方式进行反馈调优以及偏好对齐 e) 基于业务背景探索构造前缀树进行限定生成以及风控安全控制 f) 模型评估BLEU和ROUGE等指标，最终上线 商业智能体 项目背景：在商业广告平台落地场景中，采用了基于文心EB4.0的多智能体架构，支持客户趋于无限的自然语言表 达，彻底放弃剧本编排，多槽位指令解析准确率、平响达到成熟系统的标准(准确率达到98.5%，平响只有1.5s，95分 位值3.3s)，在智能助手、JarvisBot、销售Bot均成功落地，并取得显著的收益。 目标：是通过多智能体，商家，用户等智能体进行广告营销 线上收益： a) 通用场景(40%小流量实验)：show + 8.05%，click +8.00%，charge +6.64%，cv +4.9%，tcharge +6.53%。经过显著性分析，所有指标均效果显著。 工作内容： a) 对话数据筛选和清洗，过滤语气词、索要联系方式等无效对话。 b) 在Prompt中增加人工标注的业务示例，从对话中筛选核心的经营业务。 c) 引入客户的业务描述，确保提取的业