负责电商直播场景下实时视频分析与理解系统核心模块研发,覆盖商品识别、主播动作合规检测、低光照画质增强三大方向,支撑平台直播内容智能审核、商品精准推荐及时效性运营。
- 主导设计电商直播多商品实时识别系统,针对直播间商品堆叠、背景杂乱问题,创新融合YOLOv8目标检测与DETR密集预测头,构建多尺度特征金字塔增强小目标响应,同步引入TensorRT对模型进行INT8量化与层融合优化,将单帧推理延迟从80ms压缩至25ms(满足50fps实时性要求),商品识别准确率提升至98.7%,直接推动直播间商品点击转化率增长12%。
- 核心参与主播动作合规检测模块开发,基于OpenPose提取25个关节点构建时空特征序列,结合双向LSTM与时空注意力机制建模动作轨迹,定义包含‘过度营销手势’‘不当肢体接触’等15类违规动作库,通过主动学习策略筛选难例样本迭代模型,将误报率从18%压降至5%,当前日均拦截违规直播300+场次,平台内容合规评分提升20%。
- 攻克晚高峰低光照场景技术瓶颈,针对直播间补光不足导致的商品模糊问题,提出RetinexNet光照校正与CycleGAN风格迁移的混合增强方案,通过对抗训练优化暗光特征提取,将暗光环境下商品关键属性(如颜色、logo)识别准确率从82%提升至91%,覆盖平台40%的晚8点后高流量直播时段。
- 搭建直播数据闭环系统,集成LabelMe半自动化标注工具与自研‘难例挖掘-模型反馈’机制,每月标注效率提升35%,同时基于混淆矩阵分析定位模型薄弱类别,定向补充10万+张遮挡、小目标样本,推动商品识别模型迭代周期从2周缩短至10天,版本更新频率提升1倍。