星途短视频内容分发与个性化推荐后端系统从0到1研发
- 原短视频分发依赖人工规则,内容与用户兴趣匹配度低,用户平均停留时长仅3.2分钟,推荐点击率8%,无法支撑平台增长。核心目标是构建智能化分发系统,基于用户行为实现精准推荐,提升engagement。我的职责是负责实时数据处理、用户画像构建及推荐系统工程化落地。
- 遇到三大难点:①UGC/PGC/PUGC多源内容元数据不统一;②峰值15万条/秒的实时行为数据无法用批处理满足需求;③推荐模型迭代与线上效果脱节。我选择Kafka做实时数据管道,Flink做流处理生成用户画像,用TensorFlow Serving部署模型,平衡实时性与准确率。
- 主导制定内容元数据标准,整合3类内容源的100+维度标签(如视频类型、作者粉丝数),存储于MongoDB支持灵活扩展;开发实时用户画像系统,用Flink消费Kafka事件,每秒处理12万条数据,生成兴趣标签与行为偏好画像;推动Wide & Deep模型落地,结合实时画像调整权重,通过AB测试验证点击率提升效果;用Elasticsearch搭建内容索引,优化分发效率。
- 系统上线后,用户停留时长提升至7.1分钟(增长122%),推荐点击率提升至21%(增长162%),内容分发效率提升45%。业务层面,月活从500万增长至1300万(增长160%),短视频营收占比从15%升至30%。我从0到1搭建了实时画像与推荐系统,推动团队掌握机器学习工程化能力,获公司“年度技术创新奖”。