负责电商大促及日常场景下实时数据处理链路的设计、优化与稳定性保障，支撑GMV、用户转化、库存周转等核心指标的实时监控与业务决策，覆盖订单、支付、用户行为等多源数据的实时整合与计算。

• 主导设计电商大促期间千万级TPS的实时订单流处理链路，基于Flink 1.15搭建「ODS原始订单->DWD清洗订单->DWS用户订单行为」分层架构，整合Kafka中订单系统、支付网关、库存系统的多源数据；针对跨业务线事件时间乱序问题，自定义Watermark生成策略（结合业务ID哈希分区+时间戳偏移量校准），将数据处理延迟从8s压降至2s内，大促峰值期间支撑12万TPS流量，GMV实时看板准确性达99.99%，助力运营团队实时调整促销策略。
• 针对实时用户价值分（LTV预测）场景，优化Flink状态管理机制：采用RocksDB作为状态后端，调整Checkpoint间隔为3分钟并开启增量Checkpoint，同时通过State TTL清理过期用户行为状态；解决高并发下状态膨胀导致的作业重启问题，作业稳定性从95%提升至99.5%，用户行为标签更新延迟从5s优化到1.5s，支撑推荐系统的实时个性化推送，大促期间高价值用户转化率提升15%。
• 核心参与实时数仓DWS层建设，定义「用户实时行为宽表」模型（整合点击、浏览、加购、下单事件），通过Flink SQL实现窗口聚合（1分钟滚动窗口计算加购转化率）与维度关联（关联商品类目维度表）；输出用户实时兴趣标签，为搜索团队提供实时 query 推荐能力，搜索结果点击率提升18%。
• 搭建实时计算全链路监控体系：结合Prometheus采集Flink作业的延迟、吞吐量、Checkpoint成功率，以及Kafka的partition负载、消息堆积指标；通过Grafana配置可视化 dashboard，并设计异常告警规则（如延迟超过5s或Checkpoint失败触发钉钉告警）；将大促期间链路故障排查时间从30分钟缩短至5分钟内，整体可用率达99.9%。

负责游戏直播场景下实时互动数据与用户行为的处理，支撑主播排名、观众留存、礼物转化等核心指标的实时计算，覆盖弹幕、礼物打赏、在线时长等多源数据的实时分析与输出。

• 主导重构游戏直播实时互动链路：将原有Storm架构迁移至Flink 1.13，基于事件时间语义与滑动窗口（窗口大小5分钟，滑动步长1分钟）计算实时弹幕互动率（弹幕数/观众数）、礼物打赏TOP10主播；将数据处理延迟从10s降至3s内，直播后台榜单刷新时效性提升70%，主播对数据的满意度评分从4.2升至4.8（满分5分）。
• 解决实时用户在线时长统计准确性问题：通过Flink状态TTL机制设置会话超时时间为5分钟，结合自定义会话窗口函数（按用户ID分组， gap 5分钟），修正因网络波动导致的会话断开误判；会话划分准确率从85%提升至98%，为运营团队提供准确的观众留存曲线，支撑直播内容优化（如调整互动环节时长），观众30分钟留存率提升10%。
• 参与实时数据同步系统建设：使用Flink CDC捕获MySQL中主播信息变更（等级、分类、签约状态），实时同步至Kafka与实时数仓；替代原有的每小时定时批处理任务，数据延迟从小时级降至秒级，主播运营系统的信息更新及时率从90%提升至100%，运营人员手动同步数据的工作量减少80%。
• 落地Flink异步I/O功能：用于实时查询主播的历史粉丝画像（存储于HBase），将主播实时标签（如“年轻女性粉丝占比”“高消费粉丝占比”）计算延迟从4s优化到1s内；提升直播推荐系统的实时性，直播间观众互动率（评论、点赞）提升8%。

负责集团内部用户行为日志与业务数据的实时ETL处理，支撑数据仓库实时更新及业务团队的临时查询需求，覆盖前端埋点、App日志、订单流水等多源数据的清洗与整合。

• 搭建用户行为日志实时ETL链路：使用Flume收集Web端与App端的埋点日志，传输至Kafka Topic；通过Flink 1.11进行清洗（过滤无效IP、补全用户UUID、纠正时间戳格式），实时写入HBase与ClickHouse；数据延迟从15分钟降至2分钟，支撑数据仓库的实时增量更新，BI团队获取实时数据的时效性提升90%。
• 支撑业务团队临时实时查询：市场部需实时查看某促销活动的点击转化率，通过Flink SQL编写查询语句，关联活动维度表（活动ID、时间、规则）与行为事实表（点击、曝光），将查询响应时间从5分钟缩短至30秒内；累计支持12个业务团队的临时查询需求，业务反馈效率提升75%。
• 优化Flink作业资源利用率：通过调整TaskManager并行度（从8核降至6核）、增加Managed Memory占比（从30%升至50%），将集群资源占用降低30%；同时保证作业稳定性，支撑新增3个实时计算任务，集群资源利用率从60%提升至85%。
• 参与实时计算平台早期建设：封装Flink作业提交脚本（集成参数校验、依赖上传、作业启停），将作业部署时间从1小时缩短至10分钟；搭建基础监控面板（展示作业状态、延迟、吞吐量），提升数据团队的运维效率，作业故障响应时间缩短50%。

泛娱乐社交平台用户行为实时分析系统重构与性能优化

• 项目背景：公司核心泛娱乐社交App（月活1.2亿）原有用户行为分析系统以T+1批处理为主，无法支撑直播互动、风险预警等新业务的实时需求——直播礼物推荐延迟超5分钟，风险事件（如刷量、恶意举报）识别滞后2小时以上。我的总体职责是主导系统从批处理向实时流处理的架构重构，目标是将核心场景数据延迟降至10秒内，支撑亿级用户并发行为分析。
• 关键难题与技术：1）实时链路低延迟瓶颈：原Kafka集群分区策略基于时间戳，导致消费端热点倾斜，Flink任务吞吐量仅10万条/秒；2）多源数据Schema兼容：用户行为（埋点）、直播互动（IM）、礼物交易（支付）三类数据结构差异大，清洗规则分散，错误率超3%；3）实时计算准确性：风险事件漏报率达15%，因流数据状态管理失效导致重复计算。
• 核心行动与创新：1）重构数据管道：将Kafka分区策略调整为「用户ID哈希+业务类型」双维度，Flink消费端并行度从8提升至32，结合RocksDB状态后端优化checkpoint（间隔从1分钟缩至30秒，失败率从10%降至0.1%）；2）设计统一数据Schema：用Apache Avro定义跨业务域的通用事件模型，接入Schema Registry实现版本兼容（支持backward/forward/compatible三种模式），自动过滤脏数据（错误率降至0.2%）；3）优化风险计算逻辑：引入Flink CEP实现多事件序列匹配（如「短时间高频发弹幕+异常IP登录」），结合规则引擎Drools动态调整阈值，漏报率降至2%以内。
• 项目成果：1）性能指标：实时数据延迟从5分钟降至8秒，系统吞吐量提升至1.2亿条/小时，支撑了「直播弹幕-礼物推荐」实时链路（用户发弹幕后10秒内推送相关礼物，转化率提升18%）；2）业务价值：风险预警准确率从85%升至98%，风险事件处理时间从小时级缩至5分钟内，每月减少欺诈损失约200万元；3）个人贡献：主导完成架构迁移，输出《实时流数据处理最佳实践》文档，推动团队掌握Flink高级特性（如状态管理、CEP）。

短视频内容生产平台创作者成长画像系统设计与实现

• 项目背景：公司短视频创作平台（入驻创作者500万）原有创作者画像为离线每月更新，无法支撑运营团队的「精准扶持腰部创作者」需求——运营无法及时识别高潜力创作者，流量投放ROI仅1.2。我的职责是构建实时创作者行为画像，覆盖内容生产、粉丝互动、商业变现三大维度，支撑运营个性化策略。
• 关键难题与技术：1）行为数据关联性弱：创作者的「视频发布→点赞→评论→带货」行为分散在不同系统，难以整合成统一画像；2）标签实时性不足：原有离线计算无法满足「当天发布视频→当天更新内容质量标签」的需求；3）标签准确性存疑：无法区分「真实粉丝互动」与「僵尸粉刷量」，导致高潜力创作者识别率低（仅30%）。
• 核心行动与创新：1）设计Lambda架构：离线层用Hive处理历史数据（补全长期行为特征），实时层用Flink处理当日行为（更新短期兴趣标签），结合两者生成「全量+增量」的实时画像；2）构建标签体系：定义4类12个核心标签——基础属性（粉丝量、视频完播率）、行为属性（日更频率、互动回复率）、商业属性（带货转化率、广告接单量）、质量属性（原创率、违规扣分）；3）引入机器学习：用随机森林模型训练「创作者成长潜力」标签（输入特征包括粉丝增长率、内容垂直度、互动转化率），准确率提升至85%。
• 项目成果：1）画像能力：更新频率从T+30天变为实时，运营可在创作者发布视频后2小时内获取最新画像；2）业务效果：识别出1.2万名高潜力腰部创作者，推送流量扶持后其粉丝月增长速度提升28%，带货收入增长35%；3）个人贡献：主导画像模型设计与数据管道开发，输出《创作者画像标签规范》，成为公司创作者运营的核心工具。

• 大二观察到毕业生离校时大量教材被废弃，而新生购书支出占生活费12%，便发起校园书籍教材循环计划。为解决传统二手书交易效率低的问题，我们开发微信小程序实现扫码估价、预约取件功能，并说服快递中心以成本价承接物流。
• 通过建立翻新消毒标准打消卫生顾虑，项目年流通教材1.2万册，累计为同学节省书费38万元。这段经历让我从商业小白成长为能设计闭环模式的实践者，项目不仅获省级创业金奖，更被纳入学校官方服务体系延续至今。