负责公司电商大促及日常场景下的实时数据处理系统全生命周期管理，覆盖用户行为分析、实时风控决策、GMV实时看板三大核心链路，主导从需求拆解到上线运维的技术落地，保障数据流端到端延迟≤200ms、日均处理量超50亿条的稳定性。

• 主导设计实时数仓三层架构（ODS→DWD→DWS），基于Flink 1.17+SQL完成用户点击-加购-下单全链路事件流的标准化处理；针对大促期间Kafka消息乱序导致的窗口计算偏差问题，引入Watermark动态调整策略（允许5s延迟+1s乱序），结合事件时间分区键优化，将订单归因准确率从92%提升至98.6%，支撑双11期间实时GMV看板的精准性。
• 牵头优化实时风控规则引擎的数据供给链路，通过Flink CEP（复杂事件处理）实现跨3个数据源（用户设备信息、交易流水、IP黑库）的多维度关联计算；针对传统规则匹配延迟高（平均800ms）的痛点，设计状态缓存复用方案（减少30%重复状态存储）与异步IO调用外部风控库，将单条风险事件处理耗时压缩至150ms内，支撑大促期间每秒10万+风险事件的实时拦截。
• 构建实时数据质量监控体系，基于Flink Metrics扩展自定义指标（如消息积压量、窗口触发超时次数），集成Prometheus+Grafana实现分钟级告警；通过分析历史故障数据，定位到Kafka消费者拉取速率不均衡问题，优化分区分配策略（采用粘性分区+动态重平衡），将任务重启频率从每周2次降至每月0.5次，保障核心链路SLA≥99.95%。
• 推动实时计算资源效能提升，基于YARN队列动态扩缩容机制，结合业务峰谷特征（如早8点/晚8点流量波峰）设计弹性调度策略；在大促预热期将Flink作业并行度从32调整至64，同时利用Spot实例降低成本，整体资源利用率提升40%，大促期间计算成本同比下降28%。

聚焦本地生活场景的实时数据处理需求，负责外卖订单履约时效监控、骑手调度实时决策、商家实时营收统计三大模块的开发与维护，支撑日均8000万+订单流的实时处理，保障关键指标延迟≤500ms。

• 从0到1搭建外卖订单超时预警系统，基于Flink DataStream API实现订单接单-取餐-配送全流程事件的时间窗口聚合；针对早期Kafka消息堆积导致延迟飙升问题，优化消费者参数（fetch.min.bytes提升至1MB+max.poll.records调整至500），并结合背压监控动态调整并行度，将订单处理延迟稳定控制在300ms内，支撑运营团队实时干预超时订单。
• 参与骑手实时调度系统的特征工程开发，从Kafka实时流中提取骑手位置、当前单量、商家出餐速度等12维特征，通过Flink Window Join关联历史轨迹数据，为调度算法提供秒级更新的特征输入；优化特征存储方式（改用RocksDB状态后端替代内存存储），将特征更新延迟从2s降低至500ms，助力骑手接单效率提升15%。
• 优化商家实时营收统计的准确性，解决跨门店分账、优惠叠加导致的计算误差问题；引入Flink状态TTL机制清理过期订单数据（设置7天过期策略），结合窗口预聚合（每5秒输出一次中间结果）与最终一致性校验，将营收数据修正率从0.8%降至0.1%，满足财务对账的实时性要求。
• 主导实时计算任务的大版本升级，将原有Spark Streaming任务迁移至Flink，同步完成代码重构（适配事件时间语义）与性能压测；通过对比测试发现Flink在反压处理上的优势（背压传播延迟降低60%），迁移后任务资源占用减少35%，同时支持了更高并发的订单流（从5000TPS提升至1.2万TPS）。

协助完成金融交易反欺诈系统的实时数据处理模块开发，参与用户交易行为的实时特征计算与风险规则匹配，保障日均200万+交易流的低延迟处理（≤1s）。

• 参与反欺诈规则引擎的实时数据管道建设，基于Flink SQL完成银行卡交易流与用户设备指纹库的关联计算，通过Lookup Join实现每秒5000+次的外部数据查询，将单笔交易的特征计算耗时从800ms缩短至300ms，支撑风控规则引擎的实时决策。
• 优化交易数据清洗逻辑，解决原始日志中字段缺失、格式错误导致的下游任务失败问题；设计Flink MapFunction+正则表达式校验的组合方案，对10类常见异常数据进行清洗（如手机号格式、金额精度），将数据质量问题导致的任务重启次数从每日3次降至每周0.5次。
• 协助搭建实时交易监控看板，基于Flink ProcessFunction统计5分钟内交易频次、地域分布等指标，通过Redis缓存热点数据，实现前端页面的秒级刷新；上线后运营团队对异常交易的响应时间从5分钟缩短至30秒，有效降低了资金损失风险。

泛娱乐社交平台用户行为实时分析系统重构与性能优化

• 项目背景：公司核心泛娱乐社交App（月活1.2亿）原有用户行为分析系统以T+1批处理为主，无法支撑直播互动、风险预警等新业务的实时需求——直播礼物推荐延迟超5分钟，风险事件（如刷量、恶意举报）识别滞后2小时以上。我的总体职责是主导系统从批处理向实时流处理的架构重构，目标是将核心场景数据延迟降至10秒内，支撑亿级用户并发行为分析。
• 关键难题与技术：1）实时链路低延迟瓶颈：原Kafka集群分区策略基于时间戳，导致消费端热点倾斜，Flink任务吞吐量仅10万条/秒；2）多源数据Schema兼容：用户行为（埋点）、直播互动（IM）、礼物交易（支付）三类数据结构差异大，清洗规则分散，错误率超3%；3）实时计算准确性：风险事件漏报率达15%，因流数据状态管理失效导致重复计算。
• 核心行动与创新：1）重构数据管道：将Kafka分区策略调整为「用户ID哈希+业务类型」双维度，Flink消费端并行度从8提升至32，结合RocksDB状态后端优化checkpoint（间隔从1分钟缩至30秒，失败率从10%降至0.1%）；2）设计统一数据Schema：用Apache Avro定义跨业务域的通用事件模型，接入Schema Registry实现版本兼容（支持backward/forward/compatible三种模式），自动过滤脏数据（错误率降至0.2%）；3）优化风险计算逻辑：引入Flink CEP实现多事件序列匹配（如「短时间高频发弹幕+异常IP登录」），结合规则引擎Drools动态调整阈值，漏报率降至2%以内。
• 项目成果：1）性能指标：实时数据延迟从5分钟降至8秒，系统吞吐量提升至1.2亿条/小时，支撑了「直播弹幕-礼物推荐」实时链路（用户发弹幕后10秒内推送相关礼物，转化率提升18%）；2）业务价值：风险预警准确率从85%升至98%，风险事件处理时间从小时级缩至5分钟内，每月减少欺诈损失约200万元；3）个人贡献：主导完成架构迁移，输出《实时流数据处理最佳实践》文档，推动团队掌握Flink高级特性（如状态管理、CEP）。

短视频内容生产平台创作者成长画像系统设计与实现

• 项目背景：公司短视频创作平台（入驻创作者500万）原有创作者画像为离线每月更新，无法支撑运营团队的「精准扶持腰部创作者」需求——运营无法及时识别高潜力创作者，流量投放ROI仅1.2。我的职责是构建实时创作者行为画像，覆盖内容生产、粉丝互动、商业变现三大维度，支撑运营个性化策略。
• 关键难题与技术：1）行为数据关联性弱：创作者的「视频发布→点赞→评论→带货」行为分散在不同系统，难以整合成统一画像；2）标签实时性不足：原有离线计算无法满足「当天发布视频→当天更新内容质量标签」的需求；3）标签准确性存疑：无法区分「真实粉丝互动」与「僵尸粉刷量」，导致高潜力创作者识别率低（仅30%）。
• 核心行动与创新：1）设计Lambda架构：离线层用Hive处理历史数据（补全长期行为特征），实时层用Flink处理当日行为（更新短期兴趣标签），结合两者生成「全量+增量」的实时画像；2）构建标签体系：定义4类12个核心标签——基础属性（粉丝量、视频完播率）、行为属性（日更频率、互动回复率）、商业属性（带货转化率、广告接单量）、质量属性（原创率、违规扣分）；3）引入机器学习：用随机森林模型训练「创作者成长潜力」标签（输入特征包括粉丝增长率、内容垂直度、互动转化率），准确率提升至85%。
• 项目成果：1）画像能力：更新频率从T+30天变为实时，运营可在创作者发布视频后2小时内获取最新画像；2）业务效果：识别出1.2万名高潜力腰部创作者，推送流量扶持后其粉丝月增长速度提升28%，带货收入增长35%；3）个人贡献：主导画像模型设计与数据管道开发，输出《创作者画像标签规范》，成为公司创作者运营的核心工具。

• 因痛心于年轻人对历史的疏离，我在B站创立「古人脱口秀」栏目，用职场梗解构历史事件（如《雍正皇帝的KPI保卫战》）。通过设计「颠覆认知-史料佐证-现代共鸣」三幕剧本模板，单期视频最高收获1.7万条弹幕互动。
• 两年间栏目播放量突破180万，作品被多地中学选为教学素材。这段经历磨砺出将学术内容转化为大众语言的能力，也让我理解到真实用户反馈才是创作者的指南针。