• 作为技术负责人，主导设计并实现了公司下一代“统一实时计算平台”，基于Apache Flink和自研控制台，为全公司提供从开发、调试、部署到运维监控的一站式流处理服务。平台日均处理实时数据PB级，支撑了1000+个实时作业稳定运行，将实时需求的开发效率提升了300%。
• 带团队攻克了“超大规模状态管理”的世界级难题，通过优化RocksDB本地状态存储、设计“状态拆分与异步快照”策略、并引入“增量检查点”，将大型作业的检查点时间从分钟级优化至秒级，保障了作业的99.99% 高可用性，全年无重大数据延迟或丢失事故。
• 创新设计“智能弹性扩缩容”系统，能够基于流量峰值自动预测资源需求，并在5分钟内完成作业的平滑扩容与缩容，在保障SLA的同时，将流处理集群的资源成本降低了35%。
• 建立的“端到端Exactly-Once”语义保障体系，从Kafka数据源到各种Sink（如ClickHouse, HBase, Kafka），实现了全链路的精准一次处理，为核心金融和计费业务提供了数据一致性保障。

• 负责公司最核心的“实时数仓”的构建，基于Flink SQL和CDC技术，将传统T+1的离线数据模型升级为“实时化”，使业务方能分钟级洞察核心业务指标（如GMV、DAU）的变化，帮助运营部门及公司领导决策延迟降低99%。
• 深度优化的“Flink作业性能”，通过解决数据倾斜、反压定位、JVM调优等问题，将核心作业的吞吐量提升了5倍，延迟降低了80%。
• 实现实时数据血缘与影响分析功能，能够快速定位上游数据源的schema变更或数据质量问题对下游实时作业的影响，将故障排查时间缩短了70%。

星途社区用户行为实时分析平台研发

• 项目背景：公司为提升内容社区的用户体验与商业转化效率，需实时洞察用户行为（如点击、评论、分享、停留）以支撑推荐算法迭代与运营活动调整，但原有离线分析系统存在小时级延迟，无法满足实时决策需求。我的总体职责是主导平台从0到1的架构设计与落地，对齐产品、算法、运营的核心诉求。
• 解决的关键难题：1）高并发低延迟挑战——平台需承载APP、小程序、Web三端的实时事件（峰值QPS达12万/秒），传统流处理框架难以兼顾吞吐与延迟；2）多源数据 schema 兼容——不同端的用户行为事件结构差异大（如小程序的“分享到朋友圈”事件在APP端无对应字段），易导致数据解析错误；3）实时 session 准确性——用户跨端行为的 session 划分需基于事件时间而非处理时间，传统窗口函数易出现 session 断裂或合并错误。
• 核心行动与技术创新：1）技术栈选型：对比Flink与Spark Streaming后，选择Flink作为实时计算引擎（基于事件时间语义与状态管理能力），搭配Kafka（分区数32，吞吐量达50万/秒）做消息缓冲，HBase（行键设计为用户ID+时间戳）存储原始明细，ClickHouse（预聚合常用指标如实时点击转化率）支撑快速查询；2）schema 兼容方案：自研轻量级 schema 注册中心（基于ZooKeeper做配置分发），要求各端上报事件时附带 schema 版本号，平台通过版本映射自动转换字段（如将小程序的“share_type”映射为通用的“social_channel”）；3）session 划分优化：采用基于事件时间的滑动窗口（窗口大小30分钟，滑动步长5分钟），结合用户最后一次交互时间动态延长窗口，解决跨端 session 断裂问题。
• 项目成果与价值：1）性能指标：平台上线后，实时分析延迟从小时级降至平均500ms，支持秒级查询；2）业务价值：支撑推荐算法团队实现“用户刚浏览美食内容就推送附近餐厅”的实时推荐策略，推荐点击率提升22%；运营团队可通过实时 dashboard 监控活动效果（如话题挑战的参与率），调整策略的时间从T+1缩短至实时，活动ROI提升35%；3）个人贡献：主导架构设计与核心模块开发，解决了高并发下的实时性与多源数据兼容问题，该平台成为公司内容社区的“实时决策大脑”。

短视频内容标签实时同步系统重构

• 项目背景：公司短视频业务的标签（如“美食”“旅行”“宠物”）原通过每日批量任务（Sqoop抽取Hive表→MySQL同步）更新，延迟高达6小时，导致推荐、搜索、广告业务线的标签不准确（如用户刚上传的“猫咪视频”未及时被打上“宠物”标签，无法被精准推荐）。我的职责是重构标签同步系统，实现标签的准实时更新与多业务线一致调用。
• 解决的关键难题：1）海量标签的实时处理——每天新增100万+短视频，每个视频平均带5个标签，传统批量任务无法应对峰值；2）标签一致性——推荐、搜索、广告业务线对标签的更新时效要求不同（搜索需实时，广告可批量），易出现“推荐看到新标签但搜索看不到”的矛盾；3）容错性差——旧系统依赖单节点同步，偶尔宕机会导致标签延迟几小时，影响业务体验。
• 核心行动与技术创新：1）实时同步方案：用Kafka Connect替代Sqoop，将Hive表的变更日志（CDC）实时同步至Kafka，再通过Flink进行标签清洗（去重、标准化）与转换（将“猫”统一为“宠物”）；2）标签版本控制：设计“标签版本号+时间戳”的双维度索引，每个标签变更都生成新版本（如“宠物”标签从v1到v2，新增“包含猫咪、狗狗”的定义），下游业务线可根据自身需求订阅指定版本的标签；3）容错优化：Flink任务开启 checkpoint（间隔5分钟，存储至HDFS），并引入重试机制（失败任务自动重试3次，仍失败则触发告警），同时将标签缓存至Redis（过期时间10分钟），避免数据库压力过大。
• 项目成果与价值：1）性能提升：标签同步延迟从6小时降至5分钟以内，搜索推荐的标签准确率提升30%；2）业务增长：用户点击量因精准推荐提升18%，广告点击率提升12%；3）个人贡献：主导系统重构与核心功能开发，解决了实时性与一致性的平衡问题，该系统至今仍是公司内容标签管理的核心基础设施，支撑了3条业务线的实时调用。