• 主导研发了公司基于Apache Hudi和Flink流批一体数据湖仓技术方案，实现了对Kafka实时数据的“秒级入湖”与“增量查询”。该方案成功将传统Lambda架构升级为Kappa架构，简化了技术栈，并保证了实时与离线数据在一份存储中的一致性。
• 独立设计的“多流实时关联”优化策略，通过自定义Flink Operator和利用“流式维表”（如Redis），解决了高吞吐主流量与低吞吐维度流关联时的性能瓶颈，将关联成功率提升至99.9%，保障了实时数据模型的准确性。
• 推动该方案成功产品化，作为PaaS服务对外输出，吸引了数十家大型企业客户，年创造营收超三百万元，并成为公司对标Snowflake、Databricks的核心竞争力之一。
• 实现实时物化视图功能，能够自动将高频查询预计算成中间结果，使得超大规模数据的即席查询响应时间从分钟级降至亚秒级，赋能了交互式实时分析场景。

• 架构并实现​​实时数仓​​建设，统一流量、交易、用户行为等核心业务数据的实时模型，为实时大屏、BI报表和特征工程提供毫秒级数据支撑，替代原T+1模式，决策效率提升​​70%​​。
• 设计并开发​​实时推荐特征工程​​ pipeline，处理机房QPS超​​50万​​，将用户行为数据转化为特征送入推荐模型的延迟控制在​​100ms​​内，助推业务点击率提升​​3%​​。
• 攻克大促期间数据倾斜难题，通过自定义分区器与​​LocalKeyBy​​预聚合方案，将热点订单数据处理能力提升​​5倍​​，保障大促平稳运行。
• 推动流批一体技术落地，部分场景使用​​Apache Iceberg​​作为流批统一存储，减少重复计算，资源成本降低​​30%​​。

• 负责公司​​实时风控系统​​核心模块开发，基于Flink实现滑动窗口聚合与规则引擎，实时识别欺诈交易，每分钟处理​​10万+​​事件，召回率​​90%​​，误判率低于​​0.1%​​。
• 维护和优化实时数据抽取（CDC）链路，使用​​Debezium​​同步MySQL binlog至Kafka，保证端到端​​Exactly-Once​​语义，数据零丢失。
• 构建实时作业监控告警体系，基于​​Prometheus​​和​​Grafana​​监控作业反压、延迟、吞吐量，告警准确率​​99%​​，实现问题分钟级发现与定位。
• 参与搭建公司首个​​Flink on K8s​​集群，实现资源弹性调度，资源利用率提升​​25%​​。

• 因痛心于年轻人对历史的疏离，我在B站创立「古人脱口秀」栏目，用职场梗解构历史事件（如《雍正皇帝的KPI保卫战》）。通过设计「颠覆认知-史料佐证-现代共鸣」三幕剧本模板，单期视频最高收获1.7万条弹幕互动。
• 两年间栏目播放量突破180万，作品被多地中学选为教学素材。这段经历磨砺出将学术内容转化为大众语言的能力，也让我理解到真实用户反馈才是创作者的指南针。

星途社区用户行为实时分析平台研发

• 项目背景：公司为提升内容社区的用户体验与商业转化效率，需实时洞察用户行为（如点击、评论、分享、停留）以支撑推荐算法迭代与运营活动调整，但原有离线分析系统存在小时级延迟，无法满足实时决策需求。我的总体职责是主导平台从0到1的架构设计与落地，对齐产品、算法、运营的核心诉求。
• 解决的关键难题：1）高并发低延迟挑战——平台需承载APP、小程序、Web三端的实时事件（峰值QPS达12万/秒），传统流处理框架难以兼顾吞吐与延迟；2）多源数据 schema 兼容——不同端的用户行为事件结构差异大（如小程序的“分享到朋友圈”事件在APP端无对应字段），易导致数据解析错误；3）实时 session 准确性——用户跨端行为的 session 划分需基于事件时间而非处理时间，传统窗口函数易出现 session 断裂或合并错误。
• 核心行动与技术创新：1）技术栈选型：对比Flink与Spark Streaming后，选择Flink作为实时计算引擎（基于事件时间语义与状态管理能力），搭配Kafka（分区数32，吞吐量达50万/秒）做消息缓冲，HBase（行键设计为用户ID+时间戳）存储原始明细，ClickHouse（预聚合常用指标如实时点击转化率）支撑快速查询；2）schema 兼容方案：自研轻量级 schema 注册中心（基于ZooKeeper做配置分发），要求各端上报事件时附带 schema 版本号，平台通过版本映射自动转换字段（如将小程序的“share_type”映射为通用的“social_channel”）；3）session 划分优化：采用基于事件时间的滑动窗口（窗口大小30分钟，滑动步长5分钟），结合用户最后一次交互时间动态延长窗口，解决跨端 session 断裂问题。
• 项目成果与价值：1）性能指标：平台上线后，实时分析延迟从小时级降至平均500ms，支持秒级查询；2）业务价值：支撑推荐算法团队实现“用户刚浏览美食内容就推送附近餐厅”的实时推荐策略，推荐点击率提升22%；运营团队可通过实时 dashboard 监控活动效果（如话题挑战的参与率），调整策略的时间从T+1缩短至实时，活动ROI提升35%；3）个人贡献：主导架构设计与核心模块开发，解决了高并发下的实时性与多源数据兼容问题，该平台成为公司内容社区的“实时决策大脑”。

短视频内容标签实时同步系统重构

• 项目背景：公司短视频业务的标签（如“美食”“旅行”“宠物”）原通过每日批量任务（Sqoop抽取Hive表→MySQL同步）更新，延迟高达6小时，导致推荐、搜索、广告业务线的标签不准确（如用户刚上传的“猫咪视频”未及时被打上“宠物”标签，无法被精准推荐）。我的职责是重构标签同步系统，实现标签的准实时更新与多业务线一致调用。
• 解决的关键难题：1）海量标签的实时处理——每天新增100万+短视频，每个视频平均带5个标签，传统批量任务无法应对峰值；2）标签一致性——推荐、搜索、广告业务线对标签的更新时效要求不同（搜索需实时，广告可批量），易出现“推荐看到新标签但搜索看不到”的矛盾；3）容错性差——旧系统依赖单节点同步，偶尔宕机会导致标签延迟几小时，影响业务体验。
• 核心行动与技术创新：1）实时同步方案：用Kafka Connect替代Sqoop，将Hive表的变更日志（CDC）实时同步至Kafka，再通过Flink进行标签清洗（去重、标准化）与转换（将“猫”统一为“宠物”）；2）标签版本控制：设计“标签版本号+时间戳”的双维度索引，每个标签变更都生成新版本（如“宠物”标签从v1到v2，新增“包含猫咪、狗狗”的定义），下游业务线可根据自身需求订阅指定版本的标签；3）容错优化：Flink任务开启 checkpoint（间隔5分钟，存储至HDFS），并引入重试机制（失败任务自动重试3次，仍失败则触发告警），同时将标签缓存至Redis（过期时间10分钟），避免数据库压力过大。
• 项目成果与价值：1）性能提升：标签同步延迟从6小时降至5分钟以内，搜索推荐的标签准确率提升30%；2）业务增长：用户点击量因精准推荐提升18%，广告点击率提升12%；3）个人贡献：主导系统重构与核心功能开发，解决了实时性与一致性的平衡问题，该系统至今仍是公司内容标签管理的核心基础设施，支撑了3条业务线的实时调用。