负责公司级数据中台的底层平台架构设计与全生命周期迭代，聚焦实时计算引擎优化、元数据智能治理及跨业务线资源调度协同，支撑营销、供应链、用户增长三大核心业务线的PB级数据处理需求，保障平台高可用（SLA≥99.99%）与成本可控。

• 主导Flink实时计算引擎从1.13版本向1.17版本的全链路升级，针对大促期间流量洪峰（峰值QPS达85万/秒）导致的任务延迟问题，通过重构状态后端存储策略（由RocksDB切换为增量Checkpoint+本地SSD缓存）、优化事件时间窗口聚合算子并行度，将任务端到端延迟从500ms压降至80ms以内，大促期间未发生因平台延迟导致的业务数据超时报错。
• 设计并落地元数据智能治理平台，基于Apache Atlas扩展自定义血缘解析规则，打通SQL解析引擎（Calcite）与任务调度系统（Airflow）的数据链路，实现数据表-任务-报表的全链路血缘自动追踪（覆盖95%以上ETL任务）；同步上线血缘可视化看板与冗余表预警功能，推动业务线主动清理无效表3200+张，元数据查询耗时从平均3s缩短至200ms，数据团队定位问题效率提升70%。
• 优化平台资源调度机制，基于YARN队列动态扩缩容能力，结合业务峰谷特征（如凌晨低峰期资源利用率仅18%），开发智能资源预测模型（使用XGBoost算法训练历史负载数据），实现计算资源按需弹性分配；上线后集群整体CPU利用率从35%提升至62%，年服务器采购成本降低约350万元。
• 牵头设计跨AZ容灾方案，针对关键组件（HDFS NameNode、Flink JobManager）采用ZooKeeper实现主备选举，结合OSS跨区域复制能力保障元数据持久化；通过混沌工程模拟单AZ故障场景，验证平台故障切换时间从分钟级压缩至30秒内，全年重大故障停机时间≤2小时，满足金融级容灾标准。

承担数据平台核心模块开发与稳定性保障，重点支持离线数仓分层建设、实时任务监控体系完善及平台易用性优化，服务电商直播、会员运营等业务线的日常数据处理需求。

• 独立完成离线数仓ODS-DWD层重构，针对原有分层逻辑混乱（存在重复ETL任务200+个）问题，基于Kimball维度建模理论重新定义事实表与维度表结构，统一公共维度（如用户、商品）的标签体系；重构后ETL任务数量减少40%，数据产出时效从T+1 8点提前至T+1 5点，支撑运营团队早会决策效率提升。
• 开发实时任务监控告警系统，基于Prometheus+Grafana搭建指标采集看板，自定义延迟、吞吐量、失败率等15+核心指标阈值；结合企业微信机器人实现分级告警（P0级问题5分钟内触达责任人），上线后实时任务异常发现时效从小时级缩短至分钟级，业务投诉率下降65%。
• 优化数据同步链路，针对MySQL Binlog同步至Hive时的延迟高问题（原平均延迟2小时），引入Canal+Kafka作为中间件，将增量数据实时写入Kafka Topic，再通过Spark Streaming消费并落库Hive；改造后同步延迟稳定在5分钟内，支撑直播业务实时用户行为分析场景落地。
• 推动平台脚本自动化改造，基于Python开发SQL代码检查工具（集成语法校验、表权限校验、慢查询预判功能），强制要求所有ETL任务提交前通过工具扫描；上线半年内，因语法错误或权限问题导致的任务失败率从12%降至2%，数据团队开发效率提升30%。

负责基础数据处理流程搭建与维护，支撑公司内部管理报表、用户画像标签等场景的数据需求，重点解决数据孤岛与质量问题。

• 主导搭建公司首个离线数据仓库，基于Hive 2.x版本设计三层架构（ODS原始层、DWD明细层、DWS汇总层），通过Sqoop完成MySQL、Oracle等关系型数据库的全量/增量同步，通过Flume收集日志数据；首月完成12个业务系统的数据接入，数据覆盖用户行为、交易、客服等核心领域，支撑财务结算与用户运营团队取数需求。
• 解决数据质量问题，开发脏数据检测工具（基于Hive UDF实现空值、重复值、非法格式校验），每日凌晨自动扫描关键表（如订单表、用户表）并生成质量报告；同步建立数据质量考核机制，推动业务系统优化数据上报逻辑，上线3个月后核心表脏数据率从8%降至1.2%，减少下游分析返工成本。
• 优化ETL执行效率，针对原有Shell脚本调度任务依赖复杂、失败重试机制缺失问题，引入Azkaban作为任务调度工具，配置任务依赖关系与失败重试策略（最多重试3次并触发告警）；改造后任务平均执行时长缩短25%，人工干预次数减少60%，支撑运营团队日报从T+1 12点提前至T+1 9点产出。

在线教育用户行为实时分析平台升级项目

• 在线教育行业需实时捕捉用户学习行为以支撑运营决策，但原基于Flink 1.13的实时数仓存在端到端延迟高（峰值5秒+）、用户画像维度关联耗时久（800ms+）等问题，无法满足分钟级策略调整需求。我作为负责人，主导全链路架构升级，目标是实现1秒内端到端延迟、支撑亿级UV并发。
• 项目面临三大挑战：高并发下流数据join延迟、维度表实时更新一致性、跨业务域指标重复计算。我调研了Flink Interval Join、Redis缓存同步、主题域建模等方案，针对性解决痛点。
• 核心行动包括：1）用Flink Interval Join替代窗口join，结合RocksDB状态后端优化增量检查点，降低关联延迟；2）引入Redis做维度缓存，用Canal监听MySQL用户画像变更并实时同步，保证维度一致性；3）抽象“用户-课程-互动”三大核心域，通过Flink SQL视图实现指标复用，减少重复计算。
• 项目上线后，端到端延迟降至800ms内，维度关联耗时缩短至150ms，跨主题域指标复用率从30%提升至75%。运营策略调整时效从小时级缩至分钟级，直接支撑季度直播转化率提升12%、题库付费用户增长8%，成为公司实时数仓标准架构并推广至全产品线。

电商大促实时风控数据链路与特征计算系统

• 电商大促期间刷单、薅羊毛风险激增，原离线风控系统无法实时识别，导致损失率达3%。我负责搭建实时风控数据链路与特征计算模块，目标是将风险识别时效缩至分钟级、损失率降至1%以内。
• 核心挑战是大促峰值QPS 10万+的资源应对、风险特征实时性（如近1分钟点击转化率）、以及准确性与时误判率平衡。原有批量计算无法满足实时需求，且风控模型更新滞后。
• 我的解决方案：1）用Flink弹性扩缩容结合K8s HPA，根据QPS自动调整资源应对洪峰；2）设计Flink CEP捕捉异常行为（如1分钟内10次商品点击后下单），用Redis存实时计数特征实现毫秒级查询；3）协同算法团队用Online Learning实时更新风控模型，替代离线批量训练。
• 系统上线后，大促损失率降至0.8%，误判率控制在0.1%以内，支撑GMV 50亿达成，直接节省损失约1200万。项目建立了实时风控特征库与数据链路标准，后续推广至日常风控，成为公司电商risk guard核心基础设施。

• 因痛心于年轻人对历史的疏离，我在B站创立「古人脱口秀」栏目，用职场梗解构历史事件（如《雍正皇帝的KPI保卫战》）。通过设计「颠覆认知-史料佐证-现代共鸣」三幕剧本模板，单期视频最高收获1.7万条弹幕互动。
• 两年间栏目播放量突破180万，作品被多地中学选为教学素材。这段经历磨砺出将学术内容转化为大众语言的能力，也让我理解到真实用户反馈才是创作者的指南针。