负责公司级数据中台的底层平台架构设计与全生命周期迭代，聚焦实时计算引擎优化、元数据智能治理及跨业务线资源调度协同，支撑营销、供应链、用户增长三大核心业务线的PB级数据处理需求，保障平台高可用（SLA≥99.99%）与成本可控。

• 主导Flink实时计算引擎从1.13版本向1.17版本的全链路升级，针对大促期间流量洪峰（峰值QPS达85万/秒）导致的任务延迟问题，通过重构状态后端存储策略（由RocksDB切换为增量Checkpoint+本地SSD缓存）、优化事件时间窗口聚合算子并行度，将任务端到端延迟从500ms压降至80ms以内，大促期间未发生因平台延迟导致的业务数据超时报错。
• 设计并落地元数据智能治理平台，基于Apache Atlas扩展自定义血缘解析规则，打通SQL解析引擎（Calcite）与任务调度系统（Airflow）的数据链路，实现数据表-任务-报表的全链路血缘自动追踪（覆盖95%以上ETL任务）；同步上线血缘可视化看板与冗余表预警功能，推动业务线主动清理无效表3200+张，元数据查询耗时从平均3s缩短至200ms，数据团队定位问题效率提升70%。
• 优化平台资源调度机制，基于YARN队列动态扩缩容能力，结合业务峰谷特征（如凌晨低峰期资源利用率仅18%），开发智能资源预测模型（使用XGBoost算法训练历史负载数据），实现计算资源按需弹性分配；上线后集群整体CPU利用率从35%提升至62%，年服务器采购成本降低约350万元。
• 牵头设计跨AZ容灾方案，针对关键组件（HDFS NameNode、Flink JobManager）采用ZooKeeper实现主备选举，结合OSS跨区域复制能力保障元数据持久化；通过混沌工程模拟单AZ故障场景，验证平台故障切换时间从分钟级压缩至30秒内，全年重大故障停机时间≤2小时，满足金融级容灾标准。

承担数据平台核心模块开发与稳定性保障，重点支持离线数仓分层建设、实时任务监控体系完善及平台易用性优化，服务电商直播、会员运营等业务线的日常数据处理需求。

• 独立完成离线数仓ODS-DWD层重构，针对原有分层逻辑混乱（存在重复ETL任务200+个）问题，基于Kimball维度建模理论重新定义事实表与维度表结构，统一公共维度（如用户、商品）的标签体系；重构后ETL任务数量减少40%，数据产出时效从T+1 8点提前至T+1 5点，支撑运营团队早会决策效率提升。
• 开发实时任务监控告警系统，基于Prometheus+Grafana搭建指标采集看板，自定义延迟、吞吐量、失败率等15+核心指标阈值；结合企业微信机器人实现分级告警（P0级问题5分钟内触达责任人），上线后实时任务异常发现时效从小时级缩短至分钟级，业务投诉率下降65%。
• 优化数据同步链路，针对MySQL Binlog同步至Hive时的延迟高问题（原平均延迟2小时），引入Canal+Kafka作为中间件，将增量数据实时写入Kafka Topic，再通过Spark Streaming消费并落库Hive；改造后同步延迟稳定在5分钟内，支撑直播业务实时用户行为分析场景落地。
• 推动平台脚本自动化改造，基于Python开发SQL代码检查工具（集成语法校验、表权限校验、慢查询预判功能），强制要求所有ETL任务提交前通过工具扫描；上线半年内，因语法错误或权限问题导致的任务失败率从12%降至2%，数据团队开发效率提升30%。

负责基础数据处理流程搭建与维护，支撑公司内部管理报表、用户画像标签等场景的数据需求，重点解决数据孤岛与质量问题。

• 主导搭建公司首个离线数据仓库，基于Hive 2.x版本设计三层架构（ODS原始层、DWD明细层、DWS汇总层），通过Sqoop完成MySQL、Oracle等关系型数据库的全量/增量同步，通过Flume收集日志数据；首月完成12个业务系统的数据接入，数据覆盖用户行为、交易、客服等核心领域，支撑财务结算与用户运营团队取数需求。
• 解决数据质量问题，开发脏数据检测工具（基于Hive UDF实现空值、重复值、非法格式校验），每日凌晨自动扫描关键表（如订单表、用户表）并生成质量报告；同步建立数据质量考核机制，推动业务系统优化数据上报逻辑，上线3个月后核心表脏数据率从8%降至1.2%，减少下游分析返工成本。
• 优化ETL执行效率，针对原有Shell脚本调度任务依赖复杂、失败重试机制缺失问题，引入Azkaban作为任务调度工具，配置任务依赖关系与失败重试策略（最多重试3次并触发告警）；改造后任务平均执行时长缩短25%，人工干预次数减少60%，支撑运营团队日报从T+1 12点提前至T+1 9点产出。

用户行为实时分析平台重构与规模化落地项目

• 背景：原平台基于Apache Storm构建，存在延迟高（平均5s+）、复杂事件处理能力弱、多源数据（埋点/Kafka/MySQL Binlog）schema兼容困难等问题，无法支撑运营团队对活动效果实时监控、用户转化路径实时分析的需求；核心目标是重构至分布式实时计算架构，实现毫秒级延迟与复杂场景全覆盖。
• 难点：Storm拓扑的“ spaghetti code”难以维护，多源数据schema动态变更会导致计算逻辑失效；实时计算中“用户30分钟内连续点击3个商品详情页”这类复杂事件的匹配效率低。解决方案：选用Apache Flink替代Storm（基于其低延迟、Exactly-Once语义与内置CEP引擎）；引入Confluent Schema Registry管理多源数据schema，支持动态兼容；自研基于Flink Java API的复杂事件处理器，通过状态存储用户行为序列实现高效匹配。
• 行动：主导技术选型与全链路架构设计，搭建“数据采集（Kafka+Canal）- 实时计算（Flink）- 结果存储（ClickHouse+Redis）”流程；针对运营需求封装通用指标库（如实时DAU、转化漏斗、页面停留时长分位数），通过Flink SQL实现“配置化指标开发”降低使用门槛；与运维团队协作建立覆盖数据延迟、计算成功率、资源利用率的12项实时监控体系。
• 成果：平台延迟降至800ms以内，支持15万TPS并发，覆盖8条业务线的实时运营场景（如618大促期间实时监控活动页转化率，助力运营调整优惠券策略，活动GMV提升18%）；沉淀《实时数据处理架构规范》《复杂事件处理最佳实践》，个人获公司“年度技术创新奖”。

用户实时画像与标签推荐系统开发项目

• 背景：原用户画像依赖Hive离线计算（T+1更新），无法支撑推荐系统的实时个性化需求（如用户刚浏览商品后立即调整推荐列表）；目标是实现用户画像分钟级更新，提供实时标签供推荐引擎调用。个人负责实时数据处理与标签计算核心模块。
• 难点：离线标签逻辑分散在20+个Shell/Python脚本中，维护成本高；实时计算中用户历史行为的“状态保持”（如近7天浏览的商品类别）会占用大量内存，导致作业频繁OOM。解决方案：梳理现有标签体系（基础属性/行为偏好/实时兴趣三类），将逻辑迁移至Flink；采用RocksDB作为Flink状态后端，将用户行为序列存储至HBase，状态仅保留“当前计算窗口”关键信息以降低内存消耗。
• 行动：搭建“行为数据采集（Kafka）- 实时计算（Flink）- 画像存储（HBase+Redis）”链路，将用户行为数据实时同步至HBase宽表，同时用Flink计算“最近10分钟浏览的手机品类”“近1小时活跃度等级”等实时标签；优化Flink作业并行度与checkpoint策略，将作业恢复时间从15分钟缩短至2分钟；推动标签体系标准化，定义“创建-测试-上线-下线”的生命周期管理流程。
• 成果：用户画像更新时间从T+1缩短至3分钟，推荐系统实时点击率提升22%；标签覆盖率从75%提升至92%，减少推荐引擎空值处理成本；主导的“实时画像标签体系”纳入公司数据中台核心组件，支撑电商、内容两条业务线的推荐场景。

• 大二观察到毕业生离校时大量教材被废弃，而新生购书支出占生活费12%，便发起校园书籍教材循环计划。为解决传统二手书交易效率低的问题，我们开发微信小程序实现扫码估价、预约取件功能，并说服快递中心以成本价承接物流。
• 通过建立翻新消毒标准打消卫生顾虑，项目年流通教材1.2万册，累计为同学节省书费38万元。这段经历让我从商业小白成长为能设计闭环模式的实践者，项目不仅获省级创业金奖，更被纳入学校官方服务体系延续至今。