负责公司级数据中台平台核心模块（数据接入、元数据管理、自助分析）的架构设计与迭代，支撑营销、供应链等8条业务线的实时与离线数据需求，保障平台稳定性、扩展性及业务响应效率

• 主导数据平台「湖仓一体」架构升级，基于Apache Iceberg替换原有Hive存储层，结合Flink CDC实现MySQL、Oracle等业务库的实时增量同步（覆盖120+张业务表），解决原有T+1延迟痛点；通过Iceberg分区剪枝、谓词下推及Z-order索引优化，核心业务数据查询 latency 从6小时压缩至15分钟内，查询性能提升40%，支撑大促期间实时用户画像与库存预警场景的需求
• 核心重构企业级元数据管理系统，基于Apache Atlas搭建元数据中台，整合数据平台内2000+张表、100+个数据源（含业务库、埋点、第三方API）的元数据；设计「业务术语-技术元数据-指标」三层映射模型，实现元数据自动采集、血缘追踪（覆盖95%以上ETL链路）与影响分析；上线后业务人员查找目标数据时间从2天缩短至1小时内，数据团队元数据维护成本降低35%
• 负责自助分析模块深度迭代，基于Superset二次开发集成公司用户标签系统与商品维度库，新增「自定义指标计算引擎」（支持SQL-like语法+可视化拖拽配置），满足运营人员对「新客首单转化率」「老客跨品类复购率」等个性化指标需求；迭代后自助分析工具使用率从30%提升至75%，运营活动策略调整周期从1天缩短至4小时
• 牵头平台性能优化与容量规划，通过Prometheus+Grafana搭建实时监控体系，定位大促期间Flink任务状态后端延迟、HDFS热点文件读写等瓶颈；优化Flink Checkpoint策略（从固定间隔改为基于吞吐量自适应调整）、HDFS数据分桶规则（按用户ID哈希+时间维度），大促期间平台CPU利用率从85%降至60%，数据处理吞吐量提升50%，未出现因平台问题导致的业务延迟

负责零售业务线数据仓库搭建与维护，聚焦订单、用户、商品域数据整合，支撑BI报表与业务决策，同时参与数据平台基础组件优化

• 主导订单域数据仓库从0到1搭建，基于Kimball维度建模理论设计星型模型，整合OMS、WMS、CRM系统数据，构建「订单事实表」「用户维度表」「商品维度表」等20+张核心表，实现订单全生命周期跟踪；上线后支撑「订单履约率」「库存周转天数」等关键指标实时监控，报表生成时间从4小时缩短至30分钟，帮助供应链团队降低滞销库存15%
• 核心优化数据平台ETL流程，针对原有Shell脚本ETL低效、易出错问题，用Spark SQL重构每日增量ETL任务，结合动态分区、缓存机制及广播变量，将处理时间从12小时压缩至6小时；引入Airflow作为任务调度工具，实现ETL可视化管理与报警（覆盖90%任务），任务失败率从15%降至2%
• 负责用户行为数据平台初步搭建，基于Kafka+Flink实现用户点击、浏览、加购行为实时采集（峰值QPS 5万），存储至HBase并对外提供实时特征；优化Kafka分区策略（按用户ID哈希）与Flink并行度（动态调整至100），实时数据延迟从10秒缩短至3秒，支撑首页推荐系统点击率提升12%

负责公司基础业务数据ETL处理与BI报表开发，支撑运营、产品团队日常数据需求，同时学习大数据技术栈

• 主导电商业务线用户数据ETL开发，整合MySQL用户表、埋点日志、第三方支付数据，生成「用户画像表」「活跃用户分层表」等10+张表，支撑产品团队用户留存分析；优化ETL错误处理机制（增加重试+异常报警+数据回滚），数据准确性从95%提升至99.5%，减少业务投诉30%
• 参与BI报表开发与维护，基于Tableau搭建运营日报、周报，包含「日活用户数」「订单量」「客单价」核心指标；根据运营需求新增「渠道转化漏斗」「商品销量TOP10」等15张报表，运营人员对报表满意度从70%提升至90%
• 自学Hadoop、Hive、Spark技术栈，将原有单机数据处理脚本迁移至Hive集群，数据处理能力从每日10万条提升至1000万条，解决数据量增长带来的处理瓶颈，支撑业务从单渠道扩展至多渠道运营

用户行为实时分析平台重构与规模化落地项目

• 背景：原平台基于Apache Storm构建，存在延迟高（平均5s+）、复杂事件处理能力弱、多源数据（埋点/Kafka/MySQL Binlog）schema兼容困难等问题，无法支撑运营团队对活动效果实时监控、用户转化路径实时分析的需求；核心目标是重构至分布式实时计算架构，实现毫秒级延迟与复杂场景全覆盖。
• 难点：Storm拓扑的“ spaghetti code”难以维护，多源数据schema动态变更会导致计算逻辑失效；实时计算中“用户30分钟内连续点击3个商品详情页”这类复杂事件的匹配效率低。解决方案：选用Apache Flink替代Storm（基于其低延迟、Exactly-Once语义与内置CEP引擎）；引入Confluent Schema Registry管理多源数据schema，支持动态兼容；自研基于Flink Java API的复杂事件处理器，通过状态存储用户行为序列实现高效匹配。
• 行动：主导技术选型与全链路架构设计，搭建“数据采集（Kafka+Canal）- 实时计算（Flink）- 结果存储（ClickHouse+Redis）”流程；针对运营需求封装通用指标库（如实时DAU、转化漏斗、页面停留时长分位数），通过Flink SQL实现“配置化指标开发”降低使用门槛；与运维团队协作建立覆盖数据延迟、计算成功率、资源利用率的12项实时监控体系。
• 成果：平台延迟降至800ms以内，支持15万TPS并发，覆盖8条业务线的实时运营场景（如618大促期间实时监控活动页转化率，助力运营调整优惠券策略，活动GMV提升18%）；沉淀《实时数据处理架构规范》《复杂事件处理最佳实践》，个人获公司“年度技术创新奖”。

用户实时画像与标签推荐系统开发项目

• 背景：原用户画像依赖Hive离线计算（T+1更新），无法支撑推荐系统的实时个性化需求（如用户刚浏览商品后立即调整推荐列表）；目标是实现用户画像分钟级更新，提供实时标签供推荐引擎调用。个人负责实时数据处理与标签计算核心模块。
• 难点：离线标签逻辑分散在20+个Shell/Python脚本中，维护成本高；实时计算中用户历史行为的“状态保持”（如近7天浏览的商品类别）会占用大量内存，导致作业频繁OOM。解决方案：梳理现有标签体系（基础属性/行为偏好/实时兴趣三类），将逻辑迁移至Flink；采用RocksDB作为Flink状态后端，将用户行为序列存储至HBase，状态仅保留“当前计算窗口”关键信息以降低内存消耗。
• 行动：搭建“行为数据采集（Kafka）- 实时计算（Flink）- 画像存储（HBase+Redis）”链路，将用户行为数据实时同步至HBase宽表，同时用Flink计算“最近10分钟浏览的手机品类”“近1小时活跃度等级”等实时标签；优化Flink作业并行度与checkpoint策略，将作业恢复时间从15分钟缩短至2分钟；推动标签体系标准化，定义“创建-测试-上线-下线”的生命周期管理流程。
• 成果：用户画像更新时间从T+1缩短至3分钟，推荐系统实时点击率提升22%；标签覆盖率从75%提升至92%，减少推荐引擎空值处理成本；主导的“实时画像标签体系”纳入公司数据中台核心组件，支撑电商、内容两条业务线的推荐场景。

• 因痛心于年轻人对历史的疏离，我在B站创立「古人脱口秀」栏目，用职场梗解构历史事件（如《雍正皇帝的KPI保卫战》）。通过设计「颠覆认知-史料佐证-现代共鸣」三幕剧本模板，单期视频最高收获1.7万条弹幕互动。
• 两年间栏目播放量突破180万，作品被多地中学选为教学素材。这段经历磨砺出将学术内容转化为大众语言的能力，也让我理解到真实用户反馈才是创作者的指南针。