负责公司核心零售与本地生活融合业务的数据仓库架构设计与全生命周期管理，支撑营销、用户增长、供应链三大业务线的决策分析与智能化应用

• 主导设计「零售+本地生活」融合场景下的分层数据仓库架构（ODS→DWD→DWS→ADS），基于Apache Hive 3.x与Spark 3.3构建离线数仓，结合Flink 1.17实现小时级准实时数据同步；针对业务线指标口径不一致问题，牵头制定《跨域指标字典规范》，统一200+核心指标定义（如「跨渠道新增用户」「融合订单履约率」），将指标歧义导致的分析耗时从平均3天缩短至4小时
• 核心参与供应链成本优化项目，负责搭建供应商履约成本数据集市：通过Kafka Connect同步ERP系统的采购、库存、物流数据，使用Hive UDF实现「履约时效波动系数」「供应商异常订单率」等自定义指标计算；优化数据分区策略（从按天分区改为按小时+业务线复合分区），将供应链报表查询耗时降低65%，支撑采购团队识别出3个高成本供应商，年节省成本超800万元
• 解决跨业务数据融合难题：针对营销活动与本地生活订单的用户行为数据割裂问题，使用DataX 3.0完成用户中心MySQL数据到数仓的增量同步，通过Spark SQL构建用户标签体系（如「跨场景消费频次」「场景偏好度」），支撑用户增长团队开展精准营销活动，活动转化率提升22%，新增付费用户环比增长18%
• 推动数仓自动化运维：基于Airflow 2.4搭建数仓任务调度系统，编写Python脚本实现任务失败自动重试（指数退避策略）、数据质量校验（基于Great Expectations定义150+数据质量规则覆盖完整性、准确性、一致性）；将数仓任务故障恢复时间从平均2小时缩短至15分钟，月度任务成功率从92%提升至99.3%

负责零售电商业务的数据仓库搭建与迭代，支撑商品、运营、财务三大部门的数据分析需求，推动数据驱动的精细化运营

• 主导从0到1搭建电商数据仓库：基于Hadoop 3.3生态，设计ODS层（同步淘宝、京东等第三方平台订单数据，使用Sqoop 1.99）、DWD层（清洗商品分类、用户行为数据，编写Hive SQL实现去重、关联逻辑）、DWS层（构建商品销量、用户复购等宽表）；上线后支撑运营团队每日生成50+份运营日报，数据准确率从初始的95%提升至99.8%
• 优化用户画像数据集市：针对原画像数据更新延迟问题（T+1→T+2），使用Flink 1.14实现用户行为的分钟级流处理，结合Hive的Batch模式生成实时+离线融合的用户标签（如「最近1小时浏览品类」「近7天加购未下单用户」）；将用户运营活动的触达精准度提升30%，活动ROI从1:3.2提升至1:4.1
• 支撑财务月度结算项目：负责搭建营收数据核对流程，通过Python编写自动化脚本，对比数仓营收数据与财务ERP系统的差异，定位问题根源（如优惠券分摊逻辑不一致、跨平台佣金计算错误）；将每月结算周期从7天缩短至3天，数据差异率从0.5%降低至0.01%，帮助财务团队减少80%的人工核对工作量
• 推动数据血缘与元数据管理：使用Atlas 2.2搭建数仓元数据管理系统，梳理1000+张表的血缘关系，实现「指标→表→字段」的反向溯源；支撑审计部门快速查询数据来源，满足GDPR合规要求，审计时间从平均5天缩短至1天

协助搭建公司初代数据仓库，负责基础数据采集与清洗，支撑运营部门的简单数据分析需求

• 协助搭建ODS层数据管道：使用Sqoop同步MySQL数据库的用户、商品数据到HDFS，编写Shell脚本实现每日凌晨的增量同步，数据延迟控制在30分钟内；解决同步过程中的主键冲突问题（采用「最后更新时间」优先策略），确保数据一致性
• 负责DWD层基础数据清洗：编写Hive SQL清洗用户注册数据（去除重复注册、手机号格式错误），清洗后的数据准确率达到98%；构建用户基础宽表（包含性别、年龄、注册渠道等维度），支撑运营团队生成用户分布报告
• 参与运营报表开发：根据运营需求，使用Hive SQL编写周度运营报表（如「每周新增用户数」「各渠道转化率」），将报表生成时间从手动统计的2天缩短至自动运行的1小时；支撑运营团队快速调整推广策略，新用户注册量环比增长15%
• 学习数据仓库理论：主动学习《数据仓库工具箱》《维度建模权威指南》，将维度建模思想应用到用户宽表设计中，采用星型模型优化查询性能，报表查询耗时降低40%

社交产品实时用户行为数仓构建及推荐特征优化项目

• 项目背景：公司核心社交APP用户增长陷入停滞，推荐系统因依赖离线特征导致实时性不足，CTR较行业均值低18%，DAU连续3个月未突破800万。核心目标是通过构建实时用户行为数仓，支撑推荐系统毫秒级特征计算，提升流量转化效率。我的职责是主导全链路技术方案设计，协调算法、产品、前端团队对齐特征口径与迭代节奏。
• 解决的关键难题：1）多源数据（APP、小程序、H5）的schema频繁变更（月均12次），传统离线数仓无法适配实时场景；2）实时特征计算需兼顾低延迟（<100ms）与状态一致性，Flink任务偶发checkpoint失败导致数据延迟；3）业务线特征重复开发，计算资源利用率仅35%。技术上采用Flink CDC同步MySQL用户属性，结合Schema Registry实现schema动态映射，解决多源数据一致性问题；通过RocksDB状态后端+增量checkpoint优化，将任务失败率从8%降至1%以下。
• 核心行动与创新：牵头设计实时数仓四层模型（ODS原始行为层->DWD事件关联层->DWS用户行为宽表层->ADS推荐特征层），其中DWD层通过Flink SQL实现“用户点击-评论-转发”全链路事件关联；针对推荐系统需求，开发“好友互动热度标签”“近期兴趣衰减特征”等23个实时特征，接入公司特征平台实现秒级更新；引入Redis Cluster做特征缓存，将高频特征访问延迟从500ms压降至70ms以内。此外，设计“业务变更-特征同步”的自动化流程，减少人工干预80%。
• 项目成果：实时数仓延迟稳定在80ms内，推荐系统CTR提升22%至行业均值以上，DAU增长15%至920万；特征复用率从35%提升至72%，每月节省30%离线计算资源（约120台EMR节点）；项目支撑“兴趣feed流”核心功能上线，成为Q3公司DAU增长的主要驱动。个人主导的技术方案被纳入公司大数据实时开发规范，带教3名初级工程师掌握实时数仓设计与特征开发能力。

用户行为数据湖成本治理与价值激活项目

• 项目背景：公司用户行为数据湖（HDFS+Iceberg）存储规模达120PB，年存储成本超800万，且因元数据混乱、数据冗余，业务部门取数耗时平均2小时，35%数据半年内未被访问。核心目标是降低存储成本30%，提升查询性能50%，激活沉睡数据价值。我的职责是主导数据湖重构与治理，梳理数据资产并优化存储查询效率。
• 解决的关键难题：1）元数据缺失导致重复数据达40%（如同一用户行为日志被多任务写入不同目录）；2）查询未利用Iceberg分区与索引能力，常扫描全表数据；3）缺乏生命周期策略，冷数据未及时归档。技术上采用Apache Atlas搭建元数据平台，追踪数据lineage识别冗余；优化Iceberg表分区为“日期+用户地域”（原始层）与“行为类型+时间窗口”（聚合层），提升查询剪枝效率；引入数据血缘工具自动标记沉睡数据。
• 核心行动与创新：完成全量数据盘点，清理42PB重复数据；重构“原始层-清洗层-聚合层-归档层”四层模型，原始数据迁移至OSS冷存储，聚合数据同步至ClickHouse做OLAP查询；制定生命周期策略：原始数据保留3年、清洗数据保留2年、归档数据每月迁移至冷存储并删除冗余副本。此外，为“用户日活”“行为转化率”等高频查询创建物化视图，预计算指标减少实时计算量。
• 项目成果：存储成本降低35%至每年520万，查询性能提升60%，业务取数时间缩短至15分钟内；激活12个沉睡数据集，支撑运营部“老用户召回活动”转化率提升18%、产品部“用户画像优化”项目落地；个人主导的数据治理流程推广至全公司，成为后续数据湖建设标准规范，本人获公司“年度数据价值贡献奖”。

• 因痛心于年轻人对历史的疏离，我在B站创立「古人脱口秀」栏目，用职场梗解构历史事件（如《雍正皇帝的KPI保卫战》）。通过设计「颠覆认知-史料佐证-现代共鸣」三幕剧本模板，单期视频最高收获1.7万条弹幕互动。
• 两年间栏目播放量突破180万，作品被多地中学选为教学素材。这段经历磨砺出将学术内容转化为大众语言的能力，也让我理解到真实用户反馈才是创作者的指南针。