负责集团级数据仓库整体架构设计与迭代，主导跨事业群数据整合与元数据治理，支撑零售、本地生活、金融三大业务线的深度数据分析需求，推动离线-实时数仓融合架构落地。

• 主导设计集团统一维度中心，基于Kimball维度建模理论重构用户、商品、交易三大核心主题域，通过引入缓慢变化维（SCD）Type2+Type3混合策略，解决历史状态追溯与实时属性更新的冲突问题；同步搭建维度元数据管理模块，对接Apache Atlas实现维度血缘自动采集，维度变更影响分析耗时从4小时缩短至15分钟。
• 牵头离线-实时数仓融合项目，基于Flink完成订单、支付等核心链路实时ETL开发，结合Hudi增量存储与Hive离线批处理，实现T+0实时看板与T+1深度报表的同源数据供给；针对大促期间实时数据延迟问题，优化Flink窗口计算逻辑并引入本地状态缓存，将订单流处理延迟从8秒压降至2秒内。
• 设计数据质量全链路监控体系，基于DataWorks规则引擎自定义200+校验规则（完整性、一致性、准确性），开发异常数据自动拦截与告警流程；上线后关键业务表数据错误率从0.3%降至0.05%，月度数据回溯成本减少60%。
• 推动数据资产分级分类落地，结合业务场景定义高价值数据标签（如GMV核心链、用户LTV预测链），通过元数据平台开放自助取数入口，支撑业务团队自主查询效率提升70%，跨部门数据协作工单量下降45%。

聚焦零售业务线数据仓库核心建设，负责交易、会员、供应链三大域的数据模型设计与ETL开发，支撑营销活动效果分析、库存周转优化等关键业务场景。

• 主导会员数据分层建模，基于RFM模型扩展用户价值标签体系，通过Spark SQL实现多源会员数据（APP、小程序、线下POS）的清洗与关联，解决跨端用户ID映射不一致问题；建模后会员画像覆盖率从82%提升至98%，支撑精准营销转化率提升18%。
• 优化供应链数据链路，针对采购-仓储-销售全流程数据滞后问题，重构ETL调度逻辑：将传统T+1批处理拆分为小时级增量同步与夜间全量校验，结合Hive分区裁剪与列式存储优化，供应链报表产出时效从早8点提前至凌晨3点，业务决策响应速度显著加快。
• 攻克大促期间数据仓库稳定性难题，通过分析历史负载发现促销活动表写入并发过高导致集群资源争抢；采用动态资源分配策略（YARN队列优先级调整）与写入限流机制（每批次数据量阈值控制），大促峰值期间集群CPU利用率从95%降至75%，数据积压率保持0异常。
• 搭建数据血缘可视化平台，基于SQL解析工具提取ETL任务依赖关系，手动补全元数据缺失节点，实现从业务指标到原始表的穿透式追踪；上线后数据问题定位时间从平均2小时缩短至10分钟，支撑数据治理团队效率提升50%。

负责电商用户行为数据与交易数据的ETL开发及基础数据层建设，支撑运营团队的流量分析、转化漏斗等基础数据需求，保障数据准确性与时效性。

• 独立完成用户行为日志（APP点击流、埋点数据）的结构化处理，使用Flume完成日志采集，通过Scala编写Spark作业实现非结构化日志（JSON格式）的字段提取与清洗；针对日志乱码率高问题，开发自动编码检测脚本（基于ICU库），数据可用率从92%提升至99.5%。
• 设计交易数据宽表模型，整合订单头信息、商品明细、支付状态等多表数据，采用星型模型降低查询复杂度；同步开发增量更新逻辑（基于最后更新时间戳），替代原有的全量刷新模式，每日数据处理量从10亿条减少至2亿条，集群IO压力下降60%。
• 搭建基础数据质量监控模板，针对订单金额、用户ID等关键字段配置非空、唯一性、值域校验规则，通过Shell脚本定时执行校验并输出异常报告；上线3个月内拦截脏数据12万条，避免因数据错误导致的运营决策偏差。
• 支撑大促活动效果分析需求，快速响应运营团队对新增维度（如直播间引流渠道）的取数要求，通过临时表设计与维度关联优化，在3天内完成数据准备；活动期间日均处理查询请求150+次，响应时效稳定在5分钟内。

社交产品实时用户行为数仓构建及推荐特征优化项目

• 项目背景：公司核心社交APP用户增长陷入停滞，推荐系统因依赖离线特征导致实时性不足，CTR较行业均值低18%，DAU连续3个月未突破800万。核心目标是通过构建实时用户行为数仓，支撑推荐系统毫秒级特征计算，提升流量转化效率。我的职责是主导全链路技术方案设计，协调算法、产品、前端团队对齐特征口径与迭代节奏。
• 解决的关键难题：1）多源数据（APP、小程序、H5）的schema频繁变更（月均12次），传统离线数仓无法适配实时场景；2）实时特征计算需兼顾低延迟（<100ms）与状态一致性，Flink任务偶发checkpoint失败导致数据延迟；3）业务线特征重复开发，计算资源利用率仅35%。技术上采用Flink CDC同步MySQL用户属性，结合Schema Registry实现schema动态映射，解决多源数据一致性问题；通过RocksDB状态后端+增量checkpoint优化，将任务失败率从8%降至1%以下。
• 核心行动与创新：牵头设计实时数仓四层模型（ODS原始行为层->DWD事件关联层->DWS用户行为宽表层->ADS推荐特征层），其中DWD层通过Flink SQL实现“用户点击-评论-转发”全链路事件关联；针对推荐系统需求，开发“好友互动热度标签”“近期兴趣衰减特征”等23个实时特征，接入公司特征平台实现秒级更新；引入Redis Cluster做特征缓存，将高频特征访问延迟从500ms压降至70ms以内。此外，设计“业务变更-特征同步”的自动化流程，减少人工干预80%。
• 项目成果：实时数仓延迟稳定在80ms内，推荐系统CTR提升22%至行业均值以上，DAU增长15%至920万；特征复用率从35%提升至72%，每月节省30%离线计算资源（约120台EMR节点）；项目支撑“兴趣feed流”核心功能上线，成为Q3公司DAU增长的主要驱动。个人主导的技术方案被纳入公司大数据实时开发规范，带教3名初级工程师掌握实时数仓设计与特征开发能力。

用户行为数据湖成本治理与价值激活项目

• 项目背景：公司用户行为数据湖（HDFS+Iceberg）存储规模达120PB，年存储成本超800万，且因元数据混乱、数据冗余，业务部门取数耗时平均2小时，35%数据半年内未被访问。核心目标是降低存储成本30%，提升查询性能50%，激活沉睡数据价值。我的职责是主导数据湖重构与治理，梳理数据资产并优化存储查询效率。
• 解决的关键难题：1）元数据缺失导致重复数据达40%（如同一用户行为日志被多任务写入不同目录）；2）查询未利用Iceberg分区与索引能力，常扫描全表数据；3）缺乏生命周期策略，冷数据未及时归档。技术上采用Apache Atlas搭建元数据平台，追踪数据lineage识别冗余；优化Iceberg表分区为“日期+用户地域”（原始层）与“行为类型+时间窗口”（聚合层），提升查询剪枝效率；引入数据血缘工具自动标记沉睡数据。
• 核心行动与创新：完成全量数据盘点，清理42PB重复数据；重构“原始层-清洗层-聚合层-归档层”四层模型，原始数据迁移至OSS冷存储，聚合数据同步至ClickHouse做OLAP查询；制定生命周期策略：原始数据保留3年、清洗数据保留2年、归档数据每月迁移至冷存储并删除冗余副本。此外，为“用户日活”“行为转化率”等高频查询创建物化视图，预计算指标减少实时计算量。
• 项目成果：存储成本降低35%至每年520万，查询性能提升60%，业务取数时间缩短至15分钟内；激活12个沉睡数据集，支撑运营部“老用户召回活动”转化率提升18%、产品部“用户画像优化”项目落地；个人主导的数据治理流程推广至全公司，成为后续数据湖建设标准规范，本人获公司“年度数据价值贡献奖”。

• 因痛心于年轻人对历史的疏离，我在B站创立「古人脱口秀」栏目，用职场梗解构历史事件（如《雍正皇帝的KPI保卫战》）。通过设计「颠覆认知-史料佐证-现代共鸣」三幕剧本模板，单期视频最高收获1.7万条弹幕互动。
• 两年间栏目播放量突破180万，作品被多地中学选为教学素材。这段经历磨砺出将学术内容转化为大众语言的能力，也让我理解到真实用户反馈才是创作者的指南针。