负责电商平台用户行为与交易全链路数据仓库建设，覆盖从需求拆解、分层设计到上线运维的全周期，边界包括打通APP/小程序/H5多端数据孤岛、保障数据质量及支撑营销/风控核心业务的实时分析需求

• 主导设计用户行为数据分层体系，基于Kimball维度建模理论划分ODS（原始行为日志）、DWD（清洗后事件事实表）、DWS（用户行为宽表）三层；针对多端日志分散问题，用Flink实现实时ETL整合（处理APP点击、小程序浏览等10+类事件），结合Hive离线校准时间戳与设备ID一致性，最终实现用户行为数据统一口径，查询响应时间从8秒降至4.8秒，直接支撑营销团队精准分群（将活动转化率从12%提升至18%）
• 优化交易数据仓库增量同步机制，原Sqoop每小时同步MySQL订单数据导致延迟高（峰值60分钟），改用Canal捕获binlog+Spark Streaming实时处理增量，同步延迟压缩至5分钟内；同时引入数据校验规则（订单金额与支付金额一致性、状态流转合法性），交易数据错误率从0.3%降至0.05%以下，支撑实时风控系统对可疑交易的秒级预警
• 推动数据质量体系落地，基于Apache Atlas搭建元数据管理平台，定义“完整性（字段非空率≥99.9%）、一致性（跨表用户ID匹配率≥99.5%）、时效性（核心指标T+1更新完成率100%）”三大类21条规则；每月数据质量问题工单从15单降至2.5单以内，业务方对数据准确性的满意度从72%提升至91%
• 主导跨部门数据协作项目，对接营销、产品、运营3个部门的20+需求，梳理“新客转化率”“老客复购间隔”等200+指标口径并录入指标字典；用Superset搭建自助分析看板，支持业务人员通过拖拽式操作取数，自主取数率从30%提升至70%，减少数据团队重复支持工作量约40%

负责内容社区用户互动与内容生产数据仓库搭建，支撑内容推荐、用户增长业务，边界包括整合MongoDB/MySQL分散数据、设计高效查询结构及赋能运营决策

• 核心参与内容互动数据仓库建设，采用星型模型设计维度表（用户画像、内容标签、场景上下文）与事实表（点赞/评论/分享事件）；用HBase存储明细数据（支持高并发点赞日志写入），Hive做日/周汇总层，解决之前数据分散在MongoDB（评论）与MySQL（点赞）导致的查询慢问题，内容推荐所需用户兴趣特征提取时间从10秒降至2秒，支撑推荐系统CTR提升25%
• 重构内容生产数据ETL流程，原Shell脚本依赖人工调度且无报警，改用Airflow编排任务（设置任务依赖、重试策略及钉钉报警），任务失败率从8%降至0.8%以下；同时优化内容作者维度表更新逻辑（按作品发布时间增量更新），作者粉丝数、作品互动量等指标的更新时效性从T+2提升至T+1
• 设计内容标签体系，结合TF-IDF算法对社区内容（图文/视频）打“科技/娱乐/美食”等10+一级标签及“AI绘画/职场干货”等二级标签，标签数据存入Elasticsearch；支撑内容推荐精准度提升，用户点击推荐内容的概率从18%升至23%
• 配合用户增长团队做留存分析，梳理用户生命周期关键节点数据（注册→激活→留存→转化），建立“注册后3天活跃率”“7日留存漏斗”等模型；发现注册引导页跳出率高（45%）的问题，推动产品优化引导流程（简化步骤至3步），注册后7日留存率从28%提升至33%

协助搭建电商订单与支付数据仓库，支撑财务结算与运营分析，边界包括数据同步、清洗及基础汇总表开发

• 协助设计订单数据仓库分层结构，用Sqoop从MySQL业务库同步订单主表/明细表，Hive做清洗（去除重复订单、补全缺失收货地址）；实现订单数据统一存储，支撑财务部门月度结算（之前需从3个业务系统导出数据合并，耗时2天，现缩短至4小时）
• 优化支付数据ETL流程，原支付数据存在重复（同一订单多次回调）与缺失（部分支付状态未同步）问题，用DataWorks数据质量模块设置“支付金额>0”“订单状态与支付状态匹配”等规则，重复数据率从5%降至0.4%以下，保证财务对账准确性
• 搭建运营分析基础汇总表，包括日订单量、支付成功率、客单价、各渠道转化率等10+张表；用Tableau制作可视化看板，运营人员可实时查看“当日支付成功率波动”“各渠道新客占比”等指标，决策响应时间从1天缩短至2小时
• 学习维度建模理论并实践，参与设计用户维度表（包含性别、年龄、注册渠道等属性）与商品维度表（包含类目、品牌、价格带等属性）；解决之前维度数据不一致问题（如用户姓名在订单表与用户表中拼写差异），维度数据一致性从95%提升至99.2%以上

社交产品实时用户行为数仓构建及推荐特征优化项目

• 项目背景：公司核心社交APP用户增长陷入停滞，推荐系统因依赖离线特征导致实时性不足，CTR较行业均值低18%，DAU连续3个月未突破800万。核心目标是通过构建实时用户行为数仓，支撑推荐系统毫秒级特征计算，提升流量转化效率。我的职责是主导全链路技术方案设计，协调算法、产品、前端团队对齐特征口径与迭代节奏。
• 解决的关键难题：1）多源数据（APP、小程序、H5）的schema频繁变更（月均12次），传统离线数仓无法适配实时场景；2）实时特征计算需兼顾低延迟（<100ms）与状态一致性，Flink任务偶发checkpoint失败导致数据延迟；3）业务线特征重复开发，计算资源利用率仅35%。技术上采用Flink CDC同步MySQL用户属性，结合Schema Registry实现schema动态映射，解决多源数据一致性问题；通过RocksDB状态后端+增量checkpoint优化，将任务失败率从8%降至1%以下。
• 核心行动与创新：牵头设计实时数仓四层模型（ODS原始行为层->DWD事件关联层->DWS用户行为宽表层->ADS推荐特征层），其中DWD层通过Flink SQL实现“用户点击-评论-转发”全链路事件关联；针对推荐系统需求，开发“好友互动热度标签”“近期兴趣衰减特征”等23个实时特征，接入公司特征平台实现秒级更新；引入Redis Cluster做特征缓存，将高频特征访问延迟从500ms压降至70ms以内。此外，设计“业务变更-特征同步”的自动化流程，减少人工干预80%。
• 项目成果：实时数仓延迟稳定在80ms内，推荐系统CTR提升22%至行业均值以上，DAU增长15%至920万；特征复用率从35%提升至72%，每月节省30%离线计算资源（约120台EMR节点）；项目支撑“兴趣feed流”核心功能上线，成为Q3公司DAU增长的主要驱动。个人主导的技术方案被纳入公司大数据实时开发规范，带教3名初级工程师掌握实时数仓设计与特征开发能力。

用户行为数据湖成本治理与价值激活项目

• 项目背景：公司用户行为数据湖（HDFS+Iceberg）存储规模达120PB，年存储成本超800万，且因元数据混乱、数据冗余，业务部门取数耗时平均2小时，35%数据半年内未被访问。核心目标是降低存储成本30%，提升查询性能50%，激活沉睡数据价值。我的职责是主导数据湖重构与治理，梳理数据资产并优化存储查询效率。
• 解决的关键难题：1）元数据缺失导致重复数据达40%（如同一用户行为日志被多任务写入不同目录）；2）查询未利用Iceberg分区与索引能力，常扫描全表数据；3）缺乏生命周期策略，冷数据未及时归档。技术上采用Apache Atlas搭建元数据平台，追踪数据lineage识别冗余；优化Iceberg表分区为“日期+用户地域”（原始层）与“行为类型+时间窗口”（聚合层），提升查询剪枝效率；引入数据血缘工具自动标记沉睡数据。
• 核心行动与创新：完成全量数据盘点，清理42PB重复数据；重构“原始层-清洗层-聚合层-归档层”四层模型，原始数据迁移至OSS冷存储，聚合数据同步至ClickHouse做OLAP查询；制定生命周期策略：原始数据保留3年、清洗数据保留2年、归档数据每月迁移至冷存储并删除冗余副本。此外，为“用户日活”“行为转化率”等高频查询创建物化视图，预计算指标减少实时计算量。
• 项目成果：存储成本降低35%至每年520万，查询性能提升60%，业务取数时间缩短至15分钟内；激活12个沉睡数据集，支撑运营部“老用户召回活动”转化率提升18%、产品部“用户画像优化”项目落地；个人主导的数据治理流程推广至全公司，成为后续数据湖建设标准规范，本人获公司“年度数据价值贡献奖”。

• 因痛心于年轻人对历史的疏离，我在B站创立「古人脱口秀」栏目，用职场梗解构历史事件（如《雍正皇帝的KPI保卫战》）。通过设计「颠覆认知-史料佐证-现代共鸣」三幕剧本模板，单期视频最高收获1.7万条弹幕互动。
• 两年间栏目播放量突破180万，作品被多地中学选为教学素材。这段经历磨砺出将学术内容转化为大众语言的能力，也让我理解到真实用户反馈才是创作者的指南针。