• 主导公司数据仓库的“全面成本治理”专项，通过构建“成本监控与分摊”系统，将计算和存储成本精准核算到每个部门、每个项目甚至每个员工，使之前“看不见”的成本变得完全透明，公司整体大数据成本因此降低30%。
• 实现的“智能生命周期管理”策略，基于数据热度自动将冷数据从昂贵的高性能存储tier归档至低成本对象存储，在几乎不影响查询体验的前提下，节省存储费用40%。
• 深耕“查询性能优化”，建立了从“SQL编写规范、数据模型设计、计算参数调优”的全链路优化体系。通过代码扫描工具自动检测不合理的SQL写法，并组织培训，使全公司的查询效率整体提升25%，无效计算资源消耗大幅减少。
• 其工作成果形成了《数据仓库优化白皮书》，成为公司数据团队的操作手册，并每年定期开展“成本优化周”活动，形成了良好的技术文化。

• 负责“日志数据仓库”的开发和维护，每日处理TB级的用户行为数据，为各类分析报表提供数据支撑。
• 在任务中主动实践成本优化，通过“数据压缩、分区裁剪、谓词下推”等手段，将自己负责的任务资源消耗降低了50%，获得了团队的认可。
• 开始深入研究大数据生态组件的原理，如HDFS、YARN、Hive的执行机制，为后续的深度优化工作打下了坚实的理论基础。

星途直播平台实时用户行为分析系统重构与性能优化

• 项目背景：直播业务进入精细化运营阶段，原有离线Hadoop MapReduce架构的实时用户行为分析系统存在严重延迟（平均2小时），无法支撑运营团队对直播间热度、礼物转化、用户流失的分钟级决策需求。核心目标是将系统升级为流批一体的实时数仓，将关键指标延迟降至10秒内，同时支撑日均1亿条用户行为数据的处理。我在项目中主导技术方案设计、跨部门需求对齐及全链路落地。
• 关键难题：1）原有烟囱式架构导致数据重复计算，资源浪费率达40%；2）Kafka分区策略固定，高峰期单分区吞吐量超上限引发热点；3）实时聚合查询依赖全表扫描，95%的ad-hoc查询响应时间超过30秒；4）Flink任务频繁因状态过大导致Checkpoint失败，稳定性不足。
• 核心行动与创新：1）架构升级：采用Kappa架构整合Flink 1.17做实时计算、Apache Hudi 0.12做实时数据湖存储，实现“实时写入-增量计算-实时查询”流批一体链路；2）Kafka优化：基于主播粉丝量、礼物热度的动态分区算法，将分区数从32个扩展至64个，并自定义分区器分散热点数据；3）查询加速：构建“Hudi实时表+Flink SQL预聚合+Apache Druid二级索引”的双层架构，预计算12个核心指标（如实时在线人数、礼物转化率），将查询响应时间压缩至5秒内；4）稳定性保障：引入Flink增量Checkpoint、状态TTL清理机制，结合YARN Capacity Scheduler做任务队列隔离，将任务失败率从8%降至0.5%。
• 项目成果：1）实时数据延迟从2小时降至5秒内，95%指标延迟<10秒，支撑大促期间单日10万场直播的实时运营；2）系统吞吐量从每小时100万条提升至1.2亿条，资源成本下降35%；3）运营团队决策效率提升70%，活动期间礼物策略调整从小时级缩短至分钟级，带动直播间ARPU提升18%；4）主导输出《直播实时数仓技术规范》，成为公司同类项目的技术标准，个人晋升为大数据开发负责人。

电商用户生命周期数据中台建设

• 项目背景：公司电商业务用户数据分散在CRM、订单、行为日志等10+系统，缺乏统一的用户标签体系和生命周期管理，精准营销转化率仅3%。核心目标是搭建用户生命周期数据中台，整合多源数据生成300+用户标签，支撑运营团队对“拉新-促活-留存-转化”全链路的精准触达。我在项目中负责数据采集、ETL整合、标签计算及平台对接。
• 关键难题：1）多源数据schema不一致，比如CRM用户属性为MySQL宽表，订单数据为Oracle事务表，行为日志为JSON半结构化数据；2）标签计算时效性差，如“最近30天复购率”需T+1更新，无法支撑实时营销；3）标签准确性低，因缺乏一致性校验，部分标签错误率超20%；4）隐私数据安全风险，用户手机号、地址等信息未加密存储。
• 核心行动与创新：1）数据整合：用Flume采集行为日志、Sqoop同步关系型数据库，通过Spark ETL清洗转换，建立统一用户宽表（包含用户ID、消费金额、浏览时长等50+字段），采用星型模型优化查询性能；2）标签体系设计：基于RFM模型（最近消费、消费频率、消费金额）和行为特征（收藏、加购、分享），开发批量标签（如“高价值用户”）与实时标签（如“最近7天登录用户”），用Flink实现标签分钟级更新；3）质量管控：引入数据校验规则引擎（Great Expectations），对标签字段做唯一性、完整性、一致性检查，将错误率降至3%以内；4）安全合规：用AES-256加密用户隐私字段，结合Apache Ranger做权限分级，实现“看数据不碰数据”的安全访问。
• 项目成果：1）整合10+数据源的2PB用户数据，建立公司首个统一用户数据仓库；2）生成320个用户标签，标签准确率从70%提升至95%，覆盖90%的运营场景；3）精准营销转化率提升45%，营销成本下降28%，支撑“双11”期间新用户留存率提升20%；4）数据中台成为公司用户增长的核心引擎，支撑了“潜力用户运营”“高价值用户召回”等多个重点项目，个人获当年“技术突破奖”。

• 因痛心于年轻人对历史的疏离，我在B站创立「古人脱口秀」栏目，用职场梗解构历史事件（如《雍正皇帝的KPI保卫战》）。通过设计「颠覆认知-史料佐证-现代共鸣」三幕剧本模板，单期视频最高收获1.7万条弹幕互动。
• 两年间栏目播放量突破180万，作品被多地中学选为教学素材。这段经历磨砺出将学术内容转化为大众语言的能力，也让我理解到真实用户反馈才是创作者的指南针。