• 主导公司数据仓库的“全面成本治理”专项，通过构建“成本监控与分摊”系统，将计算和存储成本精准核算到每个部门、每个项目甚至每个员工，使之前“看不见”的成本变得完全透明，公司整体大数据成本因此降低30%。
• 实现的“智能生命周期管理”策略，基于数据热度自动将冷数据从昂贵的高性能存储tier归档至低成本对象存储，在几乎不影响查询体验的前提下，节省存储费用40%。
• 深耕“查询性能优化”，建立了从“SQL编写规范、数据模型设计、计算参数调优”的全链路优化体系。通过代码扫描工具自动检测不合理的SQL写法，并组织培训，使全公司的查询效率整体提升25%，无效计算资源消耗大幅减少。
• 其工作成果形成了《数据仓库优化白皮书》，成为公司数据团队的操作手册，并每年定期开展“成本优化周”活动，形成了良好的技术文化。

• 负责“日志数据仓库”的开发和维护，每日处理TB级的用户行为数据，为各类分析报表提供数据支撑。
• 在任务中主动实践成本优化，通过“数据压缩、分区裁剪、谓词下推”等手段，将自己负责的任务资源消耗降低了50%，获得了团队的认可。
• 开始深入研究大数据生态组件的原理，如HDFS、YARN、Hive的执行机制，为后续的深度优化工作打下了坚实的理论基础。

用户行为实时分析平台升级项目

• 原平台以Hive批处理为核心，用户行为数据处理延迟达2-4小时，无法支撑直播、活动等场景的实时决策；核心目标是将平台升级为“实时+离线”融合架构，实现秒级数据处理与多维度实时洞察，我主导整体架构设计、核心模块开发及全业务线落地推广。
• 面临两大挑战：一是多源数据（APP埋点、服务端日志、第三方渠道）的时效性差异与一致性校验问题；二是峰值QPS10万+场景下，实时计算资源的弹性调度与成本控制。
• 技术上采用Flink1.15作为实时引擎，结合Hudi0.12实现“写时合并”解决数据一致性；设计分层流处理架构（Kafka原始层→Flink清洗层→FlinkSQL聚合层→ClickHouse+Hudi存储层），支撑不同查询需求；引入Flink动态资源调度插件，根据流量自动扩缩容，峰值资源利用率提升40%。
• 平台实时延迟降至5秒内，支撑运营实时调整活动策略，活动转化率提升15%；资源成本较之前降低20%，覆盖6个业务线实时分析需求，我主导的架构成为公司数据平台实时化标杆，个人晋升为实时计算方向核心负责人。

商品推荐系统数据层重构项目

• 原推荐数据层依赖分散的Hive离线表与MySQL实时表，特征生成延迟T+1，无法满足实时推荐模型迭代需求；核心目标是构建统一实时特征数据层，支持分钟级特征更新与高并发查询，我负责架构设计、特征开发及算法团队协同。
• 关键难题：一是推荐场景下特征的时间戳对齐与跨模型复用；二是实时特征计算需满足99.9%以上的SLA稳定性。
• 设计“FlinkCDC+流批一体”特征生产架构，通过CDC同步MySQL商品/用户表变更，结合批处理补全历史数据生成实时特征；搭建特征元数据管理系统，定义特征来源、逻辑、频率等元数据，实现特征“一键查询”与复用；选用ClickHouse作为存储引擎，优化索引结构将查询延迟从500ms降至50ms内。
• 数据层支撑3次推荐模型迭代，CTR提升12%、GMV增长8%；特征开发周期从7天缩至4天，重复开发量减少30%；数据层稳定性达99.95%，满足算法团队高并发需求，我因此晋升为数据平台小组负责人。