• 作为技术负责人，主导设计了公司新一代“云原生数据中台”的架构，基于Data Mesh理念进行领域驱动设计（DDD），将原有的集中式数仓重构为“统一中心化治理+分布式领域数据产品”的混合模式，成功解决了超大规模（PB级）数据下的研发效率瓶颈，数据需求平均交付周期从“月”缩短至“周”。
• 通过设计“一体化数据开发与治理平台”，无缝集成数据集成、开发、测试、部署和运维，提供“SQL + Spark + DAG”混合编辑模式，并内置“数据血缘、数据质量、成本治理”能力，将数据开发的效率提升40%，同时将因数据质量问题导致的业务投诉降低了90%。
• 带领团队攻克了“万亿级数据下的查询性能”难题，通过深度优化ClickHouse和StarRocks的集群部署、数据模型和查询语法，使即席查询（Ad-Hoc）的P95延迟稳定在秒级，赋能业务人员实现真正的数据自助分析。
• 在此期间建立“数据资产运营”体系，通过数据地图、资产评分、热度分析等功能，将数据作为产品进行运营，使数据资产的可发现性和复用率提升了60%，直接推动了数据驱动的文化转型。

• 负责公司最核心的“电商交易数据域”的模型设计与开发，基于Kimball维度建模理论，构建了覆盖“用户、商品、交易、营销”等主题的enterprise data warehouse (EDW)，其稳定性和准确性成为公司所有关键报表和决策的唯一可信数据源。
• 研发实现了“增量-全量一体化”数据处理框架，完美平衡了数据处理性能和复杂度，保障了T+1数据的高效产出，任务调度成功率高达99.99%。
• 深入Hive & Spark性能调优，通过优化数据倾斜、小文件合并、计算参数调整，将核心ETL作业的执行时间缩短了50%，年节省计算成本超百万元。

社交产品实时用户行为数仓构建及推荐特征优化项目

• 项目背景：公司核心社交APP用户增长陷入停滞，推荐系统因依赖离线特征导致实时性不足，CTR较行业均值低18%，DAU连续3个月未突破800万。核心目标是通过构建实时用户行为数仓，支撑推荐系统毫秒级特征计算，提升流量转化效率。我的职责是主导全链路技术方案设计，协调算法、产品、前端团队对齐特征口径与迭代节奏。
• 解决的关键难题：1）多源数据（APP、小程序、H5）的schema频繁变更（月均12次），传统离线数仓无法适配实时场景；2）实时特征计算需兼顾低延迟（<100ms）与状态一致性，Flink任务偶发checkpoint失败导致数据延迟；3）业务线特征重复开发，计算资源利用率仅35%。技术上采用Flink CDC同步MySQL用户属性，结合Schema Registry实现schema动态映射，解决多源数据一致性问题；通过RocksDB状态后端+增量checkpoint优化，将任务失败率从8%降至1%以下。
• 核心行动与创新：牵头设计实时数仓四层模型（ODS原始行为层->DWD事件关联层->DWS用户行为宽表层->ADS推荐特征层），其中DWD层通过Flink SQL实现“用户点击-评论-转发”全链路事件关联；针对推荐系统需求，开发“好友互动热度标签”“近期兴趣衰减特征”等23个实时特征，接入公司特征平台实现秒级更新；引入Redis Cluster做特征缓存，将高频特征访问延迟从500ms压降至70ms以内。此外，设计“业务变更-特征同步”的自动化流程，减少人工干预80%。
• 项目成果：实时数仓延迟稳定在80ms内，推荐系统CTR提升22%至行业均值以上，DAU增长15%至920万；特征复用率从35%提升至72%，每月节省30%离线计算资源（约120台EMR节点）；项目支撑“兴趣feed流”核心功能上线，成为Q3公司DAU增长的主要驱动。个人主导的技术方案被纳入公司大数据实时开发规范，带教3名初级工程师掌握实时数仓设计与特征开发能力。

用户行为数据湖成本治理与价值激活项目

• 项目背景：公司用户行为数据湖（HDFS+Iceberg）存储规模达120PB，年存储成本超800万，且因元数据混乱、数据冗余，业务部门取数耗时平均2小时，35%数据半年内未被访问。核心目标是降低存储成本30%，提升查询性能50%，激活沉睡数据价值。我的职责是主导数据湖重构与治理，梳理数据资产并优化存储查询效率。
• 解决的关键难题：1）元数据缺失导致重复数据达40%（如同一用户行为日志被多任务写入不同目录）；2）查询未利用Iceberg分区与索引能力，常扫描全表数据；3）缺乏生命周期策略，冷数据未及时归档。技术上采用Apache Atlas搭建元数据平台，追踪数据lineage识别冗余；优化Iceberg表分区为“日期+用户地域”（原始层）与“行为类型+时间窗口”（聚合层），提升查询剪枝效率；引入数据血缘工具自动标记沉睡数据。
• 核心行动与创新：完成全量数据盘点，清理42PB重复数据；重构“原始层-清洗层-聚合层-归档层”四层模型，原始数据迁移至OSS冷存储，聚合数据同步至ClickHouse做OLAP查询；制定生命周期策略：原始数据保留3年、清洗数据保留2年、归档数据每月迁移至冷存储并删除冗余副本。此外，为“用户日活”“行为转化率”等高频查询创建物化视图，预计算指标减少实时计算量。
• 项目成果：存储成本降低35%至每年520万，查询性能提升60%，业务取数时间缩短至15分钟内；激活12个沉睡数据集，支撑运营部“老用户召回活动”转化率提升18%、产品部“用户画像优化”项目落地；个人主导的数据治理流程推广至全公司，成为后续数据湖建设标准规范，本人获公司“年度数据价值贡献奖”。

• 大二观察到毕业生离校时大量教材被废弃，而新生购书支出占生活费12%，便发起校园书籍教材循环计划。为解决传统二手书交易效率低的问题，我们开发微信小程序实现扫码估价、预约取件功能，并说服快递中心以成本价承接物流。
• 通过建立翻新消毒标准打消卫生顾虑，项目年流通教材1.2万册，累计为同学节省书费38万元。这段经历让我从商业小白成长为能设计闭环模式的实践者，项目不仅获省级创业金奖，更被纳入学校官方服务体系延续至今。