• 主导公司下一代“湖仓一体（Lakehouse）”平台的战略设计与落地，基于Apache Iceberg构建了统一的数据存储层，完美融合了数据湖的低成本灵活性和数据仓库的高性能与管理能力，支撑了AI分析、BI报表、即席查询等全场景数据应用，数据复用率提升200%。
• 设计的“流批一体数据入库”框架，实现了同一份数据同时支持Kafka + Flink的实时写入和T+1的批量补充，从架构上保证了数据在实时与离线场景下的绝对一致性，彻底解决了长期困扰业务的数据口径冲突问题。
• 攻克“万亿数据量级下的事务性能”瓶颈，通过深度优化Iceberg的元数据管理（如快照合并、清单文件缓存），将大规模数据删除、更新（CDC）操作耗时从小时级压缩至分钟级，满足了核心业务对数据时效性的苛刻要求。
• 通过建立“多引擎共享数据层”标准，使Spark、Trino、Presto、Hive等不同计算引擎能够无缝、高效地访问同一份湖仓一体数据，打破了计算引擎绑定的枷锁，年节省因引擎切换导致的数据冗余存储成本超千万。

• 负责将核心业务的“用户画像数据域”从传统Hive数仓迁移至湖仓一体架构，通过数据重组织和索引构建，使画像标签的批量更新和实时查询性能均提升5倍，赋能精准营销和推荐系统。
• 实现“自动化小文件合并”服务，通过智能策略定期压缩Iceberg表的小文件，稳定保障了查询引擎的读取性能，将P95查询延迟降低40%。
• 深入研究了Delta Lake、Hudi、Iceberg三大开源方案，并输出了详细的对比评测报告，为公司的技术选型提供了关键决策依据。

电商大促场景下实时用户行为分析平台研发

• 项目背景：公司核心电商平台在大促期间面临用户行为数据峰值达12万/秒的冲击，原有离线分析系统延迟超40分钟，无法支撑运营团队对爆款商品调整、用户转化链路优化的实时决策需求。我的核心目标是主导构建一套低延迟（≤15秒）、高并发（支持峰值15万/秒事件）、高准确的实时用户行为分析平台，覆盖实时用户画像、转化漏斗追踪、爆款商品热度预测三大核心场景。
• 关键难题与技术：1. 海量数据实时摄入的稳定性——高峰期Kafka集群常因分片不均出现消息堆积；2. 跨设备用户行为链的关联计算——用户通过APP、小程序、H5多端访问时，传统session划分无法准确还原行为路径；3. 多维度标签的实时更新——用户兴趣标签需随浏览、加购、下单行为即时调整，原有批量更新方式导致标签滞后2小时。
• 核心行动与创新：1. 架构设计上采用“分层解耦+弹性扩缩”模式：数据摄入层用Kafka集群按事件类型分片（如行为事件、交易事件分开），计算层用Flink动态资源调度（根据消息堆积量自动增减TaskManager），存储层用HBase预分区+Redis缓存热点数据（如TOP100爆款商品的实时点击量）；2. 针对跨设备行为关联，自研基于“设备指纹+用户ID映射表”的事件关联算法，用Flink ProcessFunction实现滑动时间窗口（1小时）内的行为链拼接，引入布隆过滤器过滤无效设备匹配；3. 实时标签引擎采用Flink状态管理（ValueState存储用户行为序列），结合Drools规则引擎配置标签触发条件（如“30分钟内浏览3个母婴商品→标记为母婴兴趣用户”）。
• 项目成果：1. 数据端到端延迟从40分钟降至8秒内，大促期间支撑16万/秒事件处理，系统稳定性达99.99%；2. 运营团队实时决策效率提升50%，如爆款商品库存调整时间从1小时缩短至8分钟，大促期间TOP10商品的销售转化率较去年同期提升18%；3. 平台复用至公司旗下3个电商子品牌，累计节省实时计算成本约30%。我个人主导了平台架构设计与核心模块开发，解决了实时性与跨端行为关联的关键技术瓶颈。

内容社区用户兴趣图谱数据层构建与优化

• 项目背景：公司内容社区推荐系统依赖用户兴趣图谱，但原有数据分散在MySQL（用户属性）、Hive（行为日志）、Neo4j（社交关系）三个库中，需人工整合且更新频率低（每天一次），导致推荐准确率仅2.1%（点击率）。我的目标是整合多源数据，构建统一的用户兴趣图谱数据层，支撑推荐系统实时更新用户兴趣标签与内容关联关系。
• 关键难题与技术：1. 多源数据的语义融合——用户行为日志中的“点击”与内容元数据中的“分类”需建立统一本体模型；2. 图数据的增量更新效率——原有全量更新需6小时，无法满足推荐系统实时性需求；3. 图查询的性能瓶颈——用户相似度查询需遍历10层以上邻居节点，响应时间超500ms。
• 核心行动与创新：1. 设计“统一兴趣本体模型”，定义“用户-行为-内容-标签”四类实体及12种关系（如“用户-浏览-内容”“内容-属于-标签”），用Spark SQL完成多源数据的ETL映射，将分散数据统一存储至Neo4j图数据库；2. 实现实时增量更新机制：用Canal捕获MySQL用户行为日志的binlog，通过Spark Streaming过滤有效行为（如浏览≥5秒、点赞），再调用Neo4j的REST API更新节点属性（如用户兴趣标签权重）与边关系（如用户-点击-内容的边权重+0.1）；3. 优化查询性能：为高频查询字段（如用户ID、标签ID）创建Lucene索引，引入Redis缓存TOP1000用户的高频相似度查询结果（过期时间5分钟）。
• 项目成果：1. 兴趣图谱数据更新频率从每天一次提升至每10分钟一次，数据一致性从85%提升至99%；2. 推荐系统点击率从2.1%升至2.6%（提升23.8%），用户日均停留时长增加12分钟；3. 数据层支撑了社区90%的推荐场景（如首页信息流、详情页相关推荐）。我个人主导了数据层架构设计与增量更新机制，解决了多源数据融合与实时性难题，为推荐系统的效果提升奠定了基础。