负责公司级数据中台平台核心模块（数据接入、元数据管理、自助分析）的架构设计与迭代，支撑营销、供应链等8条业务线的实时与离线数据需求，保障平台稳定性、扩展性及业务响应效率

• 主导数据平台「湖仓一体」架构升级，基于Apache Iceberg替换原有Hive存储层，结合Flink CDC实现MySQL、Oracle等业务库的实时增量同步（覆盖120+张业务表），解决原有T+1延迟痛点；通过Iceberg分区剪枝、谓词下推及Z-order索引优化，核心业务数据查询 latency 从6小时压缩至15分钟内，查询性能提升40%，支撑大促期间实时用户画像与库存预警场景的需求
• 核心重构企业级元数据管理系统，基于Apache Atlas搭建元数据中台，整合数据平台内2000+张表、100+个数据源（含业务库、埋点、第三方API）的元数据；设计「业务术语-技术元数据-指标」三层映射模型，实现元数据自动采集、血缘追踪（覆盖95%以上ETL链路）与影响分析；上线后业务人员查找目标数据时间从2天缩短至1小时内，数据团队元数据维护成本降低35%
• 负责自助分析模块深度迭代，基于Superset二次开发集成公司用户标签系统与商品维度库，新增「自定义指标计算引擎」（支持SQL-like语法+可视化拖拽配置），满足运营人员对「新客首单转化率」「老客跨品类复购率」等个性化指标需求；迭代后自助分析工具使用率从30%提升至75%，运营活动策略调整周期从1天缩短至4小时
• 牵头平台性能优化与容量规划，通过Prometheus+Grafana搭建实时监控体系，定位大促期间Flink任务状态后端延迟、HDFS热点文件读写等瓶颈；优化Flink Checkpoint策略（从固定间隔改为基于吞吐量自适应调整）、HDFS数据分桶规则（按用户ID哈希+时间维度），大促期间平台CPU利用率从85%降至60%，数据处理吞吐量提升50%，未出现因平台问题导致的业务延迟

负责零售业务线数据仓库搭建与维护，聚焦订单、用户、商品域数据整合，支撑BI报表与业务决策，同时参与数据平台基础组件优化

• 主导订单域数据仓库从0到1搭建，基于Kimball维度建模理论设计星型模型，整合OMS、WMS、CRM系统数据，构建「订单事实表」「用户维度表」「商品维度表」等20+张核心表，实现订单全生命周期跟踪；上线后支撑「订单履约率」「库存周转天数」等关键指标实时监控，报表生成时间从4小时缩短至30分钟，帮助供应链团队降低滞销库存15%
• 核心优化数据平台ETL流程，针对原有Shell脚本ETL低效、易出错问题，用Spark SQL重构每日增量ETL任务，结合动态分区、缓存机制及广播变量，将处理时间从12小时压缩至6小时；引入Airflow作为任务调度工具，实现ETL可视化管理与报警（覆盖90%任务），任务失败率从15%降至2%
• 负责用户行为数据平台初步搭建，基于Kafka+Flink实现用户点击、浏览、加购行为实时采集（峰值QPS 5万），存储至HBase并对外提供实时特征；优化Kafka分区策略（按用户ID哈希）与Flink并行度（动态调整至100），实时数据延迟从10秒缩短至3秒，支撑首页推荐系统点击率提升12%

负责公司基础业务数据ETL处理与BI报表开发，支撑运营、产品团队日常数据需求，同时学习大数据技术栈

• 主导电商业务线用户数据ETL开发，整合MySQL用户表、埋点日志、第三方支付数据，生成「用户画像表」「活跃用户分层表」等10+张表，支撑产品团队用户留存分析；优化ETL错误处理机制（增加重试+异常报警+数据回滚），数据准确性从95%提升至99.5%，减少业务投诉30%
• 参与BI报表开发与维护，基于Tableau搭建运营日报、周报，包含「日活用户数」「订单量」「客单价」核心指标；根据运营需求新增「渠道转化漏斗」「商品销量TOP10」等15张报表，运营人员对报表满意度从70%提升至90%
• 自学Hadoop、Hive、Spark技术栈，将原有单机数据处理脚本迁移至Hive集群，数据处理能力从每日10万条提升至1000万条，解决数据量增长带来的处理瓶颈，支撑业务从单渠道扩展至多渠道运营

在线教育用户行为实时分析平台升级项目

• 在线教育行业需实时捕捉用户学习行为以支撑运营决策，但原基于Flink 1.13的实时数仓存在端到端延迟高（峰值5秒+）、用户画像维度关联耗时久（800ms+）等问题，无法满足分钟级策略调整需求。我作为负责人，主导全链路架构升级，目标是实现1秒内端到端延迟、支撑亿级UV并发。
• 项目面临三大挑战：高并发下流数据join延迟、维度表实时更新一致性、跨业务域指标重复计算。我调研了Flink Interval Join、Redis缓存同步、主题域建模等方案，针对性解决痛点。
• 核心行动包括：1）用Flink Interval Join替代窗口join，结合RocksDB状态后端优化增量检查点，降低关联延迟；2）引入Redis做维度缓存，用Canal监听MySQL用户画像变更并实时同步，保证维度一致性；3）抽象“用户-课程-互动”三大核心域，通过Flink SQL视图实现指标复用，减少重复计算。
• 项目上线后，端到端延迟降至800ms内，维度关联耗时缩短至150ms，跨主题域指标复用率从30%提升至75%。运营策略调整时效从小时级缩至分钟级，直接支撑季度直播转化率提升12%、题库付费用户增长8%，成为公司实时数仓标准架构并推广至全产品线。

电商大促实时风控数据链路与特征计算系统

• 电商大促期间刷单、薅羊毛风险激增，原离线风控系统无法实时识别，导致损失率达3%。我负责搭建实时风控数据链路与特征计算模块，目标是将风险识别时效缩至分钟级、损失率降至1%以内。
• 核心挑战是大促峰值QPS 10万+的资源应对、风险特征实时性（如近1分钟点击转化率）、以及准确性与时误判率平衡。原有批量计算无法满足实时需求，且风控模型更新滞后。
• 我的解决方案：1）用Flink弹性扩缩容结合K8s HPA，根据QPS自动调整资源应对洪峰；2）设计Flink CEP捕捉异常行为（如1分钟内10次商品点击后下单），用Redis存实时计数特征实现毫秒级查询；3）协同算法团队用Online Learning实时更新风控模型，替代离线批量训练。
• 系统上线后，大促损失率降至0.8%，误判率控制在0.1%以内，支撑GMV 50亿达成，直接节省损失约1200万。项目建立了实时风控特征库与数据链路标准，后续推广至日常风控，成为公司电商risk guard核心基础设施。

支教时发现乡村小学因缺乏实验器材，科学课多停留在课本讲解。返校后联合实验室开发出百元级科学实验背包，内含20个基础实验器材。为确保可持续运营，设计配套视频课程与城乡结对系统，并培训132名大学生担任远程助教。项目覆盖9省47所学校后，学生科学兴趣评分提升35%。这段经历教会我用产品思维解决社会问题，当看到孩子们用自制望远镜发现土星光环时，我理解了教育的真谛是点燃可能性。