负责电商平台数据底层存储与计算组件开发，支撑用户行为分析、交易报表等核心数据应用，保障平台稳定性与处理效率。

• 主导设计混合存储架构，基于HDFS与对象存储（OSS）实现冷热数据分层，通过Hadoop Archive压缩冷数据（占比35%）并结合生命周期策略自动迁移，年存储成本降低42%，同时保障热数据查询延迟稳定在50ms内。
• 优化Spark on K8s调度逻辑，针对日均5000+离线任务设计动态资源分配策略（基于YARN队列水位感知），并通过调整Shuffle分区数（从200提升至500）与压缩算法（Snappy转ZSTD），将任务平均完成时长从48分钟压缩至26分钟，集群资源利用率提升28%。
• 搭建元数据血缘追踪系统，集成Apache Atlas与平台SQL解析器，实现从ODS到ADS全链路字段级血缘可视化，数据问题定位耗时从平均2小时缩短至20分钟，支撑业务方快速排查指标异常。
• 解决大促期间数据积压问题，通过预计算热点分区（如用户日活TOP1000商品）与动态扩容Spark Executor（基于Prometheus指标触发），保障双11当天20亿条日志在3小时内完成清洗入仓，较去年同期提速50%。

聚焦数据平台多租户能力建设，支持零售、本地生活等多业务线复用，推动平台从单一业务支撑向跨域服务转型。

• 设计基于K8s Namespace的容器化资源隔离方案，结合租户配额系统（CPU/内存/存储三级限制）与动态扩缩容策略（HPA根据队列负载自动调整），支撑12条业务线同时在线，集群资源利用率从38%提升至65%，年服务器成本节省约300万。
• 开发统一权限管理模块，对接企业LDAP与RBAC模型，实现表级/字段级权限细粒度控制（支持正则表达式匹配字段），上线后数据越权访问事件清零，同时通过权限缓存（Redis+本地Caffeine）将鉴权耗时从80ms降至15ms。
• 优化实时计算链路，针对订单实时看板场景，重构Flink作业状态后端（RocksDB转增量Checkpoint+OSS持久化），并将窗口计算从滚动窗口改为滑动窗口（步长1分钟），使大促期间订单实时更新延迟从5秒降至1.8秒，支撑前端页面秒级刷新。
• 主导解决多租户资源竞争问题，通过设计优先级队列（核心业务优先）与任务超时熔断机制（超过30分钟自动kill并重试），将关键任务成功率从92%提升至99.6%，非核心任务吞吐量提升40%。

统筹数据平台从离线向实时化、湖仓一体架构转型，支撑全公司数据驱动决策，覆盖用户增长、智能营销、风险控制等核心场景。

• 主导湖仓一体平台落地，整合Iceberg数据湖（存储原始明细数据）与ClickHouse实时数仓（支撑聚合查询），通过Flink CDC同步业务库变更，实现ETL流程节点减少60%，复杂指标查询性能提升3倍（从分钟级到秒级），已支撑用户分群、漏斗分析等10+AI模型训练需求。
• 推动自动化运维体系建设，基于Prometheus+Grafana搭建全链路监控（覆盖Hadoop/Spark/Flink/Kafka等20+组件），自定义告警规则150+条（如Shuffle失败率>5%、Flink TaskManager内存使用率>80%），故障平均修复时间（MTTR）从2小时缩短至12分钟，年度P0级故障次数从7次降至0次。
• 牵头制定《数据平台开发规范V3.0》，包含代码质量（SonarQube覆盖率≥80%）、性能压测（核心任务QPS需达业务峰值1.5倍）、灰度发布（先跑10%流量验证）等12项标准，上线后生产环境事故率同比下降82%，新功能上线周期缩短30%。
• 支撑AI场景数据需求，开发特征工程平台（集成Feast特征存储与MLflow实验管理），提供数据清洗、特征计算、在线推理全流程能力，将算法团队取数耗时从周级降至小时级，模型迭代频率从每月1次提升至每周2次，推动用户流失预测模型AUC从0.78提升至0.85。

用户行为实时分析平台重构与规模化落地项目

• 背景：原平台基于Apache Storm构建，存在延迟高（平均5s+）、复杂事件处理能力弱、多源数据（埋点/Kafka/MySQL Binlog）schema兼容困难等问题，无法支撑运营团队对活动效果实时监控、用户转化路径实时分析的需求；核心目标是重构至分布式实时计算架构，实现毫秒级延迟与复杂场景全覆盖。
• 难点：Storm拓扑的“ spaghetti code”难以维护，多源数据schema动态变更会导致计算逻辑失效；实时计算中“用户30分钟内连续点击3个商品详情页”这类复杂事件的匹配效率低。解决方案：选用Apache Flink替代Storm（基于其低延迟、Exactly-Once语义与内置CEP引擎）；引入Confluent Schema Registry管理多源数据schema，支持动态兼容；自研基于Flink Java API的复杂事件处理器，通过状态存储用户行为序列实现高效匹配。
• 行动：主导技术选型与全链路架构设计，搭建“数据采集（Kafka+Canal）- 实时计算（Flink）- 结果存储（ClickHouse+Redis）”流程；针对运营需求封装通用指标库（如实时DAU、转化漏斗、页面停留时长分位数），通过Flink SQL实现“配置化指标开发”降低使用门槛；与运维团队协作建立覆盖数据延迟、计算成功率、资源利用率的12项实时监控体系。
• 成果：平台延迟降至800ms以内，支持15万TPS并发，覆盖8条业务线的实时运营场景（如618大促期间实时监控活动页转化率，助力运营调整优惠券策略，活动GMV提升18%）；沉淀《实时数据处理架构规范》《复杂事件处理最佳实践》，个人获公司“年度技术创新奖”。

用户实时画像与标签推荐系统开发项目

• 背景：原用户画像依赖Hive离线计算（T+1更新），无法支撑推荐系统的实时个性化需求（如用户刚浏览商品后立即调整推荐列表）；目标是实现用户画像分钟级更新，提供实时标签供推荐引擎调用。个人负责实时数据处理与标签计算核心模块。
• 难点：离线标签逻辑分散在20+个Shell/Python脚本中，维护成本高；实时计算中用户历史行为的“状态保持”（如近7天浏览的商品类别）会占用大量内存，导致作业频繁OOM。解决方案：梳理现有标签体系（基础属性/行为偏好/实时兴趣三类），将逻辑迁移至Flink；采用RocksDB作为Flink状态后端，将用户行为序列存储至HBase，状态仅保留“当前计算窗口”关键信息以降低内存消耗。
• 行动：搭建“行为数据采集（Kafka）- 实时计算（Flink）- 画像存储（HBase+Redis）”链路，将用户行为数据实时同步至HBase宽表，同时用Flink计算“最近10分钟浏览的手机品类”“近1小时活跃度等级”等实时标签；优化Flink作业并行度与checkpoint策略，将作业恢复时间从15分钟缩短至2分钟；推动标签体系标准化，定义“创建-测试-上线-下线”的生命周期管理流程。
• 成果：用户画像更新时间从T+1缩短至3分钟，推荐系统实时点击率提升22%；标签覆盖率从75%提升至92%，减少推荐引擎空值处理成本；主导的“实时画像标签体系”纳入公司数据中台核心组件，支撑电商、内容两条业务线的推荐场景。

• 大二观察到毕业生离校时大量教材被废弃，而新生购书支出占生活费12%，便发起校园书籍教材循环计划。为解决传统二手书交易效率低的问题，我们开发微信小程序实现扫码估价、预约取件功能，并说服快递中心以成本价承接物流。
• 通过建立翻新消毒标准打消卫生顾虑，项目年流通教材1.2万册，累计为同学节省书费38万元。这段经历让我从商业小白成长为能设计闭环模式的实践者，项目不仅获省级创业金奖，更被纳入学校官方服务体系延续至今。