负责电商平台数据底层存储与计算组件开发，支撑用户行为分析、交易报表等核心数据应用，保障平台稳定性与处理效率。

• 主导设计混合存储架构，基于HDFS与对象存储（OSS）实现冷热数据分层，通过Hadoop Archive压缩冷数据（占比35%）并结合生命周期策略自动迁移，年存储成本降低42%，同时保障热数据查询延迟稳定在50ms内。
• 优化Spark on K8s调度逻辑，针对日均5000+离线任务设计动态资源分配策略（基于YARN队列水位感知），并通过调整Shuffle分区数（从200提升至500）与压缩算法（Snappy转ZSTD），将任务平均完成时长从48分钟压缩至26分钟，集群资源利用率提升28%。
• 搭建元数据血缘追踪系统，集成Apache Atlas与平台SQL解析器，实现从ODS到ADS全链路字段级血缘可视化，数据问题定位耗时从平均2小时缩短至20分钟，支撑业务方快速排查指标异常。
• 解决大促期间数据积压问题，通过预计算热点分区（如用户日活TOP1000商品）与动态扩容Spark Executor（基于Prometheus指标触发），保障双11当天20亿条日志在3小时内完成清洗入仓，较去年同期提速50%。

聚焦数据平台多租户能力建设，支持零售、本地生活等多业务线复用，推动平台从单一业务支撑向跨域服务转型。

• 设计基于K8s Namespace的容器化资源隔离方案，结合租户配额系统（CPU/内存/存储三级限制）与动态扩缩容策略（HPA根据队列负载自动调整），支撑12条业务线同时在线，集群资源利用率从38%提升至65%，年服务器成本节省约300万。
• 开发统一权限管理模块，对接企业LDAP与RBAC模型，实现表级/字段级权限细粒度控制（支持正则表达式匹配字段），上线后数据越权访问事件清零，同时通过权限缓存（Redis+本地Caffeine）将鉴权耗时从80ms降至15ms。
• 优化实时计算链路，针对订单实时看板场景，重构Flink作业状态后端（RocksDB转增量Checkpoint+OSS持久化），并将窗口计算从滚动窗口改为滑动窗口（步长1分钟），使大促期间订单实时更新延迟从5秒降至1.8秒，支撑前端页面秒级刷新。
• 主导解决多租户资源竞争问题，通过设计优先级队列（核心业务优先）与任务超时熔断机制（超过30分钟自动kill并重试），将关键任务成功率从92%提升至99.6%，非核心任务吞吐量提升40%。

统筹数据平台从离线向实时化、湖仓一体架构转型，支撑全公司数据驱动决策，覆盖用户增长、智能营销、风险控制等核心场景。

• 主导湖仓一体平台落地，整合Iceberg数据湖（存储原始明细数据）与ClickHouse实时数仓（支撑聚合查询），通过Flink CDC同步业务库变更，实现ETL流程节点减少60%，复杂指标查询性能提升3倍（从分钟级到秒级），已支撑用户分群、漏斗分析等10+AI模型训练需求。
• 推动自动化运维体系建设，基于Prometheus+Grafana搭建全链路监控（覆盖Hadoop/Spark/Flink/Kafka等20+组件），自定义告警规则150+条（如Shuffle失败率>5%、Flink TaskManager内存使用率>80%），故障平均修复时间（MTTR）从2小时缩短至12分钟，年度P0级故障次数从7次降至0次。
• 牵头制定《数据平台开发规范V3.0》，包含代码质量（SonarQube覆盖率≥80%）、性能压测（核心任务QPS需达业务峰值1.5倍）、灰度发布（先跑10%流量验证）等12项标准，上线后生产环境事故率同比下降82%，新功能上线周期缩短30%。
• 支撑AI场景数据需求，开发特征工程平台（集成Feast特征存储与MLflow实验管理），提供数据清洗、特征计算、在线推理全流程能力，将算法团队取数耗时从周级降至小时级，模型迭代频率从每月1次提升至每周2次，推动用户流失预测模型AUC从0.78提升至0.85。

星途互娱用户行为实时数仓及个性化推荐支撑平台建设

• 项目背景：公司短视频、直播业务月活突破5000万时，原有离线数仓（Hive+MySQL）无法满足实时推荐、活动运营的即时数据需求——实时推荐延迟超5分钟，活动效果报表需T+1产出，导致用户体验下滑、运营决策滞后。我的核心目标是搭建一套低延迟、高一致性的实时数仓体系，支撑推荐系统秒级数据供给及运营实时监控，同时保障数据可扩展性。
• 关键难题与技术选型：①多源数据整合：APP、小程序、微信/支付宝支付网关的数据格式异构，增量同步易丢包；②低延迟与一致性平衡：原有Spark Streaming任务延迟高且无法保证Exactly Once，推荐数据常重复或丢失；③资源调度冲突：实时任务抢占离线资源，频繁导致任务积压。针对这些问题，我选用Flink作为实时计算引擎（支持毫秒级延迟与Exactly Once语义），用Kafka做统一消息队列承接增量数据；通过Canal同步MySQL业务库的变更日志到Kafka，再由Flink解析并关联用户行为数据；设计“实时ODS-DWD-DWS-ADS”四层架构，O层存原始事件，DWD做维度关联（用户-视频-主播），DWS聚合实时指标（如用户10分钟内互动频次），ADS输出推荐特征与运营报表。
• 核心行动与创新：主导完成架构设计与《实时数据处理规范》输出，对齐数据产品、算法团队需求；优化Flink资源配置——采用YARN队列隔离实时与离线资源，结合动态扩缩容策略（根据Kafka Partition数自动调整TaskManager数量），将任务延迟从5分钟压至10秒内；针对“用户行为计数”类任务，提出“随机前缀+两阶段聚合”方案（先局部聚合再全局汇总），解决数据倾斜问题，任务运行时间缩短40%；协调算法团队校准推荐特征口径，确保实时特征与离线模型兼容。
• 项目成果：平台支撑了公司3条核心业务的实时推荐与运营，实时推荐点击率从1.8%提升至2.3%（+28%），活动转化率提升15%；实时数仓复用率达80%，节省后续项目底层开发成本超200万元；我主导的“实时数据一致性方案”被纳入公司大数据技术标准，成为后续实时项目的参考模板。

星途互娱会员生命周期管理数据平台建设

• 项目背景：公司会员体系存在“数据分散、标签模糊、运营粗放”痛点——会员数据散落在注册、消费、互动系统，字段不统一；运营无法精准识别“潜在/流失会员”，营销活动ROI仅1.2（行业平均1.5）。我的目标是整合全链路数据，搭建生命周期数据平台，支撑精准分层运营，提升会员价值。
• 关键难题与技术方案：①ID-Mapping：各系统会员标识不统一（注册用手机号、消费用用户ID），需打通跨系统数据；②模型落地：传统RFM模型未结合互动行为（评论、分享），生命周期划分不准确；③实时性：运营需要实时查看标签变化，原有Spark Daily批量计算无法满足。解决方案：用Spark做批量处理，通过Redis-based ID-Mapping工具统一会员ID；重新设计标签体系——包含基础属性、价值属性、行为属性、生命周期阶段（潜在/成长/成熟/流失）；基于改进RFM模型（加入互动行为权重）结合K-means聚类，实现生命周期自动化划分。
• 核心行动与决策：主导梳理12个业务系统的会员数据字典，完成ID-Mapping，会员ID统一率从60%提升至95%；开发会员标签计算任务，每天凌晨更新“高价值成长会员”“即将流失会员”等20+核心标签；与运营团队合作，通过A/B测试定义生命周期阈值（如成熟阶段需“近30天消费≥2次+互动≥5次”），并搭建标签可视化界面支持实时查询。
• 项目成果：平台上线后，会员标签覆盖率从60%提升至95%，运营挽回流失会员的ROI从1.0提升至1.4（+40%），“高价值成长会员”ARPU值同比增长25%；公司会员数量从800万增长至1080万（+35%），超额完成年度目标；我主导的“会员生命周期数据模型”获公司技术创新奖，成为会员运营核心工具。

• 因痛心于年轻人对历史的疏离，我在B站创立「古人脱口秀」栏目，用职场梗解构历史事件（如《雍正皇帝的KPI保卫战》）。通过设计「颠覆认知-史料佐证-现代共鸣」三幕剧本模板，单期视频最高收获1.7万条弹幕互动。
• 两年间栏目播放量突破180万，作品被多地中学选为教学素材。这段经历磨砺出将学术内容转化为大众语言的能力，也让我理解到真实用户反馈才是创作者的指南针。