负责公司级数据中台的底层平台架构设计与全生命周期迭代，聚焦实时计算引擎优化、元数据智能治理及跨业务线资源调度协同，支撑营销、供应链、用户增长三大核心业务线的PB级数据处理需求，保障平台高可用（SLA≥99.99%）与成本可控。

• 主导Flink实时计算引擎从1.13版本向1.17版本的全链路升级，针对大促期间流量洪峰（峰值QPS达85万/秒）导致的任务延迟问题，通过重构状态后端存储策略（由RocksDB切换为增量Checkpoint+本地SSD缓存）、优化事件时间窗口聚合算子并行度，将任务端到端延迟从500ms压降至80ms以内，大促期间未发生因平台延迟导致的业务数据超时报错。
• 设计并落地元数据智能治理平台，基于Apache Atlas扩展自定义血缘解析规则，打通SQL解析引擎（Calcite）与任务调度系统（Airflow）的数据链路，实现数据表-任务-报表的全链路血缘自动追踪（覆盖95%以上ETL任务）；同步上线血缘可视化看板与冗余表预警功能，推动业务线主动清理无效表3200+张，元数据查询耗时从平均3s缩短至200ms，数据团队定位问题效率提升70%。
• 优化平台资源调度机制，基于YARN队列动态扩缩容能力，结合业务峰谷特征（如凌晨低峰期资源利用率仅18%），开发智能资源预测模型（使用XGBoost算法训练历史负载数据），实现计算资源按需弹性分配；上线后集群整体CPU利用率从35%提升至62%，年服务器采购成本降低约350万元。
• 牵头设计跨AZ容灾方案，针对关键组件（HDFS NameNode、Flink JobManager）采用ZooKeeper实现主备选举，结合OSS跨区域复制能力保障元数据持久化；通过混沌工程模拟单AZ故障场景，验证平台故障切换时间从分钟级压缩至30秒内，全年重大故障停机时间≤2小时，满足金融级容灾标准。

承担数据平台核心模块开发与稳定性保障，重点支持离线数仓分层建设、实时任务监控体系完善及平台易用性优化，服务电商直播、会员运营等业务线的日常数据处理需求。

• 独立完成离线数仓ODS-DWD层重构，针对原有分层逻辑混乱（存在重复ETL任务200+个）问题，基于Kimball维度建模理论重新定义事实表与维度表结构，统一公共维度（如用户、商品）的标签体系；重构后ETL任务数量减少40%，数据产出时效从T+1 8点提前至T+1 5点，支撑运营团队早会决策效率提升。
• 开发实时任务监控告警系统，基于Prometheus+Grafana搭建指标采集看板，自定义延迟、吞吐量、失败率等15+核心指标阈值；结合企业微信机器人实现分级告警（P0级问题5分钟内触达责任人），上线后实时任务异常发现时效从小时级缩短至分钟级，业务投诉率下降65%。
• 优化数据同步链路，针对MySQL Binlog同步至Hive时的延迟高问题（原平均延迟2小时），引入Canal+Kafka作为中间件，将增量数据实时写入Kafka Topic，再通过Spark Streaming消费并落库Hive；改造后同步延迟稳定在5分钟内，支撑直播业务实时用户行为分析场景落地。
• 推动平台脚本自动化改造，基于Python开发SQL代码检查工具（集成语法校验、表权限校验、慢查询预判功能），强制要求所有ETL任务提交前通过工具扫描；上线半年内，因语法错误或权限问题导致的任务失败率从12%降至2%，数据团队开发效率提升30%。

负责基础数据处理流程搭建与维护，支撑公司内部管理报表、用户画像标签等场景的数据需求，重点解决数据孤岛与质量问题。

• 主导搭建公司首个离线数据仓库，基于Hive 2.x版本设计三层架构（ODS原始层、DWD明细层、DWS汇总层），通过Sqoop完成MySQL、Oracle等关系型数据库的全量/增量同步，通过Flume收集日志数据；首月完成12个业务系统的数据接入，数据覆盖用户行为、交易、客服等核心领域，支撑财务结算与用户运营团队取数需求。
• 解决数据质量问题，开发脏数据检测工具（基于Hive UDF实现空值、重复值、非法格式校验），每日凌晨自动扫描关键表（如订单表、用户表）并生成质量报告；同步建立数据质量考核机制，推动业务系统优化数据上报逻辑，上线3个月后核心表脏数据率从8%降至1.2%，减少下游分析返工成本。
• 优化ETL执行效率，针对原有Shell脚本调度任务依赖复杂、失败重试机制缺失问题，引入Azkaban作为任务调度工具，配置任务依赖关系与失败重试策略（最多重试3次并触发告警）；改造后任务平均执行时长缩短25%，人工干预次数减少60%，支撑运营团队日报从T+1 12点提前至T+1 9点产出。

星途短视频用户行为全链路实时分析平台建设

• 项目背景：公司短视频业务快速增长，但原离线Hive分析系统存在2-4小时延迟，无法支撑运营团队对热点事件、用户流失的实时响应，也无法为推荐系统提供分钟级更新的实时特征。核心目标是从0到1搭建秒级延迟的用户行为全链路实时分析平台，覆盖埋点接入、数据清洗、指标聚合到多端输出的全流程，支撑运营决策与推荐优化。我在项目中担任总负责人，统筹需求、架构设计与落地。
• 关键难题：①跨端（APP/小程序/H5）埋点格式不统一，导致数据清洗耗时且易出错；②实时计算中1小时以上长窗口的状态管理易引发内存溢出与性能瓶颈；③高并发下（峰值15万/秒事件）数据一致性难以保障。技术上，我主导用Protobuf定义32类用户行为（观看、点赞、评论、分享、完播）的统一Schema，推动产品、客户端团队完成20+端的埋点改造；选择Flink CDC从Kafka实时消费数据，结合RocksDB状态后端与增量Checkpoint机制，将状态存储成本降低40%同时保障容错；设计“滑动窗口（1分钟）+会话窗口（30分钟无行为断开）”组合策略，解决长窗口与短周期指标的精准计算问题。
• 核心行动：①牵头梳理《用户行为埋点规范》，建立“事件-属性-枚举值”三级标准，通过自动化校验工具拦截90%以上的脏数据；②针对实时聚合指标（如实时完播率、互动转化率）的性能瓶颈，优化Flink算子并行度（从8并行提升至24并行）与内存管理策略，将单节点处理能力从5万/秒提升至18万/秒；③构建分层数据架构：ODS层（Kafka存储原始事件）→DWD层（Flink实时清洗去重）→DWS层（按用户/内容/场景聚合实时指标）→ADS层（对接BI工具Tableau、推荐系统Flink Job），确保数据链路的低耦合与高扩展性。
• 项目成果：平台上线后，实时处理延迟稳定在500ms内，支持峰值12万/秒事件处理；沉淀“直播间实时互动率”“短视频实时完播转化漏斗”“用户实时流失预警”等15个核心运营指标，帮助运营团队在某热点事件中快速调整推荐策略，相关视频曝光量提升45%；推荐系统实时特征更新频率从天级提升至分钟级，驱动短视频整体点击率增长18%。我个人主导了架构设计与关键模块开发，解决了跨端数据一致性与实时状态管理的核心问题，该平台已成为公司短视频业务的“实时决策大脑”。

星途社区内容标签体系与实时推荐引擎优化

• 项目背景：公司社区推荐系统依赖离线静态标签（每日凌晨更新），无法捕捉用户实时兴趣变化——例如用户刚观看“新手化妆教程”，推荐结果仍以“美食测评”为主，导致点击率仅7.2%，用户留存率下滑。我的目标是重构内容标签体系，实现标签动态更新，并优化推荐引擎的数据链路，提升推荐的时效性与精准度。项目中我负责标签实时化改造与推荐数据层优化。
• 关键难题：①离线标签无法反映用户近期行为，导致推荐“过时”；②内容标签以粗粒度（如“美妆”“美食”）为主，缺乏细粒度分类（如“美妆-新手教程”“美食-烘焙测评”），推荐泛化严重；③实时数据链路长（行为→日志→计算→标签更新需40分钟），无法支撑推荐的实时性。技术上，我引入BERT细粒度内容分类模型，对社区100万+条内容进行重新打标，建立“一级标签+二级细粒度标签”的体系（如“美妆”下含25个二级标签）；用Flink实时处理用户近15分钟的行为（播放、点赞、评论），动态调整内容与用户的标签权重（如实时观看“新手教程”的用户，“美妆-新手”标签权重提升至80%）；优化数据链路，用Kafka替代原有的ActiveMQ，将消息传递延迟从15分钟降至3分钟。
• 核心行动：①牵头梳理社区内容的细粒度标签体系，联合内容运营团队标注50万条样本，训练BERT模型实现自动化打标，标签准确率从75%提升至92%；②开发实时标签计算模块，用Flink的KeyedProcessFunction实现“用户行为→标签关联→权重更新”的实时流程，支持每秒10万+条行为的处理；③对接推荐系统，将实时标签特征占比从20%提升至50%，优化特征工程中的“近期兴趣得分”计算逻辑（采用指数衰减加权，突出最近30分钟的行为）。
• 项目成果：推荐点击率提升至8.9%（增长24%），用户日均使用时长增加18分钟；内容标签覆盖率从68%提升至96%，覆盖更多垂类内容；实时标签计算延迟降至8分钟内，支撑推荐的“实时兴趣捕捉”。我个人设计了动态标签体系与实时数据链路，推动推荐系统从“离线静态”向“实时动态”升级，该项目使社区用户30日留存率提升12%，成为社区业务的核心优化案例。

• 大二观察到毕业生离校时大量教材被废弃，而新生购书支出占生活费12%，便发起校园书籍教材循环计划。为解决传统二手书交易效率低的问题，我们开发微信小程序实现扫码估价、预约取件功能，并说服快递中心以成本价承接物流。
• 通过建立翻新消毒标准打消卫生顾虑，项目年流通教材1.2万册，累计为同学节省书费38万元。这段经历让我从商业小白成长为能设计闭环模式的实践者，项目不仅获省级创业金奖，更被纳入学校官方服务体系延续至今。