负责公司级数据中台平台核心模块（数据接入、元数据管理、自助分析）的架构设计与迭代，支撑营销、供应链等8条业务线的实时与离线数据需求，保障平台稳定性、扩展性及业务响应效率

• 主导数据平台「湖仓一体」架构升级，基于Apache Iceberg替换原有Hive存储层，结合Flink CDC实现MySQL、Oracle等业务库的实时增量同步（覆盖120+张业务表），解决原有T+1延迟痛点；通过Iceberg分区剪枝、谓词下推及Z-order索引优化，核心业务数据查询 latency 从6小时压缩至15分钟内，查询性能提升40%，支撑大促期间实时用户画像与库存预警场景的需求
• 核心重构企业级元数据管理系统，基于Apache Atlas搭建元数据中台，整合数据平台内2000+张表、100+个数据源（含业务库、埋点、第三方API）的元数据；设计「业务术语-技术元数据-指标」三层映射模型，实现元数据自动采集、血缘追踪（覆盖95%以上ETL链路）与影响分析；上线后业务人员查找目标数据时间从2天缩短至1小时内，数据团队元数据维护成本降低35%
• 负责自助分析模块深度迭代，基于Superset二次开发集成公司用户标签系统与商品维度库，新增「自定义指标计算引擎」（支持SQL-like语法+可视化拖拽配置），满足运营人员对「新客首单转化率」「老客跨品类复购率」等个性化指标需求；迭代后自助分析工具使用率从30%提升至75%，运营活动策略调整周期从1天缩短至4小时
• 牵头平台性能优化与容量规划，通过Prometheus+Grafana搭建实时监控体系，定位大促期间Flink任务状态后端延迟、HDFS热点文件读写等瓶颈；优化Flink Checkpoint策略（从固定间隔改为基于吞吐量自适应调整）、HDFS数据分桶规则（按用户ID哈希+时间维度），大促期间平台CPU利用率从85%降至60%，数据处理吞吐量提升50%，未出现因平台问题导致的业务延迟

负责零售业务线数据仓库搭建与维护，聚焦订单、用户、商品域数据整合，支撑BI报表与业务决策，同时参与数据平台基础组件优化

• 主导订单域数据仓库从0到1搭建，基于Kimball维度建模理论设计星型模型，整合OMS、WMS、CRM系统数据，构建「订单事实表」「用户维度表」「商品维度表」等20+张核心表，实现订单全生命周期跟踪；上线后支撑「订单履约率」「库存周转天数」等关键指标实时监控，报表生成时间从4小时缩短至30分钟，帮助供应链团队降低滞销库存15%
• 核心优化数据平台ETL流程，针对原有Shell脚本ETL低效、易出错问题，用Spark SQL重构每日增量ETL任务，结合动态分区、缓存机制及广播变量，将处理时间从12小时压缩至6小时；引入Airflow作为任务调度工具，实现ETL可视化管理与报警（覆盖90%任务），任务失败率从15%降至2%
• 负责用户行为数据平台初步搭建，基于Kafka+Flink实现用户点击、浏览、加购行为实时采集（峰值QPS 5万），存储至HBase并对外提供实时特征；优化Kafka分区策略（按用户ID哈希）与Flink并行度（动态调整至100），实时数据延迟从10秒缩短至3秒，支撑首页推荐系统点击率提升12%

负责公司基础业务数据ETL处理与BI报表开发，支撑运营、产品团队日常数据需求，同时学习大数据技术栈

• 主导电商业务线用户数据ETL开发，整合MySQL用户表、埋点日志、第三方支付数据，生成「用户画像表」「活跃用户分层表」等10+张表，支撑产品团队用户留存分析；优化ETL错误处理机制（增加重试+异常报警+数据回滚），数据准确性从95%提升至99.5%，减少业务投诉30%
• 参与BI报表开发与维护，基于Tableau搭建运营日报、周报，包含「日活用户数」「订单量」「客单价」核心指标；根据运营需求新增「渠道转化漏斗」「商品销量TOP10」等15张报表，运营人员对报表满意度从70%提升至90%
• 自学Hadoop、Hive、Spark技术栈，将原有单机数据处理脚本迁移至Hive集群，数据处理能力从每日10万条提升至1000万条，解决数据量增长带来的处理瓶颈，支撑业务从单渠道扩展至多渠道运营

星途短视频用户行为全链路实时分析平台建设

• 项目背景：公司短视频业务快速增长，但原离线Hive分析系统存在2-4小时延迟，无法支撑运营团队对热点事件、用户流失的实时响应，也无法为推荐系统提供分钟级更新的实时特征。核心目标是从0到1搭建秒级延迟的用户行为全链路实时分析平台，覆盖埋点接入、数据清洗、指标聚合到多端输出的全流程，支撑运营决策与推荐优化。我在项目中担任总负责人，统筹需求、架构设计与落地。
• 关键难题：①跨端（APP/小程序/H5）埋点格式不统一，导致数据清洗耗时且易出错；②实时计算中1小时以上长窗口的状态管理易引发内存溢出与性能瓶颈；③高并发下（峰值15万/秒事件）数据一致性难以保障。技术上，我主导用Protobuf定义32类用户行为（观看、点赞、评论、分享、完播）的统一Schema，推动产品、客户端团队完成20+端的埋点改造；选择Flink CDC从Kafka实时消费数据，结合RocksDB状态后端与增量Checkpoint机制，将状态存储成本降低40%同时保障容错；设计“滑动窗口（1分钟）+会话窗口（30分钟无行为断开）”组合策略，解决长窗口与短周期指标的精准计算问题。
• 核心行动：①牵头梳理《用户行为埋点规范》，建立“事件-属性-枚举值”三级标准，通过自动化校验工具拦截90%以上的脏数据；②针对实时聚合指标（如实时完播率、互动转化率）的性能瓶颈，优化Flink算子并行度（从8并行提升至24并行）与内存管理策略，将单节点处理能力从5万/秒提升至18万/秒；③构建分层数据架构：ODS层（Kafka存储原始事件）→DWD层（Flink实时清洗去重）→DWS层（按用户/内容/场景聚合实时指标）→ADS层（对接BI工具Tableau、推荐系统Flink Job），确保数据链路的低耦合与高扩展性。
• 项目成果：平台上线后，实时处理延迟稳定在500ms内，支持峰值12万/秒事件处理；沉淀“直播间实时互动率”“短视频实时完播转化漏斗”“用户实时流失预警”等15个核心运营指标，帮助运营团队在某热点事件中快速调整推荐策略，相关视频曝光量提升45%；推荐系统实时特征更新频率从天级提升至分钟级，驱动短视频整体点击率增长18%。我个人主导了架构设计与关键模块开发，解决了跨端数据一致性与实时状态管理的核心问题，该平台已成为公司短视频业务的“实时决策大脑”。

星途社区内容标签体系与实时推荐引擎优化

• 项目背景：公司社区推荐系统依赖离线静态标签（每日凌晨更新），无法捕捉用户实时兴趣变化——例如用户刚观看“新手化妆教程”，推荐结果仍以“美食测评”为主，导致点击率仅7.2%，用户留存率下滑。我的目标是重构内容标签体系，实现标签动态更新，并优化推荐引擎的数据链路，提升推荐的时效性与精准度。项目中我负责标签实时化改造与推荐数据层优化。
• 关键难题：①离线标签无法反映用户近期行为，导致推荐“过时”；②内容标签以粗粒度（如“美妆”“美食”）为主，缺乏细粒度分类（如“美妆-新手教程”“美食-烘焙测评”），推荐泛化严重；③实时数据链路长（行为→日志→计算→标签更新需40分钟），无法支撑推荐的实时性。技术上，我引入BERT细粒度内容分类模型，对社区100万+条内容进行重新打标，建立“一级标签+二级细粒度标签”的体系（如“美妆”下含25个二级标签）；用Flink实时处理用户近15分钟的行为（播放、点赞、评论），动态调整内容与用户的标签权重（如实时观看“新手教程”的用户，“美妆-新手”标签权重提升至80%）；优化数据链路，用Kafka替代原有的ActiveMQ，将消息传递延迟从15分钟降至3分钟。
• 核心行动：①牵头梳理社区内容的细粒度标签体系，联合内容运营团队标注50万条样本，训练BERT模型实现自动化打标，标签准确率从75%提升至92%；②开发实时标签计算模块，用Flink的KeyedProcessFunction实现“用户行为→标签关联→权重更新”的实时流程，支持每秒10万+条行为的处理；③对接推荐系统，将实时标签特征占比从20%提升至50%，优化特征工程中的“近期兴趣得分”计算逻辑（采用指数衰减加权，突出最近30分钟的行为）。
• 项目成果：推荐点击率提升至8.9%（增长24%），用户日均使用时长增加18分钟；内容标签覆盖率从68%提升至96%，覆盖更多垂类内容；实时标签计算延迟降至8分钟内，支撑推荐的“实时兴趣捕捉”。我个人设计了动态标签体系与实时数据链路，推动推荐系统从“离线静态”向“实时动态”升级，该项目使社区用户30日留存率提升12%，成为社区业务的核心优化案例。

• 大二观察到毕业生离校时大量教材被废弃，而新生购书支出占生活费12%，便发起校园书籍教材循环计划。为解决传统二手书交易效率低的问题，我们开发微信小程序实现扫码估价、预约取件功能，并说服快递中心以成本价承接物流。
• 通过建立翻新消毒标准打消卫生顾虑，项目年流通教材1.2万册，累计为同学节省书费38万元。这段经历让我从商业小白成长为能设计闭环模式的实践者，项目不仅获省级创业金奖，更被纳入学校官方服务体系延续至今。