负责电商平台数据中台核心组件（实时数仓、任务调度、数据服务）的架构设计与迭代，支撑营销活动、供应链预测、用户运营等业务线的实时数据需求；同时优化平台性能与稳定性，推动数据能力的自助化与服务化。

• 主导设计实时数仓分层架构（ODS→DWD→DWS→ADS），基于Flink 1.17实现多源数据（线上交易、用户行为、第三方物流）的Exactly-Once同步，结合ClickHouse分布式列存引擎构建实时聚合层；解决大促期间实时订单报表延迟高（原15分钟→优化后1分钟内）与数据一致性差的问题，支撑618大促期间每小时百万级订单的实时营销（如满减凑单推荐），业务转化率提升8%。
• 针对高并发数据任务抢占资源导致失败的问题，基于Airflow 2.4二次开发，引入任务优先级队列（按业务 SLA 分级）与YARN资源隔离机制，同时优化任务失败重试策略（指数退避+依赖链自动触发）；将平台任务成功率从92%提升至98.5%，2023年双11期间未出现因任务失败导致的报表延迟，保障了运营决策的连续性。
• 推动数据平台服务化转型，使用Spring Cloud Alibaba封装数据API接口（支持SQL-like查询与预定义指标调用），对接营销系统的实时人群圈选需求；通过接口限流（Sentinel）、缓存（Redis）优化响应速度，使业务方取数时间从平均2天缩短至2小时内，月均自助取数次数从500次提升至2000次，减少数据团队重复劳动40%。
• 构建数据质量全链路监控体系，基于Apache Atlas管理元数据（字段含义、血缘关系），自定义规则引擎（数据完整性、一致性、时效性）并集成钉钉告警；覆盖实时数仓80%核心表，将数据质量问题发现率从60%提升至95%，2024年业务方因数据错误的投诉率下降40%。

负责零售业务离线数据仓库的开发与维护，整合线上商城、线下门店、供应商数据；参与数据平台初期搭建，支撑运营分析、库存预测等业务需求。

• 主导设计零售离线数仓星型模型（包含商品、用户、交易、库存四大主题域），使用Hive 3.x与Spark 3.1实现ETL流程；整合10+数据源（如POS系统、ERP、会员系统），支撑运营团队周报/月报的快速生成，将报表计算时间从8小时缩短至2小时内，数据准确性提升至99.9%，帮助运营优化库存周转率15%。
• 优化数据同步流程，针对MySQL业务库的全量同步耗时问题，采用Sqoop结合增量日志（Binlog）的混合模式，每日同步时间从4小时降至30分钟；同时引入数据校验脚本（对比源库与数仓的行数、金额总和），使同步数据的一致性从90%提升至98%，减少人工核对工作量60%。
• 推动数据可视化工具集成，对接Tableau Server并封装常用指标模板（如门店销量TOP10、会员复购率）；将运营人员自主制作报表的比例从30%提升至70%，降低数据团队对业务报表的支持压力，同时提升业务决策的灵活性。

负责电商平台基础数据处理与报表开发，搭建初步的数据分析体系，支撑初创期的业务快速增长需求。

• 从0到1搭建用户行为日志采集系统，使用Flume 1.9收集APP端点击、浏览、下单日志，存储至HDFS并按天分区；通过正则表达式与JSON解析优化日志完整性，将有效日志占比从85%提升至98%，支撑用户画像的初步构建（如年龄、性别、兴趣标签），帮助精准营销活动的点击率提升10%。
• 开发基础数据分析报表，包括用户日活、转化率、客单价的日报，使用Python Pandas做数据清洗与聚合，对接公司内部BI系统；将报表生成时间从次日上午10点提前至早上8点，让运营团队能及时调整当日推广策略，如针对低转化渠道优化素材，当月推广ROI提升12%。
• 协助搭建数据仓库ODS层，使用Hive 2.3做简单数据清洗（去重、空值填充），整合线上交易与会员数据；将ODS层数据可用率从90%提升至95%，为后续离线数仓的扩展奠定基础。

星途短视频用户行为全链路实时分析平台建设

• 项目背景：公司短视频业务快速增长，但原离线Hive分析系统存在2-4小时延迟，无法支撑运营团队对热点事件、用户流失的实时响应，也无法为推荐系统提供分钟级更新的实时特征。核心目标是从0到1搭建秒级延迟的用户行为全链路实时分析平台，覆盖埋点接入、数据清洗、指标聚合到多端输出的全流程，支撑运营决策与推荐优化。我在项目中担任总负责人，统筹需求、架构设计与落地。
• 关键难题：①跨端（APP/小程序/H5）埋点格式不统一，导致数据清洗耗时且易出错；②实时计算中1小时以上长窗口的状态管理易引发内存溢出与性能瓶颈；③高并发下（峰值15万/秒事件）数据一致性难以保障。技术上，我主导用Protobuf定义32类用户行为（观看、点赞、评论、分享、完播）的统一Schema，推动产品、客户端团队完成20+端的埋点改造；选择Flink CDC从Kafka实时消费数据，结合RocksDB状态后端与增量Checkpoint机制，将状态存储成本降低40%同时保障容错；设计“滑动窗口（1分钟）+会话窗口（30分钟无行为断开）”组合策略，解决长窗口与短周期指标的精准计算问题。
• 核心行动：①牵头梳理《用户行为埋点规范》，建立“事件-属性-枚举值”三级标准，通过自动化校验工具拦截90%以上的脏数据；②针对实时聚合指标（如实时完播率、互动转化率）的性能瓶颈，优化Flink算子并行度（从8并行提升至24并行）与内存管理策略，将单节点处理能力从5万/秒提升至18万/秒；③构建分层数据架构：ODS层（Kafka存储原始事件）→DWD层（Flink实时清洗去重）→DWS层（按用户/内容/场景聚合实时指标）→ADS层（对接BI工具Tableau、推荐系统Flink Job），确保数据链路的低耦合与高扩展性。
• 项目成果：平台上线后，实时处理延迟稳定在500ms内，支持峰值12万/秒事件处理；沉淀“直播间实时互动率”“短视频实时完播转化漏斗”“用户实时流失预警”等15个核心运营指标，帮助运营团队在某热点事件中快速调整推荐策略，相关视频曝光量提升45%；推荐系统实时特征更新频率从天级提升至分钟级，驱动短视频整体点击率增长18%。我个人主导了架构设计与关键模块开发，解决了跨端数据一致性与实时状态管理的核心问题，该平台已成为公司短视频业务的“实时决策大脑”。

星途社区内容标签体系与实时推荐引擎优化

• 项目背景：公司社区推荐系统依赖离线静态标签（每日凌晨更新），无法捕捉用户实时兴趣变化——例如用户刚观看“新手化妆教程”，推荐结果仍以“美食测评”为主，导致点击率仅7.2%，用户留存率下滑。我的目标是重构内容标签体系，实现标签动态更新，并优化推荐引擎的数据链路，提升推荐的时效性与精准度。项目中我负责标签实时化改造与推荐数据层优化。
• 关键难题：①离线标签无法反映用户近期行为，导致推荐“过时”；②内容标签以粗粒度（如“美妆”“美食”）为主，缺乏细粒度分类（如“美妆-新手教程”“美食-烘焙测评”），推荐泛化严重；③实时数据链路长（行为→日志→计算→标签更新需40分钟），无法支撑推荐的实时性。技术上，我引入BERT细粒度内容分类模型，对社区100万+条内容进行重新打标，建立“一级标签+二级细粒度标签”的体系（如“美妆”下含25个二级标签）；用Flink实时处理用户近15分钟的行为（播放、点赞、评论），动态调整内容与用户的标签权重（如实时观看“新手教程”的用户，“美妆-新手”标签权重提升至80%）；优化数据链路，用Kafka替代原有的ActiveMQ，将消息传递延迟从15分钟降至3分钟。
• 核心行动：①牵头梳理社区内容的细粒度标签体系，联合内容运营团队标注50万条样本，训练BERT模型实现自动化打标，标签准确率从75%提升至92%；②开发实时标签计算模块，用Flink的KeyedProcessFunction实现“用户行为→标签关联→权重更新”的实时流程，支持每秒10万+条行为的处理；③对接推荐系统，将实时标签特征占比从20%提升至50%，优化特征工程中的“近期兴趣得分”计算逻辑（采用指数衰减加权，突出最近30分钟的行为）。
• 项目成果：推荐点击率提升至8.9%（增长24%），用户日均使用时长增加18分钟；内容标签覆盖率从68%提升至96%，覆盖更多垂类内容；实时标签计算延迟降至8分钟内，支撑推荐的“实时兴趣捕捉”。我个人设计了动态标签体系与实时数据链路，推动推荐系统从“离线静态”向“实时动态”升级，该项目使社区用户30日留存率提升12%，成为社区业务的核心优化案例。

支教时发现乡村小学因缺乏实验器材，科学课多停留在课本讲解。返校后联合实验室开发出百元级科学实验背包，内含20个基础实验器材。为确保可持续运营，设计配套视频课程与城乡结对系统，并培训132名大学生担任远程助教。项目覆盖9省47所学校后，学生科学兴趣评分提升35%。这段经历教会我用产品思维解决社会问题，当看到孩子们用自制望远镜发现土星光环时，我理解了教育的真谛是点燃可能性。