负责公司大数据基础平台核心模块（元数据管理、实时计算链路、资源调度）的架构设计与迭代，聚焦平台稳定性、性能优化及对电商营销、用户运营等上层业务的支撑能力提升

• 主导设计并落地基于Apache Doris的统一元数据管理系统，针对原有元数据分散在Hive、ClickHouse、Kafka的痛点，采用Apache Atlas对接各数据源，结合自研Java+Canal元数据同步工具，实现跨源元数据实时采集与一致性校验；通过Atlas图数据库模型优化元数据关联查询逻辑，将元数据检索耗时从平均12s降至2s内，支撑数据治理团队对10万+张表的快速定位与血缘分析，元数据管理效率提升80%
• 核心参与双11大促实时计算链路扩容，针对实时订单流处理延迟从500ms攀升至2s的问题，定位到Flink作业并行度不足与RocksDB状态后端性能瓶颈；采用Flink Adaptive Scheduler动态调整并行度，替换为Apache Pravega高吞吐状态存储，同步调整batch size至5000减少IO开销；最终大促期间实时订单处理延迟稳定在300ms内，支撑营销活动实时用户行为分析与优惠券精准推送，活动转化率提升18%
• 负责YARN集群资源调度模块优化，针对资源利用率仅45%的问题，引入Capacity Scheduler自定义队列策略（按营销活动、日常报表划分优先级），结合Prometheus监控的CPU/内存使用率实现资源弹性伸缩；同时优化任务调度算法，将长任务（如月度报表）与短任务（如实时监控）分时段调度，资源利用率提升至72%，年节省云服务器成本约350万元
• 推动平台易用性提升，针对数据开发人员SQL调试效率低的反馈，开发基于Vue.js的前端SQL调试工具，集成Apache Calcite实现语法校验与执行计划预览，对接元数据系统实现字段级血缘可视化；工具上线后，SQL调试平均时间从45分钟缩短至15分钟，数据开发团队满意度提升至92%

负责零售公司大数据平台离线计算模块开发与性能优化，支撑商品库存、销售预测核心业务的数据处理需求，逐步参与平台架构设计与标准化建设

• 主导优化基于Hive的销售数据离线计算链路，针对月末销售汇总报表生成时间从8小时延长至12小时的问题，分析MapReduce任务shuffle瓶颈与小文件过多痛点；采用Hive 3.x Vectorization向量化执行与Tez引擎替换MapReduce，结合HDFS合并小文件工具（Shell+HDFS API）将小文件数量从150万+降至30万内，shuffle数据量减少40%；最终报表生成时间缩短至5小时内，支撑月末财务结算及时性，结算周期缩短3天
• 核心参与数据仓库分层体系建设，基于Kimball维度建模理论设计ODS-DWD-DWS三层架构；其中DWD层用Spark SQL实现用户行为数据清洗关联（整合APP点击、下单、支付数据），DWS层构建用户画像宽表（包含人口属性、消费偏好、行为特征20+维度）；体系上线后，上层业务取数效率提升60%，重复计算减少70%，支撑商品运营团队精准选品
• 搭建平台任务监控与报警系统，针对原有仅覆盖作业成败的监控盲区，采用Prometheus+Grafana实现任务运行时指标监控（CPU、内存、shuffle读写量），结合Alertmanager设置阈值报警（如shuffle超1TB触发预警）；系统上线后，任务故障发现时间从30分钟缩短至5分钟内，减少业务数据延迟影响，关键任务故障率下降65%
• 推动数据标准落地，主导制定《零售数据字段命名规范》《ETL流程开发指南》，通过平台脚本校验ETL任务的字段命名与逻辑合规性，将数据质量问题率从12%降至3%，降低下游业务的数据清洗成本

负责互联网公司基础数据处理与ETL流程开发，支撑用户增长、运营活动的简单数据需求，初步接触平台化工具的使用与优化

• 主导开发用户行为数据ETL流程，从APP埋点JSON日志到Hive表的清洗转换，采用Python Scrapy采集埋点日志，结合PySpark解析用户ID、行为类型、页面路径等字段并去重；流程上线后，每日处理日志量从500GB增长至1.2TB，支撑运营团队对用户行为的初步分析，用户留存率策略调整周期缩短2天
• 优化Hive用户标签表存储结构，针对查询慢问题将行存储改为ORC列存储并开启Snappy压缩，同步优化分区策略为周分区+动态分区；优化后标签查询耗时从2分钟降至30秒内，支撑营销活动用户分群效率提升，活动触达准确率提升15%
• 参与搭建Tableau数据看板，连接Hive数据开发用户增长看板（新增用户、活跃用户、留存率），支撑运营团队实时查看用户增长情况，当月新增用户转化率提升12%
• 协助搭建ETL任务调度系统，基于Airflow编写DAG任务，实现日志采集、数据清洗、加载的自动化调度，任务成功率从85%提升至95%，减少人工干预成本

电商平台全渠道用户行为实时数仓及智能决策系统

• 项目背景：公司业务覆盖APP、小程序、第三方平台等6大渠道，用户行为数据分散存储于Kafka、HDFS、MySQL等多源系统，实时处理延迟高达15分钟，无法支撑运营团队对活动流量调控、个性化推荐的实时决策需求。核心目标是构建**秒级延迟的全渠道用户行为实时数仓**，并联动算法团队实现数据驱动的智能运营。
• 解决的关键难题：①多源数据Schema异构——APP端用Protobuf、小程序用JSON、第三方用CSV，实时解析易出错；②高并发下计算稳定性——大促峰值QPS达50万/秒，Flink任务频繁反压；③实时数据准确性——实时与离线数据差异率超10%，运营团队信任度低。技术上需平衡低延迟、高可用与数据质量。
• 核心行动与创新：1. 主导设计「分层Schema映射层」，采用Flink CDC结合自定义UDF，针对不同数据源格式动态转换，生成统一的「用户行为宽表」（包含12个核心维度、30+行为事件），解决了异构数据兼容问题；2. 优化Flink实时链路——拆分任务为「渠道分流层」「事件处理层」「聚合计算层」，基于事件类型（如点击、加购）路由至不同并行度子任务，同时引入本地状态后端+Redis热点缓存，将任务反压率从25%降至0；3. 构建「实时+离线」双重数据质量体系，用Deequ库实时校验事件完整性（缺失率<0.1%）、字段一致性（错误率<0.05%），离线数据每日回溯修正实时偏差，解决了数据信任问题。
• 项目成果：①实时数仓延迟从15分钟压缩至1秒内，大促期间支撑50万QPS峰值无故障；②赋能运营团队实现「分钟级」决策——2022年双11通过实时分析用户加购转化漏斗，调整首页推荐策略，使活动转化率提升18%；③数据质量投诉率从每月12次降至0，运营决策效率提升30%。本人主导的Schema映射方案被纳入公司实时数据处理标准规范。

生鲜供应链销量预测及库存优化系统

• 项目背景：公司生鲜库存周转慢（原12天/轮）、损耗率高（8%），核心问题是销量预测不准——传统规则引擎依赖人工经验，无法捕捉天气、促销、舆情等动态因素。目标是构建**机器学习驱动的实时销量预测模型**，联动库存系统实现「以销定采」，降低损耗与成本。
• 解决的关键难题：①多源数据整合——需关联门店销售、仓库库存、天气（如暴雨影响叶菜销量）、社交媒体舆情（如网红水果热度）等数据，来源分散且格式差异大；②模型准确性——生鲜保质期短，传统单模型（如ARIMA）预测准确率仅65%，无法满足业务需求；③实时预测延迟——原流程需4小时完成次日预测，无法支撑早8点的订货决策。
• 核心行动与创新：1. 主导设计「数据湖+数据仓库」架构——用Delta Lake存储原始多源数据，Spark SQL完成数据关联清洗，解决了异构数据整合问题；2. 构建「XGBoost+LSTM融合模型」：XGBoost处理结构化特征（历史销量、促销活动），LSTM捕捉时间序列与外部特征（天气、舆情），模型准确率提升至88%；3. 优化预测流程——用Airflow调度离线预训练（每日凌晨更新基础模型），结合Flink实时消费门店销售数据做在线微调，将预测时间从4小时缩短至30分钟。
• 项目成果：①库存周转天数从12天降至7天，损耗率从8%降至3%，年节省供应链成本超2000万元；②支撑供应链团队实现「早订货、准订货」——2021年夏季预测到台风天气，提前3天增加冷冻食品库存，避免缺货损失约500万元；③方案被推广至华北、华南3个区域仓库，整体供应链效率提升15%。本人负责的模型融合方案获得公司年度技术创新奖。

支教时发现乡村小学因缺乏实验器材，科学课多停留在课本讲解。返校后联合实验室开发出百元级科学实验背包，内含20个基础实验器材。为确保可持续运营，设计配套视频课程与城乡结对系统，并培训132名大学生担任远程助教。项目覆盖9省47所学校后，学生科学兴趣评分提升35%。这段经历教会我用产品思维解决社会问题，当看到孩子们用自制望远镜发现土星光环时，我理解了教育的真谛是点燃可能性。