负责公司云原生大数据平台的架构升级、核心组件开发及全链路性能优化，支撑广告投放、用户增长、供应链决策等多业务线的高并发数据处理与实时分析需求，覆盖数据接入、存储计算、元数据管理及跨平台协同全生命周期。

• 主导设计并落地基于云原生架构的新一代数据平台，采用Kubernetes进行资源弹性编排，结合Alluxio构建跨可用区缓存层，解决原有Hadoop集群资源利用率低（不足40%）、跨集群计算延迟高的痛点。通过动态资源调度策略（基于YARN Capacity Scheduler扩展）与计算任务分片优化，平台日均处理数据量从500TB提升至1.2PB，任务平均执行耗时下降40%，集群成本降低25%。
• 核心开发实时数据接入网关系统，基于Flink SQL与自定义状态管理算子，支持日志（APP/Web）、埋点、业务DB（MySQL/PostgreSQL）等多源数据的统一接入与Schema动态校验。集成Prometheus+Grafana构建监控看板，实现接入延迟（P99<50ms）、数据丢失率（<0.001%）、背压率（<5%）的实时预警。上线后支撑双11大促期间单日200亿+事件数据的稳定处理，未发生数据积压或错漏。
• 重构元数据管理系统，基于Apache Atlas扩展自定义标签体系（含“数据敏感等级”“业务归属线”“计算成本标签”），结合Apache Ranger实现字段级权限控制。通过优化图数据库查询索引与血缘解析算法，元数据查询响应时间从秒级缩短至200ms内，支撑数据治理团队完成全平台80%数据的血缘梳理与GDPR合规审计，数据问题定位效率提升70%。
• 推动数据平台与机器学习平台深度集成，开发特征工程组件库（支持Spark MLlib、TensorFlow双引擎），封装用户行为序列特征（如30天点击频次）、时序统计特征（如7日GMV波动）等20+通用模板。通过标准化输入输出接口与缓存机制，算法团队特征开发周期从3天缩短至6小时，模型A/B测试迭代效率提升60%。

参与公司大数据平台的基础组件开发与稳定性建设，聚焦离线数仓、实时计算、数据质量三大核心模块，保障广告效果分析、库存周转预测等业务场景的可靠运行，支撑日均千万级数据处理需求。

• 负责离线数据仓库ETL流程优化，基于Hive 3.x与Tez引擎重构核心用户宽表计算逻辑。通过分区裁剪（按周分区替代月分区）、谓词下推（将过滤条件前置到扫描层）、向量化执行（开启Hive Vectorization）等手段，将每日千万级数据量的ETL任务耗时从8小时缩短至3小时，集群CPU利用率从30%提升至55%，资源消耗降低35%。
• 主导开发数据质量监控系统，集成Apache Sqoop与自研校验规则引擎（支持SQL/UDF自定义规则），实现字段级（空值率、唯一性、值域范围）与表级（数据量波动阈值、跨表关联一致性）的自动化监控。设置100+核心指标监控规则，将数据质量问题发现时效从T+1缩短至5分钟内，线上数据错误率从0.8%降至0.12%，支撑财务结算与运营报表零重大事故。
• 参与实时计算平台（基于Flink 1.13）的任务调度优化，设计基于负载预测的动态扩缩容策略（结合Prometheus指标与线性回归模型）。通过YARN队列优先级调整与TaskManager内存复用，大促期间实时任务资源利用率从50%提升至75%，任务延迟超标率（P95>1s）从15%降至3%，保障了大促期间实时GMV、用户转化等指标的秒级更新。
• 协助搭建数据湖（Delta Lake）存储层，替代传统HDFS存储结构化日志与埋点数据。通过ACID事务支持与多引擎（Spark、Presto）兼容特性，解决小文件合并与版本回溯痛点，数据湖查询性能提升40%，支撑数据分析团队实现更灵活的即席查询（如按商品品类+地域的多维聚合分析）。

参与公司大数据基础平台建设，负责数据采集、存储与初步加工，支撑运营报表、用户画像分析等基础数据需求，覆盖日志、业务库、第三方数据等多源接入场景。

• 开发多源数据采集管道，使用Flume（日志采集）与自定义Kafka生产者（业务DB binlog同步），实现用户行为日志（APP/Web）、订单数据（MySQL）的增量同步。通过断点续传（记录offset到Redis）与数据去重（基于Bloom Filter），数据采集完整性达99.99%，端到端延迟控制在1分钟内，支撑运营团队实时查看服务响应率与用户投诉趋势。
• 优化Hive数仓分层结构，设计ODS（原始数据）->DWD（明细数据）->DWS（汇总数据）三级模型，定义200+公共维度（如用户、地区、时间）与指标（如DAU、订单转化率）。通过统一维度表命名规范与指标计算逻辑，跨部门数据协作效率提升50%，业务报表产出时间从T+2提前至T+1，支撑市场部日报与周报的准时发布。
• 支撑用户增长团队的精准营销需求，基于HBase与Redis构建实时标签存储系统。开发标签计算脚本（Shell+Python），实现用户活跃度（7日登录次数）、消费偏好（高频购买品类）等50+标签的每日更新。标签准确率达92%，助力运营团队定向推送优惠券，活动ROI从1:3.2提升至1:4.1。
• 解决HDFS小文件过多问题，编写自动化合并脚本（基于Hadoop Archive），将单目录下小文件数量从10万+压缩至500以内，NameNode内存占用降低60%，Hive查询任务失败率从8%降至1%，保障了日常数据提取与分析的稳定性。

电商平台全渠道用户行为实时数仓及智能决策系统

• 项目背景：公司业务覆盖APP、小程序、第三方平台等6大渠道，用户行为数据分散存储于Kafka、HDFS、MySQL等多源系统，实时处理延迟高达15分钟，无法支撑运营团队对活动流量调控、个性化推荐的实时决策需求。核心目标是构建**秒级延迟的全渠道用户行为实时数仓**，并联动算法团队实现数据驱动的智能运营。
• 解决的关键难题：①多源数据Schema异构——APP端用Protobuf、小程序用JSON、第三方用CSV，实时解析易出错；②高并发下计算稳定性——大促峰值QPS达50万/秒，Flink任务频繁反压；③实时数据准确性——实时与离线数据差异率超10%，运营团队信任度低。技术上需平衡低延迟、高可用与数据质量。
• 核心行动与创新：1. 主导设计「分层Schema映射层」，采用Flink CDC结合自定义UDF，针对不同数据源格式动态转换，生成统一的「用户行为宽表」（包含12个核心维度、30+行为事件），解决了异构数据兼容问题；2. 优化Flink实时链路——拆分任务为「渠道分流层」「事件处理层」「聚合计算层」，基于事件类型（如点击、加购）路由至不同并行度子任务，同时引入本地状态后端+Redis热点缓存，将任务反压率从25%降至0；3. 构建「实时+离线」双重数据质量体系，用Deequ库实时校验事件完整性（缺失率<0.1%）、字段一致性（错误率<0.05%），离线数据每日回溯修正实时偏差，解决了数据信任问题。
• 项目成果：①实时数仓延迟从15分钟压缩至1秒内，大促期间支撑50万QPS峰值无故障；②赋能运营团队实现「分钟级」决策——2022年双11通过实时分析用户加购转化漏斗，调整首页推荐策略，使活动转化率提升18%；③数据质量投诉率从每月12次降至0，运营决策效率提升30%。本人主导的Schema映射方案被纳入公司实时数据处理标准规范。

生鲜供应链销量预测及库存优化系统

• 项目背景：公司生鲜库存周转慢（原12天/轮）、损耗率高（8%），核心问题是销量预测不准——传统规则引擎依赖人工经验，无法捕捉天气、促销、舆情等动态因素。目标是构建**机器学习驱动的实时销量预测模型**，联动库存系统实现「以销定采」，降低损耗与成本。
• 解决的关键难题：①多源数据整合——需关联门店销售、仓库库存、天气（如暴雨影响叶菜销量）、社交媒体舆情（如网红水果热度）等数据，来源分散且格式差异大；②模型准确性——生鲜保质期短，传统单模型（如ARIMA）预测准确率仅65%，无法满足业务需求；③实时预测延迟——原流程需4小时完成次日预测，无法支撑早8点的订货决策。
• 核心行动与创新：1. 主导设计「数据湖+数据仓库」架构——用Delta Lake存储原始多源数据，Spark SQL完成数据关联清洗，解决了异构数据整合问题；2. 构建「XGBoost+LSTM融合模型」：XGBoost处理结构化特征（历史销量、促销活动），LSTM捕捉时间序列与外部特征（天气、舆情），模型准确率提升至88%；3. 优化预测流程——用Airflow调度离线预训练（每日凌晨更新基础模型），结合Flink实时消费门店销售数据做在线微调，将预测时间从4小时缩短至30分钟。
• 项目成果：①库存周转天数从12天降至7天，损耗率从8%降至3%，年节省供应链成本超2000万元；②支撑供应链团队实现「早订货、准订货」——2021年夏季预测到台风天气，提前3天增加冷冻食品库存，避免缺货损失约500万元；③方案被推广至华北、华南3个区域仓库，整体供应链效率提升15%。本人负责的模型融合方案获得公司年度技术创新奖。

支教时发现乡村小学因缺乏实验器材，科学课多停留在课本讲解。返校后联合实验室开发出百元级科学实验背包，内含20个基础实验器材。为确保可持续运营，设计配套视频课程与城乡结对系统，并培训132名大学生担任远程助教。项目覆盖9省47所学校后，学生科学兴趣评分提升35%。这段经历教会我用产品思维解决社会问题，当看到孩子们用自制望远镜发现土星光环时，我理解了教育的真谛是点燃可能性。