负责公司级数据中台核心平台的架构设计与全链路迭代，覆盖数据采集-存储-计算-服务全生命周期，支撑营销、供应链、用户增长三大业务线的实时分析与智能决策需求，技术边界包含湖仓一体架构落地、高并发数据服务优化及跨团队技术协同。

• 主导设计并落地新一代分布式数据湖仓一体平台（基于Apache Iceberg 1.4 + Flink 1.17 + Trino 408），解决原有Hive+MySQL架构下实时写入延迟高（平均5分钟）、并发查询瓶颈（峰值500QPS）问题。通过优化Iceberg元数据分层存储策略（冷热数据分离至OSS），结合Flink Checkpoint与Iceberg Snapshot联动机制，将实时数据可见时延压缩至20秒内；同步开发Trino Catalog插件支持跨源联邦查询，覆盖80%业务方跨仓取数需求，平台月均查询量从300万次提升至1200万次。
• 针对大促期间数据服务层高并发痛点（如双11用户标签实时查询），基于Spring Cloud Alibaba重构API网关与服务路由模块，引入三级缓存策略（Redis集群+Guava LocalCache+本地堆缓存），并通过动态流量染色技术实现热点数据自动降级。优化后标签查询P99延迟从80ms降至18ms，支撑双11当天2.3亿次标签调用无超时报错。
• 推动平台自动化运维体系建设，开发任务调度监控中台（集成Apache Airflow 2.7 + Prometheus + Grafana），设计基于业务优先级的动态资源配额算法与异常检测模型（如Flink反压率>30%触发预警）。上线后故障发现时间从小时级缩短至4分钟内，平台年度可用性从99.5%提升至99.95%，运维人力投入减少40%。
• 主导跨团队技术攻坚，解决湖仓一体架构下数据一致性问题。通过设计基于Debezium的CDC捕获MySQL Binlog，结合Flink SQL CDC Connector实现业务库变更实时同步至Iceberg，配合事务性写入协议（Two-Phase Commit），将订单、支付等核心表的数据一致性误差从5分钟级消除至秒级，支撑财务结算场景的精准对账。

聚焦金融业务线数据平台建设，负责离线-实时计算融合架构研发，重点解决风控、用户画像等场景的高时效性与高准确性需求，技术边界包含Flink流批一体应用、数据质量监控体系及资源弹性调度优化。

• 核心参与实时计算引擎升级项目，主导将Storm集群（日均处理10万TPS）迁移至Flink 1.15，优化状态后端为RocksDB+增量Checkpoint，结合事件时间窗口动态合并策略，将端到端延迟从10秒降至2秒内。同步开发反欺诈规则引擎插件，支持SQL-like规则热更新，风控策略迭代周期从周级缩短至小时级，欺诈识别率提升12%。
• 设计数据质量全链路监控体系，基于Apache Atlas元数据平台与自定义规则引擎（Groovy脚本），开发字段级一致性（如用户ID跨表匹配率）、值域合理性（如年龄>150岁拦截）校验模块，覆盖金融业务80%核心表。上线后数据问题定位时间从4小时缩短至25分钟，支撑监管报送数据零差错通过率从85%提升至98%。
• 优化离线计算资源调度效率，基于YARN Capacity Scheduler二次开发，实现业务优先级分级（P0-P3）与资源弹性扩缩容策略（如夜间低峰期自动回收50%空闲Container）。改造后集群资源利用率从42%提升至63%，月均节省云服务器成本18万元，同时保障P0级任务（如每日信贷报表）100%准时产出。

参与公司初期数据平台从0到1搭建，负责数据采集、存储层开发及基础数据仓库建设，支撑电商业务的基础数据分析与运营决策，技术边界包含多源数据接入、维度建模及存储引擎选型优化。

• 主导设计多源异构数据采集方案，通过Flume+Kafka构建实时日志采集管道（覆盖APP、小程序、第三方平台），结合Sqoop 1.99完成MySQL、Oracle离线数据同步，日均处理数据量从500GB增长至2TB。针对业务线数据格式差异大的问题，开发自适应Schema解析工具（基于Avro Schema Registry），自动识别字段类型并映射至统一元数据，人工配置工作量减少80%，数据接入耗时从3天/业务线缩短至6小时/业务线。
• 搭建初始数据仓库（DW层），采用维度建模方法论（Kimball模型），设计用户、商品、交易三大主题域，定义200+核心指标（如GMV、UV、转化率）。通过优化Hive分区策略（按天+按业务线双分区）与ORC文件压缩（Snappy），将日报生成时间从T+1 8点提前至T+4小时，支撑运营团队早会实时决策。
• 推动存储引擎升级，将核心用户行为表从MySQL单库单表（最大单表1.2亿行）迁移至HBase 2.2，结合RowKey预分区（用户ID哈希+时间戳）与二级索引（Phoenix），查询P99延迟从2.5秒降至500ms，支撑大促期间高并发的用户行为路径分析查询（峰值QPS 3000+）。

电商平台全渠道用户行为实时数仓及智能决策系统

• 项目背景：公司业务覆盖APP、小程序、第三方平台等6大渠道，用户行为数据分散存储于Kafka、HDFS、MySQL等多源系统，实时处理延迟高达15分钟，无法支撑运营团队对活动流量调控、个性化推荐的实时决策需求。核心目标是构建**秒级延迟的全渠道用户行为实时数仓**，并联动算法团队实现数据驱动的智能运营。
• 解决的关键难题：①多源数据Schema异构——APP端用Protobuf、小程序用JSON、第三方用CSV，实时解析易出错；②高并发下计算稳定性——大促峰值QPS达50万/秒，Flink任务频繁反压；③实时数据准确性——实时与离线数据差异率超10%，运营团队信任度低。技术上需平衡低延迟、高可用与数据质量。
• 核心行动与创新：1. 主导设计「分层Schema映射层」，采用Flink CDC结合自定义UDF，针对不同数据源格式动态转换，生成统一的「用户行为宽表」（包含12个核心维度、30+行为事件），解决了异构数据兼容问题；2. 优化Flink实时链路——拆分任务为「渠道分流层」「事件处理层」「聚合计算层」，基于事件类型（如点击、加购）路由至不同并行度子任务，同时引入本地状态后端+Redis热点缓存，将任务反压率从25%降至0；3. 构建「实时+离线」双重数据质量体系，用Deequ库实时校验事件完整性（缺失率<0.1%）、字段一致性（错误率<0.05%），离线数据每日回溯修正实时偏差，解决了数据信任问题。
• 项目成果：①实时数仓延迟从15分钟压缩至1秒内，大促期间支撑50万QPS峰值无故障；②赋能运营团队实现「分钟级」决策——2022年双11通过实时分析用户加购转化漏斗，调整首页推荐策略，使活动转化率提升18%；③数据质量投诉率从每月12次降至0，运营决策效率提升30%。本人主导的Schema映射方案被纳入公司实时数据处理标准规范。

生鲜供应链销量预测及库存优化系统

• 项目背景：公司生鲜库存周转慢（原12天/轮）、损耗率高（8%），核心问题是销量预测不准——传统规则引擎依赖人工经验，无法捕捉天气、促销、舆情等动态因素。目标是构建**机器学习驱动的实时销量预测模型**，联动库存系统实现「以销定采」，降低损耗与成本。
• 解决的关键难题：①多源数据整合——需关联门店销售、仓库库存、天气（如暴雨影响叶菜销量）、社交媒体舆情（如网红水果热度）等数据，来源分散且格式差异大；②模型准确性——生鲜保质期短，传统单模型（如ARIMA）预测准确率仅65%，无法满足业务需求；③实时预测延迟——原流程需4小时完成次日预测，无法支撑早8点的订货决策。
• 核心行动与创新：1. 主导设计「数据湖+数据仓库」架构——用Delta Lake存储原始多源数据，Spark SQL完成数据关联清洗，解决了异构数据整合问题；2. 构建「XGBoost+LSTM融合模型」：XGBoost处理结构化特征（历史销量、促销活动），LSTM捕捉时间序列与外部特征（天气、舆情），模型准确率提升至88%；3. 优化预测流程——用Airflow调度离线预训练（每日凌晨更新基础模型），结合Flink实时消费门店销售数据做在线微调，将预测时间从4小时缩短至30分钟。
• 项目成果：①库存周转天数从12天降至7天，损耗率从8%降至3%，年节省供应链成本超2000万元；②支撑供应链团队实现「早订货、准订货」——2021年夏季预测到台风天气，提前3天增加冷冻食品库存，避免缺货损失约500万元；③方案被推广至华北、华南3个区域仓库，整体供应链效率提升15%。本人负责的模型融合方案获得公司年度技术创新奖。

• 因痛心于年轻人对历史的疏离，我在B站创立「古人脱口秀」栏目，用职场梗解构历史事件（如《雍正皇帝的KPI保卫战》）。通过设计「颠覆认知-史料佐证-现代共鸣」三幕剧本模板，单期视频最高收获1.7万条弹幕互动。
• 两年间栏目播放量突破180万，作品被多地中学选为教学素材。这段经历磨砺出将学术内容转化为大众语言的能力，也让我理解到真实用户反馈才是创作者的指南针。