负责公司级数据平台的架构设计、核心模块开发与性能优化，支撑电商、金融多业务线的数据接入、湖仓一体处理及对外API服务，聚焦高并发查询、细粒度权限与生态整合的关键能力落地

• 主导设计基于Apache Doris的实时数据湖仓一体模块，针对原有Hadoop+ClickHouse架构下数据同步延迟高（平均15分钟）、并发查询瓶颈（峰值QPS 800）的问题，采用Flink CDC捕获MySQL/Oracle binlog，结合Doris的Range分区、Rollup预聚合与物化视图优化，将数据同步延迟压降至1分钟内，并发查询能力提升至2400 QPS，直接支撑了双11期间实时GMV看板、用户复购分析等核心场景的需求
• 核心重构数据平台权限管理系统，基于Apache Ranger自定义Policy引擎，整合Spring Security实现表级、列级、行级细粒度权限控制，同时将权限操作日志与访问日志异步写入Elasticsearch，解决原有系统仅支持库级权限、缺乏审计能力的问题。上线后权限审批流程从人工核对转为自动化校验，效率提升60%，全年拦截越权访问尝试1200+次，未发生数据泄露事件
• 优化数据平台Airflow任务调度系统，针对高并发场景下任务排队延迟（峰值20分钟）、失败率高（8%）的问题，引入Celery分布式队列承载任务触发逻辑，结合Redis缓存任务元数据减少数据库压力，同时调整任务分片策略为按业务线隔离，将日均10万+任务的调度延迟降至5分钟内，任务成功率提升至99.2%
• 推动数据平台与机器学习平台生态整合，基于Kafka Connect构建实时特征Pipeline，将用户点击、浏览行为数据实时同步至MLflow特征Store，解决原有离线特征同步T+1延迟无法支撑实时推荐模型的问题。整合后模型特征更新频率从1天1次提升至5分钟1次，推荐系统AUC从0.82提升至0.841，线上CTR增长3.5%

负责数据平台核心组件（ETL调度、数据仓库、元数据管理）的开发与维护，支撑内容、教育业务线的离线数据处理需求，参与平台性能瓶颈分析与功能迭代

• 主导开发数据平台可视化ETL配置模块，基于Airflow自定义Python Operator与Vue前端交互，实现跨MySQL、Hive、OSS数据源的增量/全量同步任务配置。针对原有任务依赖靠代码编写的痛点，设计拖拽式依赖关系界面，将任务配置时间从2小时缩短至30分钟，任务失败率从8%降至2%，累计支持10+业务线快速接入
• 参与用户行为数据仓库分层设计（ODS→DWD→DWS→ADS），基于Hive 3.x与Spark SQL完成100+张主题表的搭建，定义统一的数据规范（如用户ID脱敏规则、时间戳格式）。通过优化Spark shuffle分区数（从200调整至500）与内存参数（executor-memory从4G增至8G），将DWD层日活用户行为数据的处理时间从4小时降至1.5小时，支撑运营团队每日早会的数据决策需求
• 搭建基于Apache Atlas的元数据管理系统，实现数据血缘自动采集（覆盖Hive、Spark、Flink作业）与可视化展示。针对原有数据问题定位需人工查代码的痛点，开发数据质量规则引擎，设置空值率、唯一性、字段一致性等100+条规则，数据质量问题发现时间从24小时缩短至1小时内，数据可用率从92%提升至98%

负责公司大数据平台的基础搭建与日常维护，支撑内部管理系统的离线数据需求，参与Hadoop生态组件的部署与性能优化

• 参与公司Hadoop集群初始搭建（HDFS 3.2、YARN 3.2、Hive 2.3），优化集群配置：将NameNode从单节点改为ZooKeeper HA模式，调整YARN的资源调度器为Capacity Scheduler并按业务线划分队列，将集群存储利用率从40%提升至70%，计算资源利用率从30%提升至60%，满足初期业务增长的数据存储与计算需求
• 开发离线数据报表模块，基于Hive SQL与Tableau实现用户留存率、订单转化率、渠道ROI等10+核心指标的可视化。针对原有报表计算慢（30分钟/张）的问题，优化SQL逻辑（如避免笛卡尔积、使用分区裁剪、缓存中间表），将报表生成时间缩短至5分钟，支撑管理层每周的经营分析会议
• 保障集群稳定性，全年处理HDFS坏块、YARN节点宕机等故障20+次。开发数据备份脚本（基于Sqoop同步关键表至备份HDFS集群），将数据恢复时间从8小时缩短至2小时，确保业务数据零丢失

在线教育用户行为实时分析平台升级项目

• 在线教育行业需实时捕捉用户学习行为以支撑运营决策，但原基于Flink 1.13的实时数仓存在端到端延迟高（峰值5秒+）、用户画像维度关联耗时久（800ms+）等问题，无法满足分钟级策略调整需求。我作为负责人，主导全链路架构升级，目标是实现1秒内端到端延迟、支撑亿级UV并发。
• 项目面临三大挑战：高并发下流数据join延迟、维度表实时更新一致性、跨业务域指标重复计算。我调研了Flink Interval Join、Redis缓存同步、主题域建模等方案，针对性解决痛点。
• 核心行动包括：1）用Flink Interval Join替代窗口join，结合RocksDB状态后端优化增量检查点，降低关联延迟；2）引入Redis做维度缓存，用Canal监听MySQL用户画像变更并实时同步，保证维度一致性；3）抽象“用户-课程-互动”三大核心域，通过Flink SQL视图实现指标复用，减少重复计算。
• 项目上线后，端到端延迟降至800ms内，维度关联耗时缩短至150ms，跨主题域指标复用率从30%提升至75%。运营策略调整时效从小时级缩至分钟级，直接支撑季度直播转化率提升12%、题库付费用户增长8%，成为公司实时数仓标准架构并推广至全产品线。

电商大促实时风控数据链路与特征计算系统

• 电商大促期间刷单、薅羊毛风险激增，原离线风控系统无法实时识别，导致损失率达3%。我负责搭建实时风控数据链路与特征计算模块，目标是将风险识别时效缩至分钟级、损失率降至1%以内。
• 核心挑战是大促峰值QPS 10万+的资源应对、风险特征实时性（如近1分钟点击转化率）、以及准确性与时误判率平衡。原有批量计算无法满足实时需求，且风控模型更新滞后。
• 我的解决方案：1）用Flink弹性扩缩容结合K8s HPA，根据QPS自动调整资源应对洪峰；2）设计Flink CEP捕捉异常行为（如1分钟内10次商品点击后下单），用Redis存实时计数特征实现毫秒级查询；3）协同算法团队用Online Learning实时更新风控模型，替代离线批量训练。
• 系统上线后，大促损失率降至0.8%，误判率控制在0.1%以内，支撑GMV 50亿达成，直接节省损失约1200万。项目建立了实时风控特征库与数据链路标准，后续推广至日常风控，成为公司电商risk guard核心基础设施。

• 因痛心于年轻人对历史的疏离，我在B站创立「古人脱口秀」栏目，用职场梗解构历史事件（如《雍正皇帝的KPI保卫战》）。通过设计「颠覆认知-史料佐证-现代共鸣」三幕剧本模板，单期视频最高收获1.7万条弹幕互动。
• 两年间栏目播放量突破180万，作品被多地中学选为教学素材。这段经历磨砺出将学术内容转化为大众语言的能力，也让我理解到真实用户反馈才是创作者的指南针。