负责公司大数据基础平台核心模块（元数据管理、实时计算链路、资源调度）的架构设计与迭代，聚焦平台稳定性、性能优化及对电商营销、用户运营等上层业务的支撑能力提升

• 主导设计并落地基于Apache Doris的统一元数据管理系统，针对原有元数据分散在Hive、ClickHouse、Kafka的痛点，采用Apache Atlas对接各数据源，结合自研Java+Canal元数据同步工具，实现跨源元数据实时采集与一致性校验；通过Atlas图数据库模型优化元数据关联查询逻辑，将元数据检索耗时从平均12s降至2s内，支撑数据治理团队对10万+张表的快速定位与血缘分析，元数据管理效率提升80%
• 核心参与双11大促实时计算链路扩容，针对实时订单流处理延迟从500ms攀升至2s的问题，定位到Flink作业并行度不足与RocksDB状态后端性能瓶颈；采用Flink Adaptive Scheduler动态调整并行度，替换为Apache Pravega高吞吐状态存储，同步调整batch size至5000减少IO开销；最终大促期间实时订单处理延迟稳定在300ms内，支撑营销活动实时用户行为分析与优惠券精准推送，活动转化率提升18%
• 负责YARN集群资源调度模块优化，针对资源利用率仅45%的问题，引入Capacity Scheduler自定义队列策略（按营销活动、日常报表划分优先级），结合Prometheus监控的CPU/内存使用率实现资源弹性伸缩；同时优化任务调度算法，将长任务（如月度报表）与短任务（如实时监控）分时段调度，资源利用率提升至72%，年节省云服务器成本约350万元
• 推动平台易用性提升，针对数据开发人员SQL调试效率低的反馈，开发基于Vue.js的前端SQL调试工具，集成Apache Calcite实现语法校验与执行计划预览，对接元数据系统实现字段级血缘可视化；工具上线后，SQL调试平均时间从45分钟缩短至15分钟，数据开发团队满意度提升至92%

负责零售公司大数据平台离线计算模块开发与性能优化，支撑商品库存、销售预测核心业务的数据处理需求，逐步参与平台架构设计与标准化建设

• 主导优化基于Hive的销售数据离线计算链路，针对月末销售汇总报表生成时间从8小时延长至12小时的问题，分析MapReduce任务shuffle瓶颈与小文件过多痛点；采用Hive 3.x Vectorization向量化执行与Tez引擎替换MapReduce，结合HDFS合并小文件工具（Shell+HDFS API）将小文件数量从150万+降至30万内，shuffle数据量减少40%；最终报表生成时间缩短至5小时内，支撑月末财务结算及时性，结算周期缩短3天
• 核心参与数据仓库分层体系建设，基于Kimball维度建模理论设计ODS-DWD-DWS三层架构；其中DWD层用Spark SQL实现用户行为数据清洗关联（整合APP点击、下单、支付数据），DWS层构建用户画像宽表（包含人口属性、消费偏好、行为特征20+维度）；体系上线后，上层业务取数效率提升60%，重复计算减少70%，支撑商品运营团队精准选品
• 搭建平台任务监控与报警系统，针对原有仅覆盖作业成败的监控盲区，采用Prometheus+Grafana实现任务运行时指标监控（CPU、内存、shuffle读写量），结合Alertmanager设置阈值报警（如shuffle超1TB触发预警）；系统上线后，任务故障发现时间从30分钟缩短至5分钟内，减少业务数据延迟影响，关键任务故障率下降65%
• 推动数据标准落地，主导制定《零售数据字段命名规范》《ETL流程开发指南》，通过平台脚本校验ETL任务的字段命名与逻辑合规性，将数据质量问题率从12%降至3%，降低下游业务的数据清洗成本

负责互联网公司基础数据处理与ETL流程开发，支撑用户增长、运营活动的简单数据需求，初步接触平台化工具的使用与优化

• 主导开发用户行为数据ETL流程，从APP埋点JSON日志到Hive表的清洗转换，采用Python Scrapy采集埋点日志，结合PySpark解析用户ID、行为类型、页面路径等字段并去重；流程上线后，每日处理日志量从500GB增长至1.2TB，支撑运营团队对用户行为的初步分析，用户留存率策略调整周期缩短2天
• 优化Hive用户标签表存储结构，针对查询慢问题将行存储改为ORC列存储并开启Snappy压缩，同步优化分区策略为周分区+动态分区；优化后标签查询耗时从2分钟降至30秒内，支撑营销活动用户分群效率提升，活动触达准确率提升15%
• 参与搭建Tableau数据看板，连接Hive数据开发用户增长看板（新增用户、活跃用户、留存率），支撑运营团队实时查看用户增长情况，当月新增用户转化率提升12%
• 协助搭建ETL任务调度系统，基于Airflow编写DAG任务，实现日志采集、数据清洗、加载的自动化调度，任务成功率从85%提升至95%，减少人工干预成本

星途短视频用户行为全链路实时分析平台建设

• 项目背景：公司短视频业务快速增长，但原离线Hive分析系统存在2-4小时延迟，无法支撑运营团队对热点事件、用户流失的实时响应，也无法为推荐系统提供分钟级更新的实时特征。核心目标是从0到1搭建秒级延迟的用户行为全链路实时分析平台，覆盖埋点接入、数据清洗、指标聚合到多端输出的全流程，支撑运营决策与推荐优化。我在项目中担任总负责人，统筹需求、架构设计与落地。
• 关键难题：①跨端（APP/小程序/H5）埋点格式不统一，导致数据清洗耗时且易出错；②实时计算中1小时以上长窗口的状态管理易引发内存溢出与性能瓶颈；③高并发下（峰值15万/秒事件）数据一致性难以保障。技术上，我主导用Protobuf定义32类用户行为（观看、点赞、评论、分享、完播）的统一Schema，推动产品、客户端团队完成20+端的埋点改造；选择Flink CDC从Kafka实时消费数据，结合RocksDB状态后端与增量Checkpoint机制，将状态存储成本降低40%同时保障容错；设计“滑动窗口（1分钟）+会话窗口（30分钟无行为断开）”组合策略，解决长窗口与短周期指标的精准计算问题。
• 核心行动：①牵头梳理《用户行为埋点规范》，建立“事件-属性-枚举值”三级标准，通过自动化校验工具拦截90%以上的脏数据；②针对实时聚合指标（如实时完播率、互动转化率）的性能瓶颈，优化Flink算子并行度（从8并行提升至24并行）与内存管理策略，将单节点处理能力从5万/秒提升至18万/秒；③构建分层数据架构：ODS层（Kafka存储原始事件）→DWD层（Flink实时清洗去重）→DWS层（按用户/内容/场景聚合实时指标）→ADS层（对接BI工具Tableau、推荐系统Flink Job），确保数据链路的低耦合与高扩展性。
• 项目成果：平台上线后，实时处理延迟稳定在500ms内，支持峰值12万/秒事件处理；沉淀“直播间实时互动率”“短视频实时完播转化漏斗”“用户实时流失预警”等15个核心运营指标，帮助运营团队在某热点事件中快速调整推荐策略，相关视频曝光量提升45%；推荐系统实时特征更新频率从天级提升至分钟级，驱动短视频整体点击率增长18%。我个人主导了架构设计与关键模块开发，解决了跨端数据一致性与实时状态管理的核心问题，该平台已成为公司短视频业务的“实时决策大脑”。

星途社区内容标签体系与实时推荐引擎优化

• 项目背景：公司社区推荐系统依赖离线静态标签（每日凌晨更新），无法捕捉用户实时兴趣变化——例如用户刚观看“新手化妆教程”，推荐结果仍以“美食测评”为主，导致点击率仅7.2%，用户留存率下滑。我的目标是重构内容标签体系，实现标签动态更新，并优化推荐引擎的数据链路，提升推荐的时效性与精准度。项目中我负责标签实时化改造与推荐数据层优化。
• 关键难题：①离线标签无法反映用户近期行为，导致推荐“过时”；②内容标签以粗粒度（如“美妆”“美食”）为主，缺乏细粒度分类（如“美妆-新手教程”“美食-烘焙测评”），推荐泛化严重；③实时数据链路长（行为→日志→计算→标签更新需40分钟），无法支撑推荐的实时性。技术上，我引入BERT细粒度内容分类模型，对社区100万+条内容进行重新打标，建立“一级标签+二级细粒度标签”的体系（如“美妆”下含25个二级标签）；用Flink实时处理用户近15分钟的行为（播放、点赞、评论），动态调整内容与用户的标签权重（如实时观看“新手教程”的用户，“美妆-新手”标签权重提升至80%）；优化数据链路，用Kafka替代原有的ActiveMQ，将消息传递延迟从15分钟降至3分钟。
• 核心行动：①牵头梳理社区内容的细粒度标签体系，联合内容运营团队标注50万条样本，训练BERT模型实现自动化打标，标签准确率从75%提升至92%；②开发实时标签计算模块，用Flink的KeyedProcessFunction实现“用户行为→标签关联→权重更新”的实时流程，支持每秒10万+条行为的处理；③对接推荐系统，将实时标签特征占比从20%提升至50%，优化特征工程中的“近期兴趣得分”计算逻辑（采用指数衰减加权，突出最近30分钟的行为）。
• 项目成果：推荐点击率提升至8.9%（增长24%），用户日均使用时长增加18分钟；内容标签覆盖率从68%提升至96%，覆盖更多垂类内容；实时标签计算延迟降至8分钟内，支撑推荐的“实时兴趣捕捉”。我个人设计了动态标签体系与实时数据链路，推动推荐系统从“离线静态”向“实时动态”升级，该项目使社区用户30日留存率提升12%，成为社区业务的核心优化案例。

• 因痛心于年轻人对历史的疏离，我在B站创立「古人脱口秀」栏目，用职场梗解构历史事件（如《雍正皇帝的KPI保卫战》）。通过设计「颠覆认知-史料佐证-现代共鸣」三幕剧本模板，单期视频最高收获1.7万条弹幕互动。
• 两年间栏目播放量突破180万，作品被多地中学选为教学素材。这段经历磨砺出将学术内容转化为大众语言的能力，也让我理解到真实用户反馈才是创作者的指南针。