• 主导研发了行业领先的“AI驱动的智能数据发现与分类”引擎。该引擎利用自然语言处理和深度学习技术，自动扫描数据内容，智能识别敏感信息（如PII、银行卡号）和业务语义（如“销售额”、“用户ID”），识别准确率高达98%，将原本需数人月的手动数据盘点工作压缩至数天，效率提升数十倍。
• 设计“智能数据质量根因分析”系统，能自动关联数据血缘，当监控到数据质量规则被触发时，系统可自动定位到导致问题的上游作业或表，并给出修复建议，将数据质量问题平均排查时间从小时级缩短至分钟级，MTTR降低85%。
• 构建“数据资产智能推荐”模型，基于用户画像、历史行为和数据资产热度，在数据地图中为分析师和开发者精准推送他们最可能需要的数据资产，数据资产复用率提升40%，避免了大量重复加工。
• 该智能治理套件已成为公司核心产品，成功销售给20+家金融、零售头部企业，年创造营收超五百万元，并荣获省级人工智能创新应用大赛一等奖。

• 架构并主导开发了集​​元数据管理（Metadata）、数据质量（Quality）、数据标准（Standard）、数据安全（Security）​​于一体的​​MQSS​​数据治理平台，提供从数据发现、评估到治理的闭环能力，平台日均处理治理任务​​10万+​​。
• 研发​​智能数据血缘解析​​引擎，支持复杂SQL脚本、存储过程及Spark任务的自动解析，血缘解析准确率提升至​​90%​​；引入机器学习算法自动推荐数据质量规则，规则设计效率提升​​60%​​。
• 设计多云（AWS、阿里云）环境下的统一数据治理方案，通过代理网关与API集成，实现对异构数据源（​​RDS、Snowflake、S3​​）的集中管控，打破了数据孤岛。
• 将治理能力以API方式对外提供服务，赋能数据开发、分析师等角色自助式完成数据探查、质量校验等工作， tickets量减少​​35%​​。

泛娱乐社交用户实时行为-画像融合决策平台

• 背景：公司旗下社交APP用户破1.2亿，但实时行为数据（点赞/评论/礼物打赏）与离线用户画像（兴趣标签/付费层级）割裂，商业化团队依赖T+1报表决策，导致营销活动响应滞后、个性化推荐CTR低于行业均值15%；目标是构建“实时+离线”统一数据平台，支撑营销、推荐、运营的分钟级决策。
• 难点：实时数据湖需兼顾“低延迟写入”与“数据一致性”——初期Flink写HDFS易积压重启，离线同步时schema不一致引发计算错误；业务需关联用户实时行为与30天内历史行为，传统join耗时久无法实时。
• 行动：主导设计“实时-近线-离线”三层架构：实时层用Flink消费Kafka数据，通过Iceberg Upsert模式写入实时湖解决一致性问题；近线层用Spark Streaming基于Iceberg做分钟级行为聚合；离线层预计算实时与历史关联表减少join压力。利用Iceberg Schema Evolution自动同步离线标签体系，消除人工修改成本。
• 成果：平台上线后，实时数据延迟从5分钟降至30秒内，准确性达99.95%；商业化活动ROI提升28%，推荐CTR较之前高35%；支撑会员推送、广告定向等3个核心场景，年节省决策时间4000小时。个人主导跨团队落地，推动平台成为公司数据驱动核心基建。

多源用户行为日志实时处理平台从0到1搭建

• 背景：公司APP/小程序/Web用户半年增长3倍，现有Logstash+Elasticsearch系统无法承载峰值每秒15万条日志，且格式混乱导致实时监控延迟超10分钟、推荐无法用实时特征；目标是搭建高可用低延迟的日志处理平台。
• 难点：多源日志标准化难（端格式不一致）、高吞吐下性能瓶颈——初期单节点Flink吞吐不足，故障恢复需30分钟以上。
• 行动：设计统一Avro schema规范跨端日志，用Flume Agent自动转换为标准格式发Kafka；基于Flink做分布式并行pipeline，按日志类型动态调并行度（APP设32、小程序设16）提升吞吐；采用Checkpoint+Savepoint双机制，将故障恢复时间缩至5分钟内。
• 成果：日志吞吐量从每秒5万条提至25万条，延迟降至1分钟内；解析错误率从8%降至0.1%以下；支撑实时监控与推荐实时特征，推荐实时特征覆盖率从20%升到70%。个人负责架构设计与核心开发，解决多源日志标准化与性能瓶颈，为后续数据平台扩展奠基。

• 因痛心于年轻人对历史的疏离，我在B站创立「古人脱口秀」栏目，用职场梗解构历史事件（如《雍正皇帝的KPI保卫战》）。通过设计「颠覆认知-史料佐证-现代共鸣」三幕剧本模板，单期视频最高收获1.7万条弹幕互动。
• 两年间栏目播放量突破180万，作品被多地中学选为教学素材。这段经历磨砺出将学术内容转化为大众语言的能力，也让我理解到真实用户反馈才是创作者的指南针。