• 主导研发了行业领先的“AI驱动的智能数据发现与分类”引擎。该引擎利用自然语言处理和深度学习技术，自动扫描数据内容，智能识别敏感信息（如PII、银行卡号）和业务语义（如“销售额”、“用户ID”），识别准确率高达98%，将原本需数人月的手动数据盘点工作压缩至数天，效率提升数十倍。
• 设计“智能数据质量根因分析”系统，能自动关联数据血缘，当监控到数据质量规则被触发时，系统可自动定位到导致问题的上游作业或表，并给出修复建议，将数据质量问题平均排查时间从小时级缩短至分钟级，MTTR降低85%。
• 构建“数据资产智能推荐”模型，基于用户画像、历史行为和数据资产热度，在数据地图中为分析师和开发者精准推送他们最可能需要的数据资产，数据资产复用率提升40%，避免了大量重复加工。
• 该智能治理套件已成为公司核心产品，成功销售给20+家金融、零售头部企业，年创造营收超五百万元，并荣获省级人工智能创新应用大赛一等奖。

• 架构并主导开发了集​​元数据管理（Metadata）、数据质量（Quality）、数据标准（Standard）、数据安全（Security）​​于一体的​​MQSS​​数据治理平台，提供从数据发现、评估到治理的闭环能力，平台日均处理治理任务​​10万+​​。
• 研发​​智能数据血缘解析​​引擎，支持复杂SQL脚本、存储过程及Spark任务的自动解析，血缘解析准确率提升至​​90%​​；引入机器学习算法自动推荐数据质量规则，规则设计效率提升​​60%​​。
• 设计多云（AWS、阿里云）环境下的统一数据治理方案，通过代理网关与API集成，实现对异构数据源（​​RDS、Snowflake、S3​​）的集中管控，打破了数据孤岛。
• 将治理能力以API方式对外提供服务，赋能数据开发、分析师等角色自助式完成数据探查、质量校验等工作， tickets量减少​​35%​​。

星途社区实时用户行为分析平台升级项目

• 星途社区作为千万级DAU的UGC内容平台，原有实时用户行为分析链路依赖传统Kafka+Flink架构，存在消费瓶颈（峰值延迟超5秒）、状态故障频发（日均3次）等问题，无法支撑运营团队对热点话题、用户互动的实时决策需求。我作为大数据开发负责人，主导整个平台的架构重构与落地，涵盖数据采集、传输、计算、存储全链路设计，对齐业务“实时洞察-快速干预”的核心诉求。
• 面临两大技术挑战：一是原Kafka分区策略基于内容ID哈希，导致用户行为数据分散在不同分区，消费线程负载不均（部分线程利用率超90%，部分不足30%）；二是Flink作业状态采用本地RocksDB存储，故障恢复时间长（平均15分钟），且状态膨胀（单作业状态达200GB+）引发频繁GC。针对前者，我通过用户行为数据特征分析（用户ID的访问频次占比70%），设计“用户ID+行为类型”的复合分区策略，结合Flink RebalanceListener实现动态分区扩容；针对后者，引入分层状态存储（近期状态存SSD，历史状态归档至HDFS），并优化checkpoint间隔（从1分钟调整为30秒）与并行度（从8并行提升至16并行），降低故障恢复成本。
• 行动上，我先通过Jaeger链路追踪与JVM火焰图定位瓶颈点，输出《实时链路性能优化诊断报告》；然后牵头组织数据采集、算法、产品团队评审新架构方案，确认分区策略与状态管理的可行性；接着主导代码重构，实现复合分区逻辑与分层状态存储，并通过灰度发布（先切10%流量）验证稳定性，修复了3个因分区不均导致的消费延迟问题；最后优化监控体系，新增分区负载、状态大小、checkpoint成功率等5个预警指标，实现问题提前感知。
• 项目上线后，实时链路延迟降至800ms以内（峰值），故障次数下降85%，支撑运营团队在大促期间对“暑期热点话题”进行实时流量倾斜（话题广场曝光量提升30%），带动社区整体互动率提升18%。我个人沉淀的《高并发场景下Flink状态管理与分区优化手册》成为团队技术规范，推动后续3个实时项目复用该方案。

星途短视频内容标签实时计算系统搭建项目

• 星途短视频业务原有内容标签以离线T+1计算为主，无法满足推荐系统对用户兴趣实时捕捉的需求——用户刚发布的视频标签未及时同步，导致推荐准确率低（点击率仅3.2%）。我作为核心开发，负责实时标签系统的多源数据融合、标签引擎设计与落地，目标是实现标签分钟级更新，支撑推荐算法的实时迭代。
• 项目难点在于两点：一是多源数据（用户基础信息、视频行为、社交关系）的实时同步与一致性保障——MySQL用户表更新后，需1分钟内同步至标签系统；二是标签规则（如“热门创作者”“兴趣偏好”）需支持运营动态更新，传统硬编码方式无法满足灵活变更需求。针对前者，我用Canal捕获MySQL binlog同步用户元数据，Kafka传输用户行为数据，通过Flink的Watermark与Exactly-Once语义保证数据一致性；针对后者，设计基于Groovy脚本的规则引擎，将标签规则存储在Apollo配置中心，支持热更新无需重启作业。
• 我主导设计了“数据接入-清洗-标签计算-存储”的实时pipeline：数据层用Kafka统一传输，计算层用Flink实现多源数据关联（用户基础信息+行为特征），标签层用规则引擎动态计算标签值；同时优化数据shuffle效率，采用广播变量传递规则（减少网络开销80%），并引入滑动窗口（1分钟）计算用户近期行为特征（如“近5分钟点赞的视频类别”）。此外，为解决标签时效性，我将标签存储从HBase迁移至Redis，支持毫秒级查询。
• 系统上线后，标签更新延迟从6小时降至5分钟内，推荐系统点击率提升至3.6%（增长12%），离线标签计算资源成本节省40%（从12台机器降至7台）。项目支撑了短视频推荐团队的A/B测试，验证实时标签对用户留存的提升（7日留存率从28%升至33%）。我个人在这个项目中掌握了多源实时数据融合技术，提升了复杂规则引擎的设计能力，为后续实时数仓建设打下基础。