负责电商平台全链路数据资产（用户行为、交易、营销）的全生命周期管理，涵盖元数据体系搭建、数据质量管控、敏感数据合规及数据资产评分，衔接业务系统与数据消费端，确保数据可用、可信、可控

• 主导用户行为数据链路元数据体系建设，基于Apache Atlas设计分层元数据模型（业务层-应用层-存储层），整合埋点、日志、业务库2000+张表元数据，自定义跨系统血缘解析规则解决断层问题，将元数据查询效率提升40%，支撑数据产品团队快速定位用户行为数据来源
• 针对订单金额、用户ID等关键字段质量问题，设计“Spark规则引擎+孤立森林模型”双校验机制——编写15条自定义校验规则覆盖常规异常，用机器学习识别隐性脏数据，将订单数据准确率从92%提升至99.6%，减少下游运营决策偏差
• 推动数据安全合规落地，依据《个人信息保护法》及公司分级规范，用正则+字典匹配识别12类敏感字段，基于Apache Deidentifier实现动态脱敏（如手机号138****1234），搭建数据访问权限体系，将敏感数据审批时长从1天缩短至2小时，全年无数据泄露
• 协同业务与技术团队建立数据资产评分机制，从完整性、准确性等四维度设计30+指标，每月输出《数据资产健康度报告》，推动业务整改低分资产（如商品库存时效性从T+2提至T+1），全年数据资产可用率提升25%，支撑营销数据调用成功率从88%升至95%

负责本地生活全场景数据（到店、外卖、到家）的治理，解决跨域数据一致性问题，衔接多业务线数据，提升数据资产价值

• 核心参与外卖与到店数据跨域对齐，针对同一订单ID不一致问题，设计“多维度关联+模糊匹配”方案——用用户手机号、下单时间、金额构建关联模型，修正15%错配数据，实现跨域统一标识，支撑用户全生命周期消费分析落地
• 优化数据标准体系，梳理三大业务公共指标（GMV、客单价、转化率），制定《本地生活数据指标规范V2.0》，明确口径与逻辑并通过数据字典平台落地，解决“数据打架”问题，跨部门核对耗时减少60%
• 解决日志数据质量问题，主导开发基于Flink的实时日志校验工具，设置20条规则（如行为时长非负、URL合规），异常数据实时告警并自动修复（补全设备ID），将日志可用率从85%提至98%，支撑用户行为模型准确性提升18%
• 推动治理流程自动化，用Airflow编排元数据采集、质量校验、权限申请任务，替代人工操作——元数据变更自动更新血缘，质量异常自动告警，团队效率提升35%，人工错误率下降20%

协助搭建初期数据治理体系，负责基础数据质量监控与元数据管理，为后续治理工作奠定基础

• 协助搭建元数据管理系统，基于Apache Atlas配置电商基础元数据模板（商品、用户、订单），录入1000+张表信息，设计搜索功能支持多维度查询，解决元数据分散问题，数据团队查找时间从半小时缩至5分钟
• 负责商品数据日常质量监控，编写SQL脚本每日检查名称重复、价格为空等问题，生成《质量清单》推动运营整改，将商品数据准确率从88%提至95%，支撑推荐系统点击率提升10%
• 参与数据安全初步建设，整理敏感数据清单（用户手机号、支付信息），制定《敏感数据访问规范》，搭建基础权限系统，将敏感数据访问次数从月500次降为200次，降低泄露风险
• 协助数据资产盘点，梳理商品、用户等四大类数据，形成《数据资产目录V1.0》，明确来源、用途、负责人，支撑高层快速了解资产状况

泛娱乐社交用户实时行为-画像融合决策平台

• 背景：公司旗下社交APP用户破1.2亿，但实时行为数据（点赞/评论/礼物打赏）与离线用户画像（兴趣标签/付费层级）割裂，商业化团队依赖T+1报表决策，导致营销活动响应滞后、个性化推荐CTR低于行业均值15%；目标是构建“实时+离线”统一数据平台，支撑营销、推荐、运营的分钟级决策。
• 难点：实时数据湖需兼顾“低延迟写入”与“数据一致性”——初期Flink写HDFS易积压重启，离线同步时schema不一致引发计算错误；业务需关联用户实时行为与30天内历史行为，传统join耗时久无法实时。
• 行动：主导设计“实时-近线-离线”三层架构：实时层用Flink消费Kafka数据，通过Iceberg Upsert模式写入实时湖解决一致性问题；近线层用Spark Streaming基于Iceberg做分钟级行为聚合；离线层预计算实时与历史关联表减少join压力。利用Iceberg Schema Evolution自动同步离线标签体系，消除人工修改成本。
• 成果：平台上线后，实时数据延迟从5分钟降至30秒内，准确性达99.95%；商业化活动ROI提升28%，推荐CTR较之前高35%；支撑会员推送、广告定向等3个核心场景，年节省决策时间4000小时。个人主导跨团队落地，推动平台成为公司数据驱动核心基建。

多源用户行为日志实时处理平台从0到1搭建

• 背景：公司APP/小程序/Web用户半年增长3倍，现有Logstash+Elasticsearch系统无法承载峰值每秒15万条日志，且格式混乱导致实时监控延迟超10分钟、推荐无法用实时特征；目标是搭建高可用低延迟的日志处理平台。
• 难点：多源日志标准化难（端格式不一致）、高吞吐下性能瓶颈——初期单节点Flink吞吐不足，故障恢复需30分钟以上。
• 行动：设计统一Avro schema规范跨端日志，用Flume Agent自动转换为标准格式发Kafka；基于Flink做分布式并行pipeline，按日志类型动态调并行度（APP设32、小程序设16）提升吞吐；采用Checkpoint+Savepoint双机制，将故障恢复时间缩至5分钟内。
• 成果：日志吞吐量从每秒5万条提至25万条，延迟降至1分钟内；解析错误率从8%降至0.1%以下；支撑实时监控与推荐实时特征，推荐实时特征覆盖率从20%升到70%。个人负责架构设计与核心开发，解决多源日志标准化与性能瓶颈，为后续数据平台扩展奠基。

• 大二观察到毕业生离校时大量教材被废弃，而新生购书支出占生活费12%，便发起校园书籍教材循环计划。为解决传统二手书交易效率低的问题，我们开发微信小程序实现扫码估价、预约取件功能，并说服快递中心以成本价承接物流。
• 通过建立翻新消毒标准打消卫生顾虑，项目年流通教材1.2万册，累计为同学节省书费38万元。这段经历让我从商业小白成长为能设计闭环模式的实践者，项目不仅获省级创业金奖，更被纳入学校官方服务体系延续至今。