点击保存简历
模块
风格
模板
导入
  • 个人名称
  • 头像
  • 基本信息
  • 求职意向
  • 工作经历
  • 项目经验
  • 实习经验
  • 作品展示
  • 奖项荣誉
  • 校园经历
  • 教育背景
  • 兴趣爱好
  • 技能特长
  • 语言能力
  • 自我评价
  • 报考信息
  • 简历封面
  • 自荐信
陆明哲的照片
陆明哲
用系统化的思维解决问题,用温度化的方式交付成果,这是我的工作准则。
28岁
3年工作经验
13800138000
DB@zjengine.com
求职意向
数据治理工程师
东莞
薪资面谈
随时到岗
工作经历
2022.07 - 2024.03
小楷数智
高级数据治理工程师

负责电商平台全链路数据资产治理,主导数据质量、元数据、分类分级三大核心模块建设,协同业务、技术、安全团队推动治理策略落地,支撑数据中台对外赋能与合规要求。

  • 主导设计电商业务线数据质量闭环体系,基于Soda Core规则引擎与自研校验框架,针对用户行为、交易订单、商品库存3类核心数据,定制120+动态质量规则(含唯一性、完整性、一致性),通过Airflow调度实现小时级监控;针对大促期间数据波动问题,开发异常检测模型(基于孤立森林算法),将质量问题发现时效从T+1缩短至15分钟,大促期间数据质量事故率下降82%。
  • 牵头元数据管理平台升级,整合Apache Atlas与自研标签系统,完成2000+数据源(含MySQL、Hive、ClickHouse)的全量元数据采集,设计‘技术元数据+业务元数据+管理元数据’三维标签体系;针对跨部门元数据理解不一致问题,推动制定《电商元数据命名规范V2.0》,明确23类核心实体的属性定义标准,元数据准确率从78%提升至97%,业务团队自助查询效率提升65%。
  • 推动数据分类分级落地,依据DCMM(数据管理能力成熟度评估模型)与《个人信息保护法》要求,主导编制电商行业数据分类目录(含用户隐私、交易敏感、运营分析3级12类),设计‘自动打标+人工复核’双轨机制;针对用户手机号、支付信息等敏感数据,联动安全团队实现脱敏规则与访问权限的动态绑定,全年未发生因分级不清导致的合规风险事件。
  • 搭建治理效果评估体系,从质量(达标率)、效率(问题定位时长)、成本(冗余数据存储量)3个维度设计18项指标,通过Grafana可视化看板实时监控;推动将治理成效纳入业务部门KPI,促成跨部门治理协作会议机制,全年推动解决跨域数据冲突问题47项,数据共享效率提升50%。
2020.06 - 2022.06
小楷互联
数据治理工程师

聚焦本地生活服务数据资产盘点与治理,负责餐饮、到店、酒旅3条业务线的数据质量监控规则制定、元数据梳理及分类分级试点,支撑业务决策分析与数据产品输出。

  • 核心参与公司首套数据治理体系搭建,主导完成餐饮业务线全量数据资产盘点,通过SQL脚本与元数据工具结合,梳理出12个业务域、45张核心表、2000+字段的业务含义与应用场景,输出《餐饮数据资产目录V1.0》,资产覆盖率从65%提升至88%,业务团队数据查找耗时减少40%。
  • 设计餐饮订单数据质量监控方案,针对‘订单状态不一致’‘优惠金额超限’等高频问题,基于Sqoop增量同步日志与自定义规则,开发质量校验脚本(Python+PySpark),实现每日凌晨自动跑批检测;上线后订单数据问题闭环率从55%提升至82%,下游报表数据修正工作量减少60%。
  • 试点数据分类分级,参考《金融数据安全分级指南》并结合本地生活场景,将用户地址、支付凭证定义为‘高敏感’,商家资质、评价内容定义为‘中敏感’,制定分级存储策略(高敏感数据加密存于HBase,中敏感存于ClickHouse);推动技术团队完成存储架构调整,敏感数据泄露风险降低75%。
  • 协同数据产品团队优化数据服务接口,针对‘用户消费频次’等高频调用指标,通过治理后的高质量数据源重构计算逻辑,接口响应时间从800ms降至200ms,支撑前端‘猜你喜欢’推荐功能点击率提升18%。
2018.07 - 2020.05
小楷科技
数据治理专员

协助完成金融风控数据的基础治理工作,包括元数据采集、数据质量规则初步设计及分类分级文档整理,为后续治理体系落地奠定基础。

  • 负责金融风控核心库(含用户征信、设备指纹、交易流水)的元数据补全,通过编写Shell脚本调用Apache Atlas API,批量采集200+表的字段类型、更新频率等信息,修正错误元数据130余条,元数据完整率从81%提升至95%,支撑开发团队快速定位数据来源。
  • 参与设计基础数据质量规则,针对‘身份证号格式错误’‘手机号重复’等问题,基于正则表达式与Hive UDF,开发15条轻量级校验规则,嵌入ETL流程;上线后原始数据错误率从12%降至3%,减少下游风控模型训练的脏数据处理时间。
  • 协助整理金融数据分类分级初稿,梳理用户身份信息、账户交易记录等8类数据的敏感等级,参考《个人金融信息保护技术规范》标注保护要求;输出《金融数据分类建议清单》,为后续正式分级提供参考依据。
  • 优化数据问题反馈流程,设计Excel模板收集业务部门数据质量问题,通过VLOOKUP匹配规则库快速定位根因,将问题处理周期从3天缩短至1天,季度问题解决满意度从70%提升至88%,获部门季度优秀新人奖。
项目经验
2022.03 - 2023.08
云帆电商科技有限公司
大数据开发工程师

电商用户行为全链路实时分析平台建设

  • 云帆电商作为年GMV超百亿的美妆垂直电商平台,原有用户行为分析系统依赖离线T+1处理,无法支撑大促期间实时活动效果追踪、个性化推荐、用户流失预警等核心场景;我的核心目标是主导构建一套覆盖“数据采集-实时计算-存储分析-业务落地”的全链路实时平台,实现用户行为数据秒级处理,支撑运营、产品、算法团队的实时决策需求。
  • 项目面临三大核心挑战:一是大促峰值50万QPS下实时计算的低延迟与稳定性(原方案延迟超10分钟);二是多源异构数据(APP/小程序埋点、第三方支付/物流数据、CRM用户属性)的统一清洗与用户级关联;三是实时数据的一致性保障(如用户跨设备浏览商品的归因问题)。
  • 针对挑战,我主导了三项关键行动:1)设计“ODS(原始数据)→ DWD(明细数据,通过Flink 1.15进行实时清洗、去重、多源关联)→ DWS(汇总数据,按用户/商品/场景维度聚合)”的分层架构,解决数据冗余与复用问题;2)优化Flink Watermark策略,结合事件时间与处理时间双维度校准,引入Bounded OutOfOrderness机制,将乱序数据处理准确率从92%提升至99.8%;3)搭建Redis缓存层承接ClickHouse的热点查询,同时通过ClickHouse的Projection功能优化聚合查询性能。
  • 项目上线后,用户行为数据处理延迟从15分钟缩短至2秒内,支撑了大促期间“满减活动实时ROI分析”“热门商品实时推荐”“高潜流失用户实时触达”等12个核心场景。运营团队基于实时数据调整策略的响应时间从小时级压缩至分钟级,大促期间活动转化率提升18%,个性化推荐点击率提升22%;我主导的Flink任务优化方案(如动态资源分配、 checkpoint调优)被纳入公司实时计算规范,成为后续项目的参考标准。
2020.10 - 2021.06
云帆电商科技有限公司
大数据开发工程师

用户分层标签体系混合架构重构

  • 原有用户分层标签体系基于Spark离线计算,标签更新周期为T+1,无法支撑实时营销场景(如直播间实时发券、个性化推送)的需求;我的核心职责是参与标签体系重构,负责实时标签模块设计与开发,以及离线与实时数据的融合逻辑,目标是将标签更新时效从T+1提升至分钟级。
  • 项目难点在于:一是离线标签(基于历史行为)与实时标签(基于当前行为)的一致性保障;二是高并发场景下实时标签的快速计算(如直播间用户的“当前浏览时长”“加购转化率”标签);三是标签元数据管理混乱(标签定义、计算逻辑分散在多个文档中)。
  • 我的关键行动包括:1)设计“离线标签+实时标签”的混合架构——离线标签通过Spark每日计算生成基础画像,实时标签通过Flink基于用户当前行为动态更新,最终通过Redis缓存实现标签的统一输出;2)引入“时间戳+版本号”机制解决数据冲突,优先采用最新时间戳的数据,若时间戳一致则取版本号更高的标签;3)开发标签元数据管理系统,实现标签的可视化定义、审批、发布流程,将标签开发周期从7天缩短至2天。
  • 项目落地后,实时标签更新时间从T+1缩短至5分钟内,离线标签保持每日更新;营销团队基于实时标签开展的“直播间高价值用户实时发券”活动,响应率提升25%,优惠券核销率提升19%;标签元数据管理系统降低了运营团队的标签使用门槛,标签调用量提升了40%;我设计的标签版本控制方案被推广至公司其他业务线(如金融、本地生活),成为标签管理的标准方案。
技能特长
沟通能力
执行能力
热情坦诚
文案能力
奖项荣誉
  • CDGA数据治理工程师认证
  • 2023年度公司数据治理项目攻坚奖
  • 2022年公司优秀员工
自我评价
  • 深耕互联网数据治理,聚焦业务场景下数据质量闭环与合规落地,以业务目标牵引治理动作,拒绝被动响应。
  • 具备业务语言转译能力,能对齐技术、产品、运营诉求,推动治理方案贴合业务实际。
  • 坚持“预防式治理”思维,构建可复用框架应对业务快速迭代的数据风险,提效且可持续。
  • 将治理与业务增长绑定,通过优化数据质量支撑精准运营等场景,挖掘数据资产价值。
智能诊断
编写灵感
请选择需要查找的灵感类型
请选择灵感源泉
选择合适的内容插入后即可编辑调整
请在上方选择您需要获取的灵感类型
对话框
提示
说明