当前模板已根据「数据仓库开发工程师」岗位深度优化
选择其他岗位
开始编辑模板后,您可以进一步自定义包括:工作履历、工作内容、信息模块、颜色配置等
内置经深度优化的履历,将为你撰写个人简历带来更多灵感。
陆明哲
昨天的经验是今天的基石,而今天的突破将成为明天的标准。
28岁
3年工作经验
13800138000
DB@zjengine.com
陆明哲的照片
求职意向
数据仓库开发工程师
宁波
薪资面谈
随时到岗
工作经历
2024.06 - 至今
小楷集团数据中台
资深数据仓库开发工程师

负责集团级数据仓库整体架构设计与迭代,主导跨事业群数据整合与元数据治理,支撑零售、本地生活、金融三大业务线的深度数据分析需求,推动离线-实时数仓融合架构落地。

  • 主导设计集团统一维度中心,基于Kimball维度建模理论重构用户、商品、交易三大核心主题域,通过引入缓慢变化维(SCD)Type2+Type3混合策略,解决历史状态追溯与实时属性更新的冲突问题;同步搭建维度元数据管理模块,对接Apache Atlas实现维度血缘自动采集,维度变更影响分析耗时从4小时缩短至15分钟。
  • 牵头离线-实时数仓融合项目,基于Flink完成订单、支付等核心链路实时ETL开发,结合Hudi增量存储与Hive离线批处理,实现T+0实时看板与T+1深度报表的同源数据供给;针对大促期间实时数据延迟问题,优化Flink窗口计算逻辑并引入本地状态缓存,将订单流处理延迟从8秒压降至2秒内。
  • 设计数据质量全链路监控体系,基于DataWorks规则引擎自定义200+校验规则(完整性、一致性、准确性),开发异常数据自动拦截与告警流程;上线后关键业务表数据错误率从0.3%降至0.05%,月度数据回溯成本减少60%。
  • 推动数据资产分级分类落地,结合业务场景定义高价值数据标签(如GMV核心链、用户LTV预测链),通过元数据平台开放自助取数入口,支撑业务团队自主查询效率提升70%,跨部门数据协作工单量下降45%。
2022.07 - 2024.05
小楷零售科技
高级数据仓库开发工程师

聚焦零售业务线数据仓库核心建设,负责交易、会员、供应链三大域的数据模型设计与ETL开发,支撑营销活动效果分析、库存周转优化等关键业务场景。

  • 主导会员数据分层建模,基于RFM模型扩展用户价值标签体系,通过Spark SQL实现多源会员数据(APP、小程序、线下POS)的清洗与关联,解决跨端用户ID映射不一致问题;建模后会员画像覆盖率从82%提升至98%,支撑精准营销转化率提升18%。
  • 优化供应链数据链路,针对采购-仓储-销售全流程数据滞后问题,重构ETL调度逻辑:将传统T+1批处理拆分为小时级增量同步与夜间全量校验,结合Hive分区裁剪与列式存储优化,供应链报表产出时效从早8点提前至凌晨3点,业务决策响应速度显著加快。
  • 攻克大促期间数据仓库稳定性难题,通过分析历史负载发现促销活动表写入并发过高导致集群资源争抢;采用动态资源分配策略(YARN队列优先级调整)与写入限流机制(每批次数据量阈值控制),大促峰值期间集群CPU利用率从95%降至75%,数据积压率保持0异常。
  • 搭建数据血缘可视化平台,基于SQL解析工具提取ETL任务依赖关系,手动补全元数据缺失节点,实现从业务指标到原始表的穿透式追踪;上线后数据问题定位时间从平均2小时缩短至10分钟,支撑数据治理团队效率提升50%。
2020.07 - 2022.06
小楷电商科技
数据仓库开发工程师(初级-中级)

负责电商用户行为数据与交易数据的ETL开发及基础数据层建设,支撑运营团队的流量分析、转化漏斗等基础数据需求,保障数据准确性与时效性。

  • 独立完成用户行为日志(APP点击流、埋点数据)的结构化处理,使用Flume完成日志采集,通过Scala编写Spark作业实现非结构化日志(JSON格式)的字段提取与清洗;针对日志乱码率高问题,开发自动编码检测脚本(基于ICU库),数据可用率从92%提升至99.5%。
  • 设计交易数据宽表模型,整合订单头信息、商品明细、支付状态等多表数据,采用星型模型降低查询复杂度;同步开发增量更新逻辑(基于最后更新时间戳),替代原有的全量刷新模式,每日数据处理量从10亿条减少至2亿条,集群IO压力下降60%。
  • 搭建基础数据质量监控模板,针对订单金额、用户ID等关键字段配置非空、唯一性、值域校验规则,通过Shell脚本定时执行校验并输出异常报告;上线3个月内拦截脏数据12万条,避免因数据错误导致的运营决策偏差。
  • 支撑大促活动效果分析需求,快速响应运营团队对新增维度(如直播间引流渠道)的取数要求,通过临时表设计与维度关联优化,在3天内完成数据准备;活动期间日均处理查询请求150+次,响应时效稳定在5分钟内。
项目经验
2022.03 - 2023.08
星途互动科技有限公司
大数据开发工程师(实时计算方向)

用户行为实时分析平台升级项目

  • 原平台以Hive批处理为核心,用户行为数据处理延迟达2-4小时,无法支撑直播、活动等场景的实时决策;核心目标是将平台升级为“实时+离线”融合架构,实现秒级数据处理与多维度实时洞察,我主导整体架构设计、核心模块开发及全业务线落地推广。
  • 面临两大挑战:一是多源数据(APP埋点、服务端日志、第三方渠道)的时效性差异与一致性校验问题;二是峰值QPS10万+场景下,实时计算资源的弹性调度与成本控制。
  • 技术上采用Flink1.15作为实时引擎,结合Hudi0.12实现“写时合并”解决数据一致性;设计分层流处理架构(Kafka原始层→Flink清洗层→FlinkSQL聚合层→ClickHouse+Hudi存储层),支撑不同查询需求;引入Flink动态资源调度插件,根据流量自动扩缩容,峰值资源利用率提升40%。
  • 平台实时延迟降至5秒内,支撑运营实时调整活动策略,活动转化率提升15%;资源成本较之前降低20%,覆盖6个业务线实时分析需求,我主导的架构成为公司数据平台实时化标杆,个人晋升为实时计算方向核心负责人。
2020.07 - 2021.12
云帆电商有限公司
大数据开发工程师(数据平台方向)

商品推荐系统数据层重构项目

  • 原推荐数据层依赖分散的Hive离线表与MySQL实时表,特征生成延迟T+1,无法满足实时推荐模型迭代需求;核心目标是构建统一实时特征数据层,支持分钟级特征更新与高并发查询,我负责架构设计、特征开发及算法团队协同。
  • 关键难题:一是推荐场景下特征的时间戳对齐与跨模型复用;二是实时特征计算需满足99.9%以上的SLA稳定性。
  • 设计“FlinkCDC+流批一体”特征生产架构,通过CDC同步MySQL商品/用户表变更,结合批处理补全历史数据生成实时特征;搭建特征元数据管理系统,定义特征来源、逻辑、频率等元数据,实现特征“一键查询”与复用;选用ClickHouse作为存储引擎,优化索引结构将查询延迟从500ms降至50ms内。
  • 数据层支撑3次推荐模型迭代,CTR提升12%、GMV增长8%;特征开发周期从7天缩至4天,重复开发量减少30%;数据层稳定性达99.95%,满足算法团队高并发需求,我因此晋升为数据平台小组负责人。
技能特长
沟通能力
执行能力
热情坦诚
文案能力
奖项荣誉
  • 数据库系统工程师(中级)
  • 2023年公司级数据仓库性能优化大赛二等奖
  • 2022年度部门优秀技术员工
自我评价
  • 深耕互联网数仓领域,擅长将业务场景抽象为高可用架构,始终以“数据支撑业务决策”为设计核心,拒绝技术冗余。
  • 具备全链路问题排查思维,用“日志-元数据-业务逻辑”三角法定位瓶颈,推动过关键链路性能提升。
  • 作为技术与业务的翻译官,能将业务需求转化为可量化指标体系,减少跨团队沟通成本。
  • 对数据质量有极致敏感,建立分层校验机制保障一致性,主动跟进云原生技术优化存储效率。
报考信息
填写报考学校
填写报考专业
科目1
分数1
科目2
分数2
科目3
分数3
科目4
分数4
试一下,换个颜色
选择配色
使用此模板创建简历
  • 支持电脑端、微信小程序编辑简历
  • 支持一键更换模板,自由调整字距行距
  • 支持微信分享简历给好友查看
  • 支持简历封面、自荐信、自定义简历模块
  • 支持导出为PDF、图片、在线打印、云端保存
该简历模板已内置
  • 个人名称
  • 头像
  • 基本信息
  • 求职意向
  • 工作经历
  • 项目经验
  • 实习经验
  • 作品展示
  • 奖项荣誉
  • 校园经历
  • 教育背景
  • 兴趣爱好
  • 技能特长
  • 语言能力
  • 自我评价
  • 报考信息
  • 简历封面
  • 自荐信
对话框
提示
说明