当前模板已根据「数据平台开发工程师」岗位深度优化
选择其他岗位
开始编辑模板后,您可以进一步自定义包括:工作履历、工作内容、信息模块、颜色配置等
内置经深度优化的履历,将为你撰写个人简历带来更多灵感。
陆明哲的照片
陆明哲
昨天的经验是今天的基石,而今天的突破将成为明天的标准。
28岁
3年工作经验
13800138000
DB@zjengine.com
求职意向
数据平台开发工程师
苏州
薪资面谈
一个月内到岗
工作经历
2022.07 - 至今
小楷电商科技有限公司
高级数据平台开发工程师

负责公司级数据中台的底层平台架构设计与全生命周期迭代,聚焦实时计算引擎优化、元数据智能治理及跨业务线资源调度协同,支撑营销、供应链、用户增长三大核心业务线的PB级数据处理需求,保障平台高可用(SLA≥99.99%)与成本可控。

  • 主导Flink实时计算引擎从1.13版本向1.17版本的全链路升级,针对大促期间流量洪峰(峰值QPS达85万/秒)导致的任务延迟问题,通过重构状态后端存储策略(由RocksDB切换为增量Checkpoint+本地SSD缓存)、优化事件时间窗口聚合算子并行度,将任务端到端延迟从500ms压降至80ms以内,大促期间未发生因平台延迟导致的业务数据超时报错。
  • 设计并落地元数据智能治理平台,基于Apache Atlas扩展自定义血缘解析规则,打通SQL解析引擎(Calcite)与任务调度系统(Airflow)的数据链路,实现数据表-任务-报表的全链路血缘自动追踪(覆盖95%以上ETL任务);同步上线血缘可视化看板与冗余表预警功能,推动业务线主动清理无效表3200+张,元数据查询耗时从平均3s缩短至200ms,数据团队定位问题效率提升70%。
  • 优化平台资源调度机制,基于YARN队列动态扩缩容能力,结合业务峰谷特征(如凌晨低峰期资源利用率仅18%),开发智能资源预测模型(使用XGBoost算法训练历史负载数据),实现计算资源按需弹性分配;上线后集群整体CPU利用率从35%提升至62%,年服务器采购成本降低约350万元。
  • 牵头设计跨AZ容灾方案,针对关键组件(HDFS NameNode、Flink JobManager)采用ZooKeeper实现主备选举,结合OSS跨区域复制能力保障元数据持久化;通过混沌工程模拟单AZ故障场景,验证平台故障切换时间从分钟级压缩至30秒内,全年重大故障停机时间≤2小时,满足金融级容灾标准。
2019.06 - 2022.06
小楷数据科技有限公司
数据平台开发工程师

承担数据平台核心模块开发与稳定性保障,重点支持离线数仓分层建设、实时任务监控体系完善及平台易用性优化,服务电商直播、会员运营等业务线的日常数据处理需求。

  • 独立完成离线数仓ODS-DWD层重构,针对原有分层逻辑混乱(存在重复ETL任务200+个)问题,基于Kimball维度建模理论重新定义事实表与维度表结构,统一公共维度(如用户、商品)的标签体系;重构后ETL任务数量减少40%,数据产出时效从T+1 8点提前至T+1 5点,支撑运营团队早会决策效率提升。
  • 开发实时任务监控告警系统,基于Prometheus+Grafana搭建指标采集看板,自定义延迟、吞吐量、失败率等15+核心指标阈值;结合企业微信机器人实现分级告警(P0级问题5分钟内触达责任人),上线后实时任务异常发现时效从小时级缩短至分钟级,业务投诉率下降65%。
  • 优化数据同步链路,针对MySQL Binlog同步至Hive时的延迟高问题(原平均延迟2小时),引入Canal+Kafka作为中间件,将增量数据实时写入Kafka Topic,再通过Spark Streaming消费并落库Hive;改造后同步延迟稳定在5分钟内,支撑直播业务实时用户行为分析场景落地。
  • 推动平台脚本自动化改造,基于Python开发SQL代码检查工具(集成语法校验、表权限校验、慢查询预判功能),强制要求所有ETL任务提交前通过工具扫描;上线半年内,因语法错误或权限问题导致的任务失败率从12%降至2%,数据团队开发效率提升30%。
2017.03 - 2019.05
小楷信息科技有限公司
大数据开发工程师

负责基础数据处理流程搭建与维护,支撑公司内部管理报表、用户画像标签等场景的数据需求,重点解决数据孤岛与质量问题。

  • 主导搭建公司首个离线数据仓库,基于Hive 2.x版本设计三层架构(ODS原始层、DWD明细层、DWS汇总层),通过Sqoop完成MySQL、Oracle等关系型数据库的全量/增量同步,通过Flume收集日志数据;首月完成12个业务系统的数据接入,数据覆盖用户行为、交易、客服等核心领域,支撑财务结算与用户运营团队取数需求。
  • 解决数据质量问题,开发脏数据检测工具(基于Hive UDF实现空值、重复值、非法格式校验),每日凌晨自动扫描关键表(如订单表、用户表)并生成质量报告;同步建立数据质量考核机制,推动业务系统优化数据上报逻辑,上线3个月后核心表脏数据率从8%降至1.2%,减少下游分析返工成本。
  • 优化ETL执行效率,针对原有Shell脚本调度任务依赖复杂、失败重试机制缺失问题,引入Azkaban作为任务调度工具,配置任务依赖关系与失败重试策略(最多重试3次并触发告警);改造后任务平均执行时长缩短25%,人工干预次数减少60%,支撑运营团队日报从T+1 12点提前至T+1 9点产出。
技能特长
沟通能力
执行能力
热情坦诚
文案能力
项目经验
2022.05 - 2023.08
星途互动
大数据分析平台负责人

用户行为实时分析平台重构与规模化落地项目

  • 背景:原平台基于Apache Storm构建,存在延迟高(平均5s+)、复杂事件处理能力弱、多源数据(埋点/Kafka/MySQL Binlog)schema兼容困难等问题,无法支撑运营团队对活动效果实时监控、用户转化路径实时分析的需求;核心目标是重构至分布式实时计算架构,实现毫秒级延迟与复杂场景全覆盖。
  • 难点:Storm拓扑的“ spaghetti code”难以维护,多源数据schema动态变更会导致计算逻辑失效;实时计算中“用户30分钟内连续点击3个商品详情页”这类复杂事件的匹配效率低。解决方案:选用Apache Flink替代Storm(基于其低延迟、Exactly-Once语义与内置CEP引擎);引入Confluent Schema Registry管理多源数据schema,支持动态兼容;自研基于Flink Java API的复杂事件处理器,通过状态存储用户行为序列实现高效匹配。
  • 行动:主导技术选型与全链路架构设计,搭建“数据采集(Kafka+Canal)- 实时计算(Flink)- 结果存储(ClickHouse+Redis)”流程;针对运营需求封装通用指标库(如实时DAU、转化漏斗、页面停留时长分位数),通过Flink SQL实现“配置化指标开发”降低使用门槛;与运维团队协作建立覆盖数据延迟、计算成功率、资源利用率的12项实时监控体系。
  • 成果:平台延迟降至800ms以内,支持15万TPS并发,覆盖8条业务线的实时运营场景(如618大促期间实时监控活动页转化率,助力运营调整优惠券策略,活动GMV提升18%);沉淀《实时数据处理架构规范》《复杂事件处理最佳实践》,个人获公司“年度技术创新奖”。
2020.03 - 2021.12
星途互动
大数据开发工程师

用户实时画像与标签推荐系统开发项目

  • 背景:原用户画像依赖Hive离线计算(T+1更新),无法支撑推荐系统的实时个性化需求(如用户刚浏览商品后立即调整推荐列表);目标是实现用户画像分钟级更新,提供实时标签供推荐引擎调用。个人负责实时数据处理与标签计算核心模块。
  • 难点:离线标签逻辑分散在20+个Shell/Python脚本中,维护成本高;实时计算中用户历史行为的“状态保持”(如近7天浏览的商品类别)会占用大量内存,导致作业频繁OOM。解决方案:梳理现有标签体系(基础属性/行为偏好/实时兴趣三类),将逻辑迁移至Flink;采用RocksDB作为Flink状态后端,将用户行为序列存储至HBase,状态仅保留“当前计算窗口”关键信息以降低内存消耗。
  • 行动:搭建“行为数据采集(Kafka)- 实时计算(Flink)- 画像存储(HBase+Redis)”链路,将用户行为数据实时同步至HBase宽表,同时用Flink计算“最近10分钟浏览的手机品类”“近1小时活跃度等级”等实时标签;优化Flink作业并行度与checkpoint策略,将作业恢复时间从15分钟缩短至2分钟;推动标签体系标准化,定义“创建-测试-上线-下线”的生命周期管理流程。
  • 成果:用户画像更新时间从T+1缩短至3分钟,推荐系统实时点击率提升22%;标签覆盖率从75%提升至92%,减少推荐引擎空值处理成本;主导的“实时画像标签体系”纳入公司数据中台核心组件,支撑电商、内容两条业务线的推荐场景。
奖项荣誉
  • 数据库系统工程师(中级)
  • 2022年度公司项目攻坚奖
  • 2023年度部门优秀技术骨干
自我评价
  • 深耕互联网数据平台开发6年,以业务价值为核心导向,擅长从用户行为、运营场景反推数据架构设计,确保技术与业务增长同频。
  • 主导过亿级数据量平台迭代,形成“高可用+低延迟”系统方法论,习惯结构化拆解复杂问题,平衡性能与成本。
  • 主动搭建业务-技术对齐机制,通过需求前置评审与文档标准化,减少跨团队沟通损耗,推动方案快速落地。
  • 紧跟实时计算、湖仓一体等行业趋势,善于融合新技术优化平台,持续提升数据处理效率与业务支持敏捷性。
试一下,换个颜色
选择配色
使用此模板创建简历
  • 支持电脑端、微信小程序编辑简历
  • 支持一键更换模板,自由调整字距行距
  • 支持微信分享简历给好友查看
  • 支持简历封面、自荐信、自定义简历模块
  • 支持导出为PDF、图片、在线打印、云端保存
该简历模板已内置
  • 个人名称
  • 头像
  • 基本信息
  • 求职意向
  • 工作经历
  • 项目经验
  • 实习经验
  • 作品展示
  • 奖项荣誉
  • 校园经历
  • 教育背景
  • 兴趣爱好
  • 技能特长
  • 语言能力
  • 自我评价
  • 报考信息
  • 简历封面
  • 自荐信
对话框
提示
说明