当前模板已根据「数据平台开发工程师」岗位深度优化
选择其他岗位
开始编辑模板后,您可以进一步自定义包括:工作履历、工作内容、信息模块、颜色配置等
内置经深度优化的履历,将为你撰写个人简历带来更多灵感。
陆明哲
责任心不是口号,而是渗透在每个工作细节中的行动准则。
28岁
3年工作经验
13800138000
DB@zjengine.com
陆明哲的照片
求职意向
数据平台开发工程师
苏州
薪资面谈
到岗时间另议
工作经历
2022.07 - 2024.06
小楷数据科技
数据平台开发工程师

负责电商平台数据底层存储与计算组件开发,支撑用户行为分析、交易报表等核心数据应用,保障平台稳定性与处理效率。

  • 主导设计混合存储架构,基于HDFS与对象存储(OSS)实现冷热数据分层,通过Hadoop Archive压缩冷数据(占比35%)并结合生命周期策略自动迁移,年存储成本降低42%,同时保障热数据查询延迟稳定在50ms内。
  • 优化Spark on K8s调度逻辑,针对日均5000+离线任务设计动态资源分配策略(基于YARN队列水位感知),并通过调整Shuffle分区数(从200提升至500)与压缩算法(Snappy转ZSTD),将任务平均完成时长从48分钟压缩至26分钟,集群资源利用率提升28%。
  • 搭建元数据血缘追踪系统,集成Apache Atlas与平台SQL解析器,实现从ODS到ADS全链路字段级血缘可视化,数据问题定位耗时从平均2小时缩短至20分钟,支撑业务方快速排查指标异常。
  • 解决大促期间数据积压问题,通过预计算热点分区(如用户日活TOP1000商品)与动态扩容Spark Executor(基于Prometheus指标触发),保障双11当天20亿条日志在3小时内完成清洗入仓,较去年同期提速50%。
2024.07 - 2025.06
小楷科技
高级数据平台开发工程师

聚焦数据平台多租户能力建设,支持零售、本地生活等多业务线复用,推动平台从单一业务支撑向跨域服务转型。

  • 设计基于K8s Namespace的容器化资源隔离方案,结合租户配额系统(CPU/内存/存储三级限制)与动态扩缩容策略(HPA根据队列负载自动调整),支撑12条业务线同时在线,集群资源利用率从38%提升至65%,年服务器成本节省约300万。
  • 开发统一权限管理模块,对接企业LDAP与RBAC模型,实现表级/字段级权限细粒度控制(支持正则表达式匹配字段),上线后数据越权访问事件清零,同时通过权限缓存(Redis+本地Caffeine)将鉴权耗时从80ms降至15ms。
  • 优化实时计算链路,针对订单实时看板场景,重构Flink作业状态后端(RocksDB转增量Checkpoint+OSS持久化),并将窗口计算从滚动窗口改为滑动窗口(步长1分钟),使大促期间订单实时更新延迟从5秒降至1.8秒,支撑前端页面秒级刷新。
  • 主导解决多租户资源竞争问题,通过设计优先级队列(核心业务优先)与任务超时熔断机制(超过30分钟自动kill并重试),将关键任务成功率从92%提升至99.6%,非核心任务吞吐量提升40%。
2025.07 - 至今
小楷科技
数据平台技术负责人

统筹数据平台从离线向实时化、湖仓一体架构转型,支撑全公司数据驱动决策,覆盖用户增长、智能营销、风险控制等核心场景。

  • 主导湖仓一体平台落地,整合Iceberg数据湖(存储原始明细数据)与ClickHouse实时数仓(支撑聚合查询),通过Flink CDC同步业务库变更,实现ETL流程节点减少60%,复杂指标查询性能提升3倍(从分钟级到秒级),已支撑用户分群、漏斗分析等10+AI模型训练需求。
  • 推动自动化运维体系建设,基于Prometheus+Grafana搭建全链路监控(覆盖Hadoop/Spark/Flink/Kafka等20+组件),自定义告警规则150+条(如Shuffle失败率>5%、Flink TaskManager内存使用率>80%),故障平均修复时间(MTTR)从2小时缩短至12分钟,年度P0级故障次数从7次降至0次。
  • 牵头制定《数据平台开发规范V3.0》,包含代码质量(SonarQube覆盖率≥80%)、性能压测(核心任务QPS需达业务峰值1.5倍)、灰度发布(先跑10%流量验证)等12项标准,上线后生产环境事故率同比下降82%,新功能上线周期缩短30%。
  • 支撑AI场景数据需求,开发特征工程平台(集成Feast特征存储与MLflow实验管理),提供数据清洗、特征计算、在线推理全流程能力,将算法团队取数耗时从周级降至小时级,模型迭代频率从每月1次提升至每周2次,推动用户流失预测模型AUC从0.78提升至0.85。
项目经验
2022.03 - 2023.08
星途互娱(专注泛娱乐内容生态的互联网平台,旗下覆盖短视频、直播、游戏三大核心业务)
大数据开发负责人

星途互娱用户行为实时数仓及个性化推荐支撑平台建设

  • 项目背景:公司短视频、直播业务月活突破5000万时,原有离线数仓(Hive+MySQL)无法满足实时推荐、活动运营的即时数据需求——实时推荐延迟超5分钟,活动效果报表需T+1产出,导致用户体验下滑、运营决策滞后。我的核心目标是搭建一套低延迟、高一致性的实时数仓体系,支撑推荐系统秒级数据供给及运营实时监控,同时保障数据可扩展性。
  • 关键难题与技术选型:①多源数据整合:APP、小程序、微信/支付宝支付网关的数据格式异构,增量同步易丢包;②低延迟与一致性平衡:原有Spark Streaming任务延迟高且无法保证Exactly Once,推荐数据常重复或丢失;③资源调度冲突:实时任务抢占离线资源,频繁导致任务积压。针对这些问题,我选用Flink作为实时计算引擎(支持毫秒级延迟与Exactly Once语义),用Kafka做统一消息队列承接增量数据;通过Canal同步MySQL业务库的变更日志到Kafka,再由Flink解析并关联用户行为数据;设计“实时ODS-DWD-DWS-ADS”四层架构,O层存原始事件,DWD做维度关联(用户-视频-主播),DWS聚合实时指标(如用户10分钟内互动频次),ADS输出推荐特征与运营报表。
  • 核心行动与创新:主导完成架构设计与《实时数据处理规范》输出,对齐数据产品、算法团队需求;优化Flink资源配置——采用YARN队列隔离实时与离线资源,结合动态扩缩容策略(根据Kafka Partition数自动调整TaskManager数量),将任务延迟从5分钟压至10秒内;针对“用户行为计数”类任务,提出“随机前缀+两阶段聚合”方案(先局部聚合再全局汇总),解决数据倾斜问题,任务运行时间缩短40%;协调算法团队校准推荐特征口径,确保实时特征与离线模型兼容。
  • 项目成果:平台支撑了公司3条核心业务的实时推荐与运营,实时推荐点击率从1.8%提升至2.3%(+28%),活动转化率提升15%;实时数仓复用率达80%,节省后续项目底层开发成本超200万元;我主导的“实时数据一致性方案”被纳入公司大数据技术标准,成为后续实时项目的参考模板。
2020.07 - 2022.02
星途互娱
大数据开发工程师(核心成员)

星途互娱会员生命周期管理数据平台建设

  • 项目背景:公司会员体系存在“数据分散、标签模糊、运营粗放”痛点——会员数据散落在注册、消费、互动系统,字段不统一;运营无法精准识别“潜在/流失会员”,营销活动ROI仅1.2(行业平均1.5)。我的目标是整合全链路数据,搭建生命周期数据平台,支撑精准分层运营,提升会员价值。
  • 关键难题与技术方案:①ID-Mapping:各系统会员标识不统一(注册用手机号、消费用用户ID),需打通跨系统数据;②模型落地:传统RFM模型未结合互动行为(评论、分享),生命周期划分不准确;③实时性:运营需要实时查看标签变化,原有Spark Daily批量计算无法满足。解决方案:用Spark做批量处理,通过Redis-based ID-Mapping工具统一会员ID;重新设计标签体系——包含基础属性、价值属性、行为属性、生命周期阶段(潜在/成长/成熟/流失);基于改进RFM模型(加入互动行为权重)结合K-means聚类,实现生命周期自动化划分。
  • 核心行动与决策:主导梳理12个业务系统的会员数据字典,完成ID-Mapping,会员ID统一率从60%提升至95%;开发会员标签计算任务,每天凌晨更新“高价值成长会员”“即将流失会员”等20+核心标签;与运营团队合作,通过A/B测试定义生命周期阈值(如成熟阶段需“近30天消费≥2次+互动≥5次”),并搭建标签可视化界面支持实时查询。
  • 项目成果:平台上线后,会员标签覆盖率从60%提升至95%,运营挽回流失会员的ROI从1.0提升至1.4(+40%),“高价值成长会员”ARPU值同比增长25%;公司会员数量从800万增长至1080万(+35%),超额完成年度目标;我主导的“会员生命周期数据模型”获公司技术创新奖,成为会员运营核心工具。
技能特长
沟通能力
执行能力
热情坦诚
文案能力
奖项荣誉
  • 数据库系统工程师(中级)
  • 2022年度公司项目攻坚奖
  • 2023年度部门优秀技术骨干
自我评价
  • 深耕互联网数据平台全链路开发,以业务价值为核心设计高可用架构,用模块化方案平衡数据孤岛与实时查询性能,支撑亿级用户行为数据的存储分析。
  • 养成根因导向的问题解决习惯,面对分布式系统隐式故障,能快速串联日志、链路追踪与业务指标定位瓶颈,推动响应效率提升。
  • 擅长与业务、算法团队同频沟通,将业务需求翻译成技术方案,也将技术约束反馈上游,形成双向对齐的协作闭环。
  • 主动跟踪湖仓一体、实时数仓等行业趋势,提前预研并试点,为平台升级储备可复用的技术能力。
试一下,换个颜色
选择配色
使用此模板创建简历
  • 支持电脑端、微信小程序编辑简历
  • 支持一键更换模板,自由调整字距行距
  • 支持微信分享简历给好友查看
  • 支持简历封面、自荐信、自定义简历模块
  • 支持导出为PDF、图片、在线打印、云端保存
该简历模板已内置
  • 个人名称
  • 头像
  • 基本信息
  • 求职意向
  • 工作经历
  • 项目经验
  • 实习经验
  • 作品展示
  • 奖项荣誉
  • 校园经历
  • 教育背景
  • 兴趣爱好
  • 技能特长
  • 语言能力
  • 自我评价
  • 报考信息
  • 简历封面
  • 自荐信
对话框
提示
说明