当前模板已根据「实时计算开发工程师」岗位深度优化
选择其他岗位
开始编辑模板后,您可以进一步自定义包括:工作履历、工作内容、信息模块、颜色配置等
内置经深度优化的履历,将为你撰写个人简历带来更多灵感。
陆明哲
昨天的经验是今天的基石,而今天的突破将成为明天的标准。
28岁
3年工作经验
13800138000
DB@zjengine.com
陆明哲的照片
求职意向
实时计算开发工程师
杭州
薪资面谈
一周内到岗
工作经历
2022.07 - 2024.08
小楷零售科技
资深实时计算开发工程师

负责电商大促及日常场景下实时数据处理链路的设计、优化与稳定性保障,支撑GMV、用户转化、库存周转等核心指标的实时监控与业务决策,覆盖订单、支付、用户行为等多源数据的实时整合与计算。

  • 主导设计电商大促期间千万级TPS的实时订单流处理链路,基于Flink 1.15搭建「ODS原始订单->DWD清洗订单->DWS用户订单行为」分层架构,整合Kafka中订单系统、支付网关、库存系统的多源数据;针对跨业务线事件时间乱序问题,自定义Watermark生成策略(结合业务ID哈希分区+时间戳偏移量校准),将数据处理延迟从8s压降至2s内,大促峰值期间支撑12万TPS流量,GMV实时看板准确性达99.99%,助力运营团队实时调整促销策略。
  • 针对实时用户价值分(LTV预测)场景,优化Flink状态管理机制:采用RocksDB作为状态后端,调整Checkpoint间隔为3分钟并开启增量Checkpoint,同时通过State TTL清理过期用户行为状态;解决高并发下状态膨胀导致的作业重启问题,作业稳定性从95%提升至99.5%,用户行为标签更新延迟从5s优化到1.5s,支撑推荐系统的实时个性化推送,大促期间高价值用户转化率提升15%。
  • 核心参与实时数仓DWS层建设,定义「用户实时行为宽表」模型(整合点击、浏览、加购、下单事件),通过Flink SQL实现窗口聚合(1分钟滚动窗口计算加购转化率)与维度关联(关联商品类目维度表);输出用户实时兴趣标签,为搜索团队提供实时 query 推荐能力,搜索结果点击率提升18%。
  • 搭建实时计算全链路监控体系:结合Prometheus采集Flink作业的延迟、吞吐量、Checkpoint成功率,以及Kafka的partition负载、消息堆积指标;通过Grafana配置可视化 dashboard,并设计异常告警规则(如延迟超过5s或Checkpoint失败触发钉钉告警);将大促期间链路故障排查时间从30分钟缩短至5分钟内,整体可用率达99.9%。
2020.06 - 2022.06
小楷游戏互娱
中级实时计算开发工程师

负责游戏直播场景下实时互动数据与用户行为的处理,支撑主播排名、观众留存、礼物转化等核心指标的实时计算,覆盖弹幕、礼物打赏、在线时长等多源数据的实时分析与输出。

  • 主导重构游戏直播实时互动链路:将原有Storm架构迁移至Flink 1.13,基于事件时间语义与滑动窗口(窗口大小5分钟,滑动步长1分钟)计算实时弹幕互动率(弹幕数/观众数)、礼物打赏TOP10主播;将数据处理延迟从10s降至3s内,直播后台榜单刷新时效性提升70%,主播对数据的满意度评分从4.2升至4.8(满分5分)。
  • 解决实时用户在线时长统计准确性问题:通过Flink状态TTL机制设置会话超时时间为5分钟,结合自定义会话窗口函数(按用户ID分组, gap 5分钟),修正因网络波动导致的会话断开误判;会话划分准确率从85%提升至98%,为运营团队提供准确的观众留存曲线,支撑直播内容优化(如调整互动环节时长),观众30分钟留存率提升10%。
  • 参与实时数据同步系统建设:使用Flink CDC捕获MySQL中主播信息变更(等级、分类、签约状态),实时同步至Kafka与实时数仓;替代原有的每小时定时批处理任务,数据延迟从小时级降至秒级,主播运营系统的信息更新及时率从90%提升至100%,运营人员手动同步数据的工作量减少80%。
  • 落地Flink异步I/O功能:用于实时查询主播的历史粉丝画像(存储于HBase),将主播实时标签(如“年轻女性粉丝占比”“高消费粉丝占比”)计算延迟从4s优化到1s内;提升直播推荐系统的实时性,直播间观众互动率(评论、点赞)提升8%。
2018.07 - 2020.05
小楷集团
初级实时计算开发工程师

负责集团内部用户行为日志与业务数据的实时ETL处理,支撑数据仓库实时更新及业务团队的临时查询需求,覆盖前端埋点、App日志、订单流水等多源数据的清洗与整合。

  • 搭建用户行为日志实时ETL链路:使用Flume收集Web端与App端的埋点日志,传输至Kafka Topic;通过Flink 1.11进行清洗(过滤无效IP、补全用户UUID、纠正时间戳格式),实时写入HBase与ClickHouse;数据延迟从15分钟降至2分钟,支撑数据仓库的实时增量更新,BI团队获取实时数据的时效性提升90%。
  • 支撑业务团队临时实时查询:市场部需实时查看某促销活动的点击转化率,通过Flink SQL编写查询语句,关联活动维度表(活动ID、时间、规则)与行为事实表(点击、曝光),将查询响应时间从5分钟缩短至30秒内;累计支持12个业务团队的临时查询需求,业务反馈效率提升75%。
  • 优化Flink作业资源利用率:通过调整TaskManager并行度(从8核降至6核)、增加Managed Memory占比(从30%升至50%),将集群资源占用降低30%;同时保证作业稳定性,支撑新增3个实时计算任务,集群资源利用率从60%提升至85%。
  • 参与实时计算平台早期建设:封装Flink作业提交脚本(集成参数校验、依赖上传、作业启停),将作业部署时间从1小时缩短至10分钟;搭建基础监控面板(展示作业状态、延迟、吞吐量),提升数据团队的运维效率,作业故障响应时间缩短50%。
项目经验
2022.03 - 2023.08
星途互动科技有限公司
大数据开发负责人

泛娱乐社交平台用户行为实时分析系统重构与性能优化

  • 项目背景:公司核心泛娱乐社交App(月活1.2亿)原有用户行为分析系统以T+1批处理为主,无法支撑直播互动、风险预警等新业务的实时需求——直播礼物推荐延迟超5分钟,风险事件(如刷量、恶意举报)识别滞后2小时以上。我的总体职责是主导系统从批处理向实时流处理的架构重构,目标是将核心场景数据延迟降至10秒内,支撑亿级用户并发行为分析。
  • 关键难题与技术:1)实时链路低延迟瓶颈:原Kafka集群分区策略基于时间戳,导致消费端热点倾斜,Flink任务吞吐量仅10万条/秒;2)多源数据Schema兼容:用户行为(埋点)、直播互动(IM)、礼物交易(支付)三类数据结构差异大,清洗规则分散,错误率超3%;3)实时计算准确性:风险事件漏报率达15%,因流数据状态管理失效导致重复计算。
  • 核心行动与创新:1)重构数据管道:将Kafka分区策略调整为「用户ID哈希+业务类型」双维度,Flink消费端并行度从8提升至32,结合RocksDB状态后端优化checkpoint(间隔从1分钟缩至30秒,失败率从10%降至0.1%);2)设计统一数据Schema:用Apache Avro定义跨业务域的通用事件模型,接入Schema Registry实现版本兼容(支持backward/forward/compatible三种模式),自动过滤脏数据(错误率降至0.2%);3)优化风险计算逻辑:引入Flink CEP实现多事件序列匹配(如「短时间高频发弹幕+异常IP登录」),结合规则引擎Drools动态调整阈值,漏报率降至2%以内。
  • 项目成果:1)性能指标:实时数据延迟从5分钟降至8秒,系统吞吐量提升至1.2亿条/小时,支撑了「直播弹幕-礼物推荐」实时链路(用户发弹幕后10秒内推送相关礼物,转化率提升18%);2)业务价值:风险预警准确率从85%升至98%,风险事件处理时间从小时级缩至5分钟内,每月减少欺诈损失约200万元;3)个人贡献:主导完成架构迁移,输出《实时流数据处理最佳实践》文档,推动团队掌握Flink高级特性(如状态管理、CEP)。
2020.06 - 2021.12
星途互动科技有限公司
大数据开发工程师

短视频内容生产平台创作者成长画像系统设计与实现

  • 项目背景:公司短视频创作平台(入驻创作者500万)原有创作者画像为离线每月更新,无法支撑运营团队的「精准扶持腰部创作者」需求——运营无法及时识别高潜力创作者,流量投放ROI仅1.2。我的职责是构建实时创作者行为画像,覆盖内容生产、粉丝互动、商业变现三大维度,支撑运营个性化策略。
  • 关键难题与技术:1)行为数据关联性弱:创作者的「视频发布→点赞→评论→带货」行为分散在不同系统,难以整合成统一画像;2)标签实时性不足:原有离线计算无法满足「当天发布视频→当天更新内容质量标签」的需求;3)标签准确性存疑:无法区分「真实粉丝互动」与「僵尸粉刷量」,导致高潜力创作者识别率低(仅30%)。
  • 核心行动与创新:1)设计Lambda架构:离线层用Hive处理历史数据(补全长期行为特征),实时层用Flink处理当日行为(更新短期兴趣标签),结合两者生成「全量+增量」的实时画像;2)构建标签体系:定义4类12个核心标签——基础属性(粉丝量、视频完播率)、行为属性(日更频率、互动回复率)、商业属性(带货转化率、广告接单量)、质量属性(原创率、违规扣分);3)引入机器学习:用随机森林模型训练「创作者成长潜力」标签(输入特征包括粉丝增长率、内容垂直度、互动转化率),准确率提升至85%。
  • 项目成果:1)画像能力:更新频率从T+30天变为实时,运营可在创作者发布视频后2小时内获取最新画像;2)业务效果:识别出1.2万名高潜力腰部创作者,推送流量扶持后其粉丝月增长速度提升28%,带货收入增长35%;3)个人贡献:主导画像模型设计与数据管道开发,输出《创作者画像标签规范》,成为公司创作者运营的核心工具。
技能特长
沟通能力
执行能力
热情坦诚
文案能力
自我评价
  • 深耕实时计算赛道,擅长将业务时间敏感性需求转化为低延迟架构,习惯从流量峰谷倒推链路瓶颈——懂“实时”是业务对数据时效的刚性依赖,不止于技术指标。
  • 具备全链路故障预判意识,用流量建模和灰度验证提前规避峰值风险——比起救火,更愿用前置思维帮团队减少线上问题。
  • 精通Flink等框架底层原理,能快速定位性能瓶颈,同时站在下游视角优化输出——技术落地不闭门,更懂跨系统协同的效率价值。
  • 适配互联网快速迭代,将临时需求沉淀为可复用模板,把“应急”变“常态化能力”——喜欢在变化中找规律,用标准化对冲业务不确定性。
试一下,换个颜色
选择配色
使用此模板创建简历
  • 支持电脑端、微信小程序编辑简历
  • 支持一键更换模板,自由调整字距行距
  • 支持微信分享简历给好友查看
  • 支持简历封面、自荐信、自定义简历模块
  • 支持导出为PDF、图片、在线打印、云端保存
该简历模板已内置
  • 个人名称
  • 头像
  • 基本信息
  • 求职意向
  • 工作经历
  • 项目经验
  • 实习经验
  • 作品展示
  • 奖项荣誉
  • 校园经历
  • 教育背景
  • 兴趣爱好
  • 技能特长
  • 语言能力
  • 自我评价
  • 报考信息
  • 简历封面
  • 自荐信
对话框
提示
说明