负责公司电商大促及日常场景下的实时数据处理系统全生命周期管理，覆盖用户行为分析、实时风控决策、GMV实时看板三大核心链路，主导从需求拆解到上线运维的技术落地，保障数据流端到端延迟≤200ms、日均处理量超50亿条的稳定性。

• 主导设计实时数仓三层架构（ODS→DWD→DWS），基于Flink 1.17+SQL完成用户点击-加购-下单全链路事件流的标准化处理；针对大促期间Kafka消息乱序导致的窗口计算偏差问题，引入Watermark动态调整策略（允许5s延迟+1s乱序），结合事件时间分区键优化，将订单归因准确率从92%提升至98.6%，支撑双11期间实时GMV看板的精准性。
• 牵头优化实时风控规则引擎的数据供给链路，通过Flink CEP（复杂事件处理）实现跨3个数据源（用户设备信息、交易流水、IP黑库）的多维度关联计算；针对传统规则匹配延迟高（平均800ms）的痛点，设计状态缓存复用方案（减少30%重复状态存储）与异步IO调用外部风控库，将单条风险事件处理耗时压缩至150ms内，支撑大促期间每秒10万+风险事件的实时拦截。
• 构建实时数据质量监控体系，基于Flink Metrics扩展自定义指标（如消息积压量、窗口触发超时次数），集成Prometheus+Grafana实现分钟级告警；通过分析历史故障数据，定位到Kafka消费者拉取速率不均衡问题，优化分区分配策略（采用粘性分区+动态重平衡），将任务重启频率从每周2次降至每月0.5次，保障核心链路SLA≥99.95%。
• 推动实时计算资源效能提升，基于YARN队列动态扩缩容机制，结合业务峰谷特征（如早8点/晚8点流量波峰）设计弹性调度策略；在大促预热期将Flink作业并行度从32调整至64，同时利用Spot实例降低成本，整体资源利用率提升40%，大促期间计算成本同比下降28%。

聚焦本地生活场景的实时数据处理需求，负责外卖订单履约时效监控、骑手调度实时决策、商家实时营收统计三大模块的开发与维护，支撑日均8000万+订单流的实时处理，保障关键指标延迟≤500ms。

• 从0到1搭建外卖订单超时预警系统，基于Flink DataStream API实现订单接单-取餐-配送全流程事件的时间窗口聚合；针对早期Kafka消息堆积导致延迟飙升问题，优化消费者参数（fetch.min.bytes提升至1MB+max.poll.records调整至500），并结合背压监控动态调整并行度，将订单处理延迟稳定控制在300ms内，支撑运营团队实时干预超时订单。
• 参与骑手实时调度系统的特征工程开发，从Kafka实时流中提取骑手位置、当前单量、商家出餐速度等12维特征，通过Flink Window Join关联历史轨迹数据，为调度算法提供秒级更新的特征输入；优化特征存储方式（改用RocksDB状态后端替代内存存储），将特征更新延迟从2s降低至500ms，助力骑手接单效率提升15%。
• 优化商家实时营收统计的准确性，解决跨门店分账、优惠叠加导致的计算误差问题；引入Flink状态TTL机制清理过期订单数据（设置7天过期策略），结合窗口预聚合（每5秒输出一次中间结果）与最终一致性校验，将营收数据修正率从0.8%降至0.1%，满足财务对账的实时性要求。
• 主导实时计算任务的大版本升级，将原有Spark Streaming任务迁移至Flink，同步完成代码重构（适配事件时间语义）与性能压测；通过对比测试发现Flink在反压处理上的优势（背压传播延迟降低60%），迁移后任务资源占用减少35%，同时支持了更高并发的订单流（从5000TPS提升至1.2万TPS）。

协助完成金融交易反欺诈系统的实时数据处理模块开发，参与用户交易行为的实时特征计算与风险规则匹配，保障日均200万+交易流的低延迟处理（≤1s）。

• 参与反欺诈规则引擎的实时数据管道建设，基于Flink SQL完成银行卡交易流与用户设备指纹库的关联计算，通过Lookup Join实现每秒5000+次的外部数据查询，将单笔交易的特征计算耗时从800ms缩短至300ms，支撑风控规则引擎的实时决策。
• 优化交易数据清洗逻辑，解决原始日志中字段缺失、格式错误导致的下游任务失败问题；设计Flink MapFunction+正则表达式校验的组合方案，对10类常见异常数据进行清洗（如手机号格式、金额精度），将数据质量问题导致的任务重启次数从每日3次降至每周0.5次。
• 协助搭建实时交易监控看板，基于Flink ProcessFunction统计5分钟内交易频次、地域分布等指标，通过Redis缓存热点数据，实现前端页面的秒级刷新；上线后运营团队对异常交易的响应时间从5分钟缩短至30秒，有效降低了资金损失风险。

用户行为实时分析平台与个性化推荐引擎升级项目

• 星途互动作为聚焦Z世代的内容社交平台，MAU突破5000万时遇到增长瓶颈——现有实时数仓因数据倾斜、Checkpoint不稳定导致特征延迟超5秒，推荐模型AUC仅0.72，无法支撑“千人千面”的个性化体验需求。我作为大数据开发负责人，主导全链路实时数据处理与推荐特征优化项目，目标是将实时数仓端到端延迟压至1秒内，推动推荐模型准确性提升。
• 项目面临两大核心挑战：一是用户行为事件流因头部用户占比20%却产生80%事件导致KeyedStream状态爆炸，Flink作业Checkpoint失败率达15%；二是实时特征依赖离线ETL同步，滞后30分钟，无法捕捉用户即时兴趣变化。针对数据倾斜，我通过Flink动态分区策略，基于用户活跃度实时调整Key分组权重，将大Key拆分为多个子Key并行处理；针对特征滞后，设计“流批一体实时特征工厂”，用Flink SQL结合Redis Stream实现特征秒级更新，同时通过窗口一致性校验保证数据准确性。
• 我主导重构了实时数仓分层架构，将原有单一ODS-DWD-DWS调整为“原始层-缓冲层-聚合层-特征层”：缓冲层引入Kafka分层Topic机制，隔离高并发写入与低延迟处理；特征层创新设计“基于事件时间的滑动窗口兴趣衰减向量”，融合用户最近10分钟的行为序列（点击、点赞、评论），赋予近期行为更高权重，更精准反映用户即时偏好。同时推动跨团队对齐特征规范，确保实时特征与算法模型的无缝对接。
• 项目上线后，实时数仓端到端延迟从5.2秒降至0.8秒，推荐模型AUC提升至0.84，平台CTR较之前增长11.3%，日均支撑35亿条用户行为数据的实时处理。我主导的动态分区策略与特征工厂方案被纳入公司大数据开发规范，成为后续实时数仓项目的标准架构，我个人也因此晋升为大数据架构师。

企业级大数据平台数据资产化管理与成本管控项目

• 随着平台数据量年增长80%，大数据平台存储成本占比达研发预算的30%，且存在大量重复日志、无效用户行为数据，数据查找耗时平均1小时以上，业务团队常因“找不到数据”“数据不准”延误项目。我作为高级大数据开发工程师，主导数据资产化管理与成本管控项目，目标是建立全链路数据资产目录，将存储成本降低30%，提升数据复用率。
• 项目核心痛点在于：一是缺乏统一元数据管理，数据来源分散在业务库、日志采集、第三方接口，无法快速定位可用数据；二是冷热数据未分层，所有数据均存放在SSD上，成本高且利用率低。我采用Apache Atlas搭建元数据管理系统，通过自定义采集器同步Flink、Hive、ClickHouse的元数据，给每条数据打“业务域”“数据类型”“更新频率”“热度”四大标签；同时设计“动态存储策略引擎”，基于标签自动将数据迁移至对应存储介质——热数据（日查询≥10次）存SSD保留7天，温数据（周查询≥1次）存HDFS保留30天，冷数据（月查询≤1次）存OSS长期归档。
• 我主导制定了《星途数据资产分类标准》，将数据分为用户行为、内容元数据、业务流程三大类，每类定义统一命名规范与字段标准；创新实现“数据热度实时监控”，通过Flink实时统计数据的查询次数与访问时长，每10分钟更新一次热度标签，触发存储迁移。同时推动建立“数据Owner”制度，明确各部门数据维护责任，从源头减少无效数据产生。
• 项目完成后，平台存储成本较之前降低38%，数据查找时间缩短至8分钟内，数据复用率从22%提升至65%。元数据管理系统覆盖了95%以上的业务数据，彻底解决了“找数据难”的问题。该项目的成本管控方案被集团其他3条业务线复用，我个人也因此积累了从技术执行到数据治理的全流程经验。

• 大二观察到毕业生离校时大量教材被废弃，而新生购书支出占生活费12%，便发起校园书籍教材循环计划。为解决传统二手书交易效率低的问题，我们开发微信小程序实现扫码估价、预约取件功能，并说服快递中心以成本价承接物流。
• 通过建立翻新消毒标准打消卫生顾虑，项目年流通教材1.2万册，累计为同学节省书费38万元。这段经历让我从商业小白成长为能设计闭环模式的实践者，项目不仅获省级创业金奖，更被纳入学校官方服务体系延续至今。