负责直播平台实时计算平台的迭代与核心链路开发，覆盖直播流量监控、订单风控、用户互动分析三大场景，保障毫秒级延迟下的数据处理准确性与系统稳定性

• 主导设计基于Flink 1.17的实时流量监控Pipeline，整合Kafka Cluster（300+分区）与Redis Cluster（热点弹幕缓存），解决原有Spark Streaming方案延迟高（5s→200ms）、状态丢失问题；通过自定义Watermark策略（基于Event Time的滑动窗口偏移量调整）与State TTL机制（设置1h过期），实现乱序推流、打赏数据的精准处理，监控数据准确率提升至99.98%，支撑运营实时调整直播流量分配策略
• 核心优化用户互动行为分析链路，将原有离线的用户弹幕情感分析迁移至Flink ML实时预测，集成BERT轻量化模型（通过TensorFlow Serving部署），实现对“负面弹幕”的实时识别与拦截；优化模型推理延迟（从200ms→50ms），日均处理弹幕1.2亿条，负面内容拦截率提升至95%，降低直播违规风险
• 解决大促期间实时订单支付链路的状态膨胀问题，通过Flink RocksDB状态后端调优（设置Block Cache大小为10GB、Write Buffer数量为4），将状态数据大小从150GB压缩至60GB，Checkpoint耗时从12分钟缩短至2.5分钟，保障双11期间订单支付成功率稳定在99.9%以上
• 主导搭建实时数仓与实时计算平台的联动机制，通过Flink SQL将ODS层的直播商品点击数据实时同步至DWD层的用户兴趣标签表，支撑算法团队实时训练推荐模型，使直播商品点击转化率提升18%

负责电商实时交易链路的数据处理与风控系统开发，支撑双11、618大促的实时订单校验、异常行为拦截，保障大促系统稳定性

• 核心参与电商实时订单风控系统Flink化改造，将原有离线+准实时的规则引擎迁移至Flink SQL+Drools组合方案，实现对“同一设备多账号下单”“短时间高频退款”等异常订单的实时拦截；优化Flink Checkpoint策略（从Exactly-Once改为At-Least-Once+幂等写入），将Checkpoint耗时从8分钟缩短至1.5分钟，大促期间系统吞吐量提升3倍，支撑单日1200万订单的风控处理
• 开发实时GMV计算模块，基于Flink Window（Tumbling Window+Session Window）整合订单、支付、退款多源数据，解决原有离线GMV延迟4小时的问题；通过自定义Aggregate Function（计算去重订单金额），实现GMV数据的分钟级更新，准确率达99.95%，支撑运营团队实时调整促销策略
• 解决用户行为日志乱序问题，针对APP端埋点数据延迟1-5分钟的痛点，通过Flink Event Time处理+Watermark延迟设置（最大延迟5分钟），结合Side Output通道将迟到数据写入HBase做补偿计算，使行为日志的完整性提升至99.8%，支撑用户画像实时更新
• 主导搭建实时数据报警系统，基于Flink CEP（Complex Event Processing）识别“订单支付失败率骤升”“库存扣减超时”等异常事件，通过钉钉机器人+短信实现分钟级报警，大促期间异常事件响应时间从30分钟缩短至5分钟，降低业务损失约200万元

负责实时数仓基础组件搭建与核心ETL开发，支撑运营侧实时指标计算，满足业务对数据时效性的高要求

• 独立搭建基于Flink CDC的实时数仓ODS层，同步MySQL中的用户注册、商品库存、订单创建等数据至HDFS，通过Schema Evolution功能解决表结构变更（如新增“用户来源渠道”字段）导致的数据不一致问题；优化数据同步延迟（从10分钟→30秒），支撑运营团队实时查看活动期间的用户注册量与库存变化
• 开发实时用户活跃度计算模块，基于Flink Keyed Process Function统计“近5分钟登录用户数”“近1小时互动次数”等指标，整合Redis做热点数据缓存，使活跃度数据的查询延迟从5秒→500ms，支撑产品团队实时调整首页推荐策略
• 解决实时ETL中的数据重复问题，针对Kafka消息重复消费的痛点，通过Flink State存储已处理消息ID，结合幂等写入逻辑（将数据写入HBase时校验主键），使数据重复率从0.5%降至0.01%，保障运营指标的准确性
• 参与实时计算平台的监控组件开发，基于Prometheus+Grafana搭建Flink作业监控看板，监控“作业延迟”“Checkpoint成功率”“CPU使用率”等指标，实现作业异常的自动预警，使平台运维效率提升40%

用户行为实时分析平台与个性化推荐引擎升级项目

• 星途互动作为聚焦Z世代的内容社交平台，MAU突破5000万时遇到增长瓶颈——现有实时数仓因数据倾斜、Checkpoint不稳定导致特征延迟超5秒，推荐模型AUC仅0.72，无法支撑“千人千面”的个性化体验需求。我作为大数据开发负责人，主导全链路实时数据处理与推荐特征优化项目，目标是将实时数仓端到端延迟压至1秒内，推动推荐模型准确性提升。
• 项目面临两大核心挑战：一是用户行为事件流因头部用户占比20%却产生80%事件导致KeyedStream状态爆炸，Flink作业Checkpoint失败率达15%；二是实时特征依赖离线ETL同步，滞后30分钟，无法捕捉用户即时兴趣变化。针对数据倾斜，我通过Flink动态分区策略，基于用户活跃度实时调整Key分组权重，将大Key拆分为多个子Key并行处理；针对特征滞后，设计“流批一体实时特征工厂”，用Flink SQL结合Redis Stream实现特征秒级更新，同时通过窗口一致性校验保证数据准确性。
• 我主导重构了实时数仓分层架构，将原有单一ODS-DWD-DWS调整为“原始层-缓冲层-聚合层-特征层”：缓冲层引入Kafka分层Topic机制，隔离高并发写入与低延迟处理；特征层创新设计“基于事件时间的滑动窗口兴趣衰减向量”，融合用户最近10分钟的行为序列（点击、点赞、评论），赋予近期行为更高权重，更精准反映用户即时偏好。同时推动跨团队对齐特征规范，确保实时特征与算法模型的无缝对接。
• 项目上线后，实时数仓端到端延迟从5.2秒降至0.8秒，推荐模型AUC提升至0.84，平台CTR较之前增长11.3%，日均支撑35亿条用户行为数据的实时处理。我主导的动态分区策略与特征工厂方案被纳入公司大数据开发规范，成为后续实时数仓项目的标准架构，我个人也因此晋升为大数据架构师。

企业级大数据平台数据资产化管理与成本管控项目

• 随着平台数据量年增长80%，大数据平台存储成本占比达研发预算的30%，且存在大量重复日志、无效用户行为数据，数据查找耗时平均1小时以上，业务团队常因“找不到数据”“数据不准”延误项目。我作为高级大数据开发工程师，主导数据资产化管理与成本管控项目，目标是建立全链路数据资产目录，将存储成本降低30%，提升数据复用率。
• 项目核心痛点在于：一是缺乏统一元数据管理，数据来源分散在业务库、日志采集、第三方接口，无法快速定位可用数据；二是冷热数据未分层，所有数据均存放在SSD上，成本高且利用率低。我采用Apache Atlas搭建元数据管理系统，通过自定义采集器同步Flink、Hive、ClickHouse的元数据，给每条数据打“业务域”“数据类型”“更新频率”“热度”四大标签；同时设计“动态存储策略引擎”，基于标签自动将数据迁移至对应存储介质——热数据（日查询≥10次）存SSD保留7天，温数据（周查询≥1次）存HDFS保留30天，冷数据（月查询≤1次）存OSS长期归档。
• 我主导制定了《星途数据资产分类标准》，将数据分为用户行为、内容元数据、业务流程三大类，每类定义统一命名规范与字段标准；创新实现“数据热度实时监控”，通过Flink实时统计数据的查询次数与访问时长，每10分钟更新一次热度标签，触发存储迁移。同时推动建立“数据Owner”制度，明确各部门数据维护责任，从源头减少无效数据产生。
• 项目完成后，平台存储成本较之前降低38%，数据查找时间缩短至8分钟内，数据复用率从22%提升至65%。元数据管理系统覆盖了95%以上的业务数据，彻底解决了“找数据难”的问题。该项目的成本管控方案被集团其他3条业务线复用，我个人也因此积累了从技术执行到数据治理的全流程经验。

支教时发现乡村小学因缺乏实验器材，科学课多停留在课本讲解。返校后联合实验室开发出百元级科学实验背包，内含20个基础实验器材。为确保可持续运营，设计配套视频课程与城乡结对系统，并培训132名大学生担任远程助教。项目覆盖9省47所学校后，学生科学兴趣评分提升35%。这段经历教会我用产品思维解决社会问题，当看到孩子们用自制望远镜发现土星光环时，我理解了教育的真谛是点燃可能性。