负责公司电商核心场景（大促GMV实时看板、库存精准预警、营销活动实时触达）的实时数据处理链路设计、性能瓶颈突破及全链路稳定性保障，支撑日均10亿+事件数的低延迟、高准确处理

• 主导设计双11大促实时订单流处理架构，针对峰值时段（0点-1点订单量达50万TPS）引发的端到端延迟高（原5s+）问题，采用Flink动态并行度策略（基于Kafka分区负载自动扩缩算子至32并行度），结合RocksDB状态后端优化状态访问（将状态读写延迟从1ms降至0.2ms），并通过Side Output分流迟到数据补全，最终将订单处理延迟稳定控制在1s内，支撑GMV实时看板数据更新时效从3s提升至实时，大促期间未出现延迟超时故障
• 优化实时库存计算准确性，解决因多渠道订单（APP/小程序/第三方平台）数据乱序导致的超卖风险（原月均超卖投诉12起）：基于Flink事件时间窗口+Watermark机制（设置15s最大乱序时间），联动侧输出流捕获迟到订单，补充校验库存余量，将库存数据准确率从99.2%提升至99.98%，超卖投诉降至0起
• 搭建实时数据链路可观测体系，整合Prometheus+Grafana监控Flink任务的吞吐量、延迟、背压及Checkpoint成功率，自定义告警规则（如背压超过70%触发钉钉预警），将故障排查时间从平均30分钟缩短至5分钟内，大促期间链路可用性达99.99%
• 核心参与营销活动实时用户触达项目，对接MySQL Binlog（通过Debezium捕获变更）与Kafka，优化数据同步链路：调整Debezium捕获频率至100ms级，结合Flink MapFunction过滤无效变更（如未生效的活动配置），将用户标签同步延迟从10s降至2s，支撑营销活动触达率提升15%

负责零售全渠道（线下门店、线上商城、第三方平台）实时数据Pipeline构建与性能优化，支撑门店销售实时分析、供应链库存预测、会员行为实时洞察等核心业务

• 主导设计基于Flink的多源销售数据实时汇总架构，整合POS机流水、线上订单、会员消费数据，通过KeyedProcessFunction按“门店+商品”维度做窗口聚合（1分钟粒度），解决分布式环境下聚合结果不一致问题（原不同节点汇总结果差异达5%），将实时销售数据更新频率从5分钟缩短至1分钟，支撑门店店长实时调整陈列策略
• 优化历史数据回溯性能，针对Flink Replay Kafka数据时慢的问题（原回溯1天数据需2小时），采用增量Checkpoint+RocksDB状态后端，预计算常用维度的聚合结果缓存，将回溯时间降至30分钟内，满足数据团队对历史异常数据的快速核查需求
• 解决实时数据脏数据问题：针对POS机重复上报的交易数据（原占比3%），用Flink ProcessFunction结合Bloom Filter（布隆过滤器）做去重（误判率低于0.1%），并将去重后的数据写入ClickHouse，使数据质量评分从85分提升至95分，支撑财务结算准确率100%
• 参与实时计算平台工具化建设，封装“窗口聚合”“多源数据路由”“延迟监控”等常用Flink作业模板，新业务接入时只需配置数据源与业务逻辑，开发时间从平均7天缩短至3天，提升了团队交付效率

协助构建电商基础业务实时数据处理链路，支撑首页流量实时监控、活动效果实时统计、用户行为实时追踪等场景，保障数据的及时性与准确性

• 参与开发实时流量监控系统，用Flink处理Nginx日志（通过Flume采集），提取PV、UV、跳出率、页面停留时长等指标，写入ClickHouse，解决原日志处理延迟高（15s+）问题：优化Flink并行度与日志解析正则表达式，将数据延迟降至5s内，支撑运营实时查看首页流量变化
• 解决实时数据时区偏差问题：针对不同地区用户访问日志的时区不一致（如北京UTC+8、纽约UTC-5），用Flink MapFunction统一转换为UTC时间存储，避免数据分析时出现“同一时段不同地区数据错位”问题，数据一致性提升至99.5%
• 协助优化Flink作业资源利用率：分析集群资源占用情况，调整作业并行度（如将流量统计作业从8并行度降至5）与内存分配（堆内存从4G调至2.5G），将集群CPU利用率从40%提升至65%，年节省云服务器成本约20%
• 参与编写实时计算作业运维手册，覆盖作业部署（Flink on YARN）、日常监控（Grafana看板）、故障排查（常见背压/Checkpoint失败处理）等环节，将新入职同学的运维上手时间从1周缩短至3天

用户行为全链路实时分析平台搭建

• 项目背景：公司为提升内容运营与算法推荐的实时性，需解决原有离线分析系统「小时级延迟」的痛点——无法及时捕捉用户看剧、弹幕互动、分享等行为的动态趋势，导致热门内容跟进慢、推荐模型迭代滞后。核心目标是通过实时数据处理平台，实现用户行为数据的秒级采集、计算与输出，支撑运营决策与算法优化。我作为项目总负责人，主导从需求调研、技术选型到落地推广的全流程。
• 关键难题：①多源数据实时接入的异构问题——APP、小程序、TV端及后台系统的用户行为数据格式差异大，直接接入会导致计算逻辑混乱；②低延迟下的状态一致性——用户连续行为（如“观看→点赞→分享”）需关联分析，传统实时引擎的状态管理易出现丢数据或延迟；③高并发场景的性能瓶颈——峰值时每秒需处理15万+事件，现有集群无法承载。
• 核心行动与创新：1. 设计「统一数据接入层」：基于Avro Schema Registry规范多源数据格式，通过Kafka Connect实现自动化的Schema演化与数据校验，解决了异构数据的兼容问题；2. 优化Flink实时计算链路：采用RocksDB状态后端结合增量Checkpoint机制，保障用户行为序列的状态一致性，同时将窗口函数从「滚动窗口」调整为「滑动窗口（1分钟窗口，10秒滑动）」，既保留实时性又避免重复计算；3. 集群性能调优：通过Flink TaskManager的资源动态分配（基于YARN的Capacity Scheduler），将并行度从32提升至64，结合ClickHouse的分布式表引擎优化查询性能，最终实现秒级延迟。
• 项目成果：平台上线后，数据处理延迟从60分钟降至5秒内，峰值吞吐量达18万事件/秒；运营团队可实时监控「剧集热度趋势」「用户互动热点」，将热门内容推荐调整周期从1天缩短至1小时，单部剧集的点击率提升22%；算法团队基于实时行为数据优化推荐模型，用户次日留存率提升15%。我个人主导的技术方案被纳入公司实时计算标准规范，覆盖后续3个业务线的实时需求。

内容生产全链路数据中台建设

• 项目背景：公司内容生产部门（剧本、拍摄、剪辑、上线）长期存在数据孤岛——剧本管理系统（存储选题、梗概）、拍摄管理系统（记录场次、镜头）、上线系统（统计播放量）的数据无法打通，导致选题重复、制作周期不可控（如某剧集因剧本与拍摄素材匹配问题返工2次）。核心目标是搭建内容生产数据中台，整合全链路数据，支撑数据驱动的内容决策。我负责数据整合、模型设计与质量管控模块。
• 关键难题：①跨系统数据打通——各系统采用不同的数据库（MySQL、MongoDB、SQL Server），数据格式与元数据不一致；②数据质量保障——内容生产数据存在大量缺失值（如拍摄环节的“镜头时长”缺失率达30%）、重复值（如同一剧本的不同版本编号混乱）；③业务语义落地——技术人员需将“剧本相似度”“拍摄效率”等业务指标转化为可计算的数据模型。
• 核心行动与创新：1. 构建「内容生产数据模型」：基于Kimball维度建模，设计「剧本维度表」（包含题材、编剧、IP来源）、「拍摄事实表」（包含场次、镜头数、耗时）、「上线事实表」（包含播放量、弹幕数），整合了5个业务系统的数据；2. 建立元数据管理体系：引入Apache Atlas管理数据血缘与元数据，定义「内容生产元数据标准」（如“剧本ID”为唯一标识），解决了数据不一致问题；3. 数据质量闭环：通过Hive UDF开发数据校验规则（如“镜头时长”缺失则触发补录流程），结合Atlas的 lineage 功能追踪质量问题源头，将数据准确率从70%提升至95%。
• 项目成果：数据中台整合了80%的内容生产数据，形成「选题-拍摄-上线」的全链路数据看板。内容生产团队通过看板发现“悬疑题材剧本的拍摄周期比平均长20%”，调整了拍摄资源分配，整体制作周期缩短18%；选题重复率从15%降至5%，单部剧集的内容成本降低12%。我个人主导的数据质量体系成为公司数据资产的标杆规范，后续被推广至运营、算法等业务线。

• 大二观察到毕业生离校时大量教材被废弃，而新生购书支出占生活费12%，便发起校园书籍教材循环计划。为解决传统二手书交易效率低的问题，我们开发微信小程序实现扫码估价、预约取件功能，并说服快递中心以成本价承接物流。
• 通过建立翻新消毒标准打消卫生顾虑，项目年流通教材1.2万册，累计为同学节省书费38万元。这段经历让我从商业小白成长为能设计闭环模式的实践者，项目不仅获省级创业金奖，更被纳入学校官方服务体系延续至今。