• 构建了公司“实时特征平台”，基于Flink实时计算用户行为特征（如点击序列、购买意向分），并通过Redis和gRPC提供毫秒级的低延迟特征访问服务。该平台将算法模型的特征迭代周期从天缩短至小时，上线模型的CTR提升了2个百分点，直接驱动GMV增长。
• 通过设计实时数据服务网关，将分散的实时数据（如库存、价格、用户画像）统一成易用的API，屏蔽底层复杂性，支撑了“千人千面”的首页推荐、实时优惠券发放等20+个核心业务场景，数据需求响应速度提升10倍。
• 独立攻克高并发低延迟查询的挑战，通过深度优化ClickHouse的合并树（MergeTree）引擎和物化视图，并利用“预聚合”技术，使实时大屏和报表查询的P99延迟稳定在1秒内，提供了丝滑的数据体验。
• 推动“实时AB实验平台”建设，能够实时计算不同策略的业务指标，使产品决策从“隔天看结果”变为“分钟级决策”，实验迭代效率提升数百倍。

• 主导设计并落地新一代实时计算平台，基于Flink + Kafka构建统一流处理引擎，支持SQL化开发与动态扩缩容，承载公司全业务线实时数据需求，日均处理数据量超​​10TB​​，P99延迟<500ms。
• 攻克平台高可用难题，设计checkpoint优化与自动故障转移机制，平台年可用性达​​99.99%​​，全年零重大事故。
• 深入性能调优，通过堆外内存管理、网络缓冲区优化及状态后端改造，集群资源利用率提升​​40%​​，年节省成本超百万。
• 制定实时数据开发规范与治理流程，赋能超过​​200名​​数据分析师与工程师，团队开发效率提升​​50%​​。

• 负责​​实时日志处理系统​​开发，采集全网日志接入​​Kafka​​，通过​​Flink​​进行实时解析、过滤、聚合，写入​​ClickHouse​​，提供秒级查询能力，替代原有Storm架构，性能提升​​3倍​​。
• 独立开发​​实时用户画像​​数据更新模块，处理用户标签实时变更，支持毫秒级更新，保障​​2000+​​标签的准确性和时效性。
• 优化Kafka集群性能，通过调整副本机制、分区策略和硬件配置，集群吞吐量提升​​60%​​，支撑了业务快速增长。
• 深入研究Flink源码，解决社区版​​RocksDB状态后端​​在小文件合并上的性能缺陷，通过参数调优将checkpoint时间稳定在​​2分钟​​内。

用户行为实时分析平台与个性化推荐引擎升级项目

• 星途互动作为聚焦Z世代的内容社交平台，MAU突破5000万时遇到增长瓶颈——现有实时数仓因数据倾斜、Checkpoint不稳定导致特征延迟超5秒，推荐模型AUC仅0.72，无法支撑“千人千面”的个性化体验需求。我作为大数据开发负责人，主导全链路实时数据处理与推荐特征优化项目，目标是将实时数仓端到端延迟压至1秒内，推动推荐模型准确性提升。
• 项目面临两大核心挑战：一是用户行为事件流因头部用户占比20%却产生80%事件导致KeyedStream状态爆炸，Flink作业Checkpoint失败率达15%；二是实时特征依赖离线ETL同步，滞后30分钟，无法捕捉用户即时兴趣变化。针对数据倾斜，我通过Flink动态分区策略，基于用户活跃度实时调整Key分组权重，将大Key拆分为多个子Key并行处理；针对特征滞后，设计“流批一体实时特征工厂”，用Flink SQL结合Redis Stream实现特征秒级更新，同时通过窗口一致性校验保证数据准确性。
• 我主导重构了实时数仓分层架构，将原有单一ODS-DWD-DWS调整为“原始层-缓冲层-聚合层-特征层”：缓冲层引入Kafka分层Topic机制，隔离高并发写入与低延迟处理；特征层创新设计“基于事件时间的滑动窗口兴趣衰减向量”，融合用户最近10分钟的行为序列（点击、点赞、评论），赋予近期行为更高权重，更精准反映用户即时偏好。同时推动跨团队对齐特征规范，确保实时特征与算法模型的无缝对接。
• 项目上线后，实时数仓端到端延迟从5.2秒降至0.8秒，推荐模型AUC提升至0.84，平台CTR较之前增长11.3%，日均支撑35亿条用户行为数据的实时处理。我主导的动态分区策略与特征工厂方案被纳入公司大数据开发规范，成为后续实时数仓项目的标准架构，我个人也因此晋升为大数据架构师。

企业级大数据平台数据资产化管理与成本管控项目

• 随着平台数据量年增长80%，大数据平台存储成本占比达研发预算的30%，且存在大量重复日志、无效用户行为数据，数据查找耗时平均1小时以上，业务团队常因“找不到数据”“数据不准”延误项目。我作为高级大数据开发工程师，主导数据资产化管理与成本管控项目，目标是建立全链路数据资产目录，将存储成本降低30%，提升数据复用率。
• 项目核心痛点在于：一是缺乏统一元数据管理，数据来源分散在业务库、日志采集、第三方接口，无法快速定位可用数据；二是冷热数据未分层，所有数据均存放在SSD上，成本高且利用率低。我采用Apache Atlas搭建元数据管理系统，通过自定义采集器同步Flink、Hive、ClickHouse的元数据，给每条数据打“业务域”“数据类型”“更新频率”“热度”四大标签；同时设计“动态存储策略引擎”，基于标签自动将数据迁移至对应存储介质——热数据（日查询≥10次）存SSD保留7天，温数据（周查询≥1次）存HDFS保留30天，冷数据（月查询≤1次）存OSS长期归档。
• 我主导制定了《星途数据资产分类标准》，将数据分为用户行为、内容元数据、业务流程三大类，每类定义统一命名规范与字段标准；创新实现“数据热度实时监控”，通过Flink实时统计数据的查询次数与访问时长，每10分钟更新一次热度标签，触发存储迁移。同时推动建立“数据Owner”制度，明确各部门数据维护责任，从源头减少无效数据产生。
• 项目完成后，平台存储成本较之前降低38%，数据查找时间缩短至8分钟内，数据复用率从22%提升至65%。元数据管理系统覆盖了95%以上的业务数据，彻底解决了“找数据难”的问题。该项目的成本管控方案被集团其他3条业务线复用，我个人也因此积累了从技术执行到数据治理的全流程经验。