负责公司级数据中台核心平台的架构设计与全链路迭代，覆盖数据采集-存储-计算-服务全生命周期，支撑营销、供应链、用户增长三大业务线的实时分析与智能决策需求，技术边界包含湖仓一体架构落地、高并发数据服务优化及跨团队技术协同。

• 主导设计并落地新一代分布式数据湖仓一体平台（基于Apache Iceberg 1.4 + Flink 1.17 + Trino 408），解决原有Hive+MySQL架构下实时写入延迟高（平均5分钟）、并发查询瓶颈（峰值500QPS）问题。通过优化Iceberg元数据分层存储策略（冷热数据分离至OSS），结合Flink Checkpoint与Iceberg Snapshot联动机制，将实时数据可见时延压缩至20秒内；同步开发Trino Catalog插件支持跨源联邦查询，覆盖80%业务方跨仓取数需求，平台月均查询量从300万次提升至1200万次。
• 针对大促期间数据服务层高并发痛点（如双11用户标签实时查询），基于Spring Cloud Alibaba重构API网关与服务路由模块，引入三级缓存策略（Redis集群+Guava LocalCache+本地堆缓存），并通过动态流量染色技术实现热点数据自动降级。优化后标签查询P99延迟从80ms降至18ms，支撑双11当天2.3亿次标签调用无超时报错。
• 推动平台自动化运维体系建设，开发任务调度监控中台（集成Apache Airflow 2.7 + Prometheus + Grafana），设计基于业务优先级的动态资源配额算法与异常检测模型（如Flink反压率>30%触发预警）。上线后故障发现时间从小时级缩短至4分钟内，平台年度可用性从99.5%提升至99.95%，运维人力投入减少40%。
• 主导跨团队技术攻坚，解决湖仓一体架构下数据一致性问题。通过设计基于Debezium的CDC捕获MySQL Binlog，结合Flink SQL CDC Connector实现业务库变更实时同步至Iceberg，配合事务性写入协议（Two-Phase Commit），将订单、支付等核心表的数据一致性误差从5分钟级消除至秒级，支撑财务结算场景的精准对账。

聚焦金融业务线数据平台建设，负责离线-实时计算融合架构研发，重点解决风控、用户画像等场景的高时效性与高准确性需求，技术边界包含Flink流批一体应用、数据质量监控体系及资源弹性调度优化。

• 核心参与实时计算引擎升级项目，主导将Storm集群（日均处理10万TPS）迁移至Flink 1.15，优化状态后端为RocksDB+增量Checkpoint，结合事件时间窗口动态合并策略，将端到端延迟从10秒降至2秒内。同步开发反欺诈规则引擎插件，支持SQL-like规则热更新，风控策略迭代周期从周级缩短至小时级，欺诈识别率提升12%。
• 设计数据质量全链路监控体系，基于Apache Atlas元数据平台与自定义规则引擎（Groovy脚本），开发字段级一致性（如用户ID跨表匹配率）、值域合理性（如年龄>150岁拦截）校验模块，覆盖金融业务80%核心表。上线后数据问题定位时间从4小时缩短至25分钟，支撑监管报送数据零差错通过率从85%提升至98%。
• 优化离线计算资源调度效率，基于YARN Capacity Scheduler二次开发，实现业务优先级分级（P0-P3）与资源弹性扩缩容策略（如夜间低峰期自动回收50%空闲Container）。改造后集群资源利用率从42%提升至63%，月均节省云服务器成本18万元，同时保障P0级任务（如每日信贷报表）100%准时产出。

参与公司初期数据平台从0到1搭建，负责数据采集、存储层开发及基础数据仓库建设，支撑电商业务的基础数据分析与运营决策，技术边界包含多源数据接入、维度建模及存储引擎选型优化。

• 主导设计多源异构数据采集方案，通过Flume+Kafka构建实时日志采集管道（覆盖APP、小程序、第三方平台），结合Sqoop 1.99完成MySQL、Oracle离线数据同步，日均处理数据量从500GB增长至2TB。针对业务线数据格式差异大的问题，开发自适应Schema解析工具（基于Avro Schema Registry），自动识别字段类型并映射至统一元数据，人工配置工作量减少80%，数据接入耗时从3天/业务线缩短至6小时/业务线。
• 搭建初始数据仓库（DW层），采用维度建模方法论（Kimball模型），设计用户、商品、交易三大主题域，定义200+核心指标（如GMV、UV、转化率）。通过优化Hive分区策略（按天+按业务线双分区）与ORC文件压缩（Snappy），将日报生成时间从T+1 8点提前至T+4小时，支撑运营团队早会实时决策。
• 推动存储引擎升级，将核心用户行为表从MySQL单库单表（最大单表1.2亿行）迁移至HBase 2.2，结合RowKey预分区（用户ID哈希+时间戳）与二级索引（Phoenix），查询P99延迟从2.5秒降至500ms，支撑大促期间高并发的用户行为路径分析查询（峰值QPS 3000+）。

星途互娱用户行为实时数仓及个性化推荐支撑平台建设

• 项目背景：公司短视频、直播业务月活突破5000万时，原有离线数仓（Hive+MySQL）无法满足实时推荐、活动运营的即时数据需求——实时推荐延迟超5分钟，活动效果报表需T+1产出，导致用户体验下滑、运营决策滞后。我的核心目标是搭建一套低延迟、高一致性的实时数仓体系，支撑推荐系统秒级数据供给及运营实时监控，同时保障数据可扩展性。
• 关键难题与技术选型：①多源数据整合：APP、小程序、微信/支付宝支付网关的数据格式异构，增量同步易丢包；②低延迟与一致性平衡：原有Spark Streaming任务延迟高且无法保证Exactly Once，推荐数据常重复或丢失；③资源调度冲突：实时任务抢占离线资源，频繁导致任务积压。针对这些问题，我选用Flink作为实时计算引擎（支持毫秒级延迟与Exactly Once语义），用Kafka做统一消息队列承接增量数据；通过Canal同步MySQL业务库的变更日志到Kafka，再由Flink解析并关联用户行为数据；设计“实时ODS-DWD-DWS-ADS”四层架构，O层存原始事件，DWD做维度关联（用户-视频-主播），DWS聚合实时指标（如用户10分钟内互动频次），ADS输出推荐特征与运营报表。
• 核心行动与创新：主导完成架构设计与《实时数据处理规范》输出，对齐数据产品、算法团队需求；优化Flink资源配置——采用YARN队列隔离实时与离线资源，结合动态扩缩容策略（根据Kafka Partition数自动调整TaskManager数量），将任务延迟从5分钟压至10秒内；针对“用户行为计数”类任务，提出“随机前缀+两阶段聚合”方案（先局部聚合再全局汇总），解决数据倾斜问题，任务运行时间缩短40%；协调算法团队校准推荐特征口径，确保实时特征与离线模型兼容。
• 项目成果：平台支撑了公司3条核心业务的实时推荐与运营，实时推荐点击率从1.8%提升至2.3%（+28%），活动转化率提升15%；实时数仓复用率达80%，节省后续项目底层开发成本超200万元；我主导的“实时数据一致性方案”被纳入公司大数据技术标准，成为后续实时项目的参考模板。

星途互娱会员生命周期管理数据平台建设

• 项目背景：公司会员体系存在“数据分散、标签模糊、运营粗放”痛点——会员数据散落在注册、消费、互动系统，字段不统一；运营无法精准识别“潜在/流失会员”，营销活动ROI仅1.2（行业平均1.5）。我的目标是整合全链路数据，搭建生命周期数据平台，支撑精准分层运营，提升会员价值。
• 关键难题与技术方案：①ID-Mapping：各系统会员标识不统一（注册用手机号、消费用用户ID），需打通跨系统数据；②模型落地：传统RFM模型未结合互动行为（评论、分享），生命周期划分不准确；③实时性：运营需要实时查看标签变化，原有Spark Daily批量计算无法满足。解决方案：用Spark做批量处理，通过Redis-based ID-Mapping工具统一会员ID；重新设计标签体系——包含基础属性、价值属性、行为属性、生命周期阶段（潜在/成长/成熟/流失）；基于改进RFM模型（加入互动行为权重）结合K-means聚类，实现生命周期自动化划分。
• 核心行动与决策：主导梳理12个业务系统的会员数据字典，完成ID-Mapping，会员ID统一率从60%提升至95%；开发会员标签计算任务，每天凌晨更新“高价值成长会员”“即将流失会员”等20+核心标签；与运营团队合作，通过A/B测试定义生命周期阈值（如成熟阶段需“近30天消费≥2次+互动≥5次”），并搭建标签可视化界面支持实时查询。
• 项目成果：平台上线后，会员标签覆盖率从60%提升至95%，运营挽回流失会员的ROI从1.0提升至1.4（+40%），“高价值成长会员”ARPU值同比增长25%；公司会员数量从800万增长至1080万（+35%），超额完成年度目标；我主导的“会员生命周期数据模型”获公司技术创新奖，成为会员运营核心工具。

• 大二观察到毕业生离校时大量教材被废弃，而新生购书支出占生活费12%，便发起校园书籍教材循环计划。为解决传统二手书交易效率低的问题，我们开发微信小程序实现扫码估价、预约取件功能，并说服快递中心以成本价承接物流。
• 通过建立翻新消毒标准打消卫生顾虑，项目年流通教材1.2万册，累计为同学节省书费38万元。这段经历让我从商业小白成长为能设计闭环模式的实践者，项目不仅获省级创业金奖，更被纳入学校官方服务体系延续至今。