Senior Data Platform, Streaming Architect

Caterpillar Inc.

. 负责自动驾驶后台与现场平台实时数据架构设计，构建覆盖数据接入、消息传输、实时计算、在线存储、查询服务和历史归档的数据链路。 .

Posted 11/4/2026full-timeWuxi • ChinaSeniorWebsite

Core Competencies

Role fit

Core Competencies

Use this summary to align your resume positioning with the role.

Expertise in designing and implementing real-time data architectures using technologies such as Kafka, Flink, and ClickHouse, with a strong focus on data consistency, processing efficiency, and system reliability. Proven ability to manage complex data models and collaborate across teams to deliver scalable data solutions in industrial environments.

Highest-signal resume keywords

Kafka ExpertiseFlink ProficiencyReal-Time Data ProcessingDistributed Systems KnowledgeData Architecture Design

ATS Keywords

Tailor your resume

Applicant Tracking System Keywords

Tip: use these terms in your resume and cover letter to boost ATS matches.

Hard Skills

Real-Time Data ProcessingData Architecture DesignDistributed SystemsEvent-Driven ArchitectureData SynchronizationApache FlinkKafkaClickHouseJavaPython

Soft Skills

Cross-Team CollaborationProblem SolvingCapacity Planning

Tools & Technologies

KafkaFlinkClickHousePostgreSQLKubernetesCDCIoT GatewaySchema Registry

Industry Keywords

Real-Time Data SystemsIndustrial IoTData Quality ManagementData GovernanceDigital Twin

Tech Stack

Tools & technologies

ApacheETLIoTJavaKafkaKubernetesPostgresPulsarPythonScalaSparkGo

About the role

Key responsibilities & impact

负责自动驾驶后台与现场平台实时数据架构设计，构建覆盖数据接入、消息传输、实时计算、在线存储、查询服务和历史归档的数据链路。
建设和演进基于 Kafka / Pulsar、Flink、CDC 等技术的流式数据基础设施，满足车辆、任务、告警、生产运营等高频数据的实时处理需求。
设计统一的事件模型、数据契约、主题规划、模式管理和版本兼容机制，降低不同产品和服务之间的数据耦合。
建设实时数据处理能力，包括过滤、转换、关联、窗口计算、流式聚合、状态计算、异常检测和实时指标计算。
设计高吞吐、低延迟的数据处理架构，解决消息积压、背压、重复消费、乱序、延迟、数据丢失和大型消息等生产问题。
建立可靠的数据一致性与交付机制，合理使用幂等、重试、检查点、至少一次或精确一次处理等技术策略。
规划 ClickHouse、时序数据库、OLAP及对象存储等在线和历史数据存储架构，平衡查询性能、数据规模、保存周期和基础设施成本。
建设实时数据服务层，为运营中心、数字孪生、调度与协同系统、现场客户端及Agent应用提供统一的数据访问接口。
建设车辆、设备、任务、告警、生产等核心数据的数据质量、数据血缘、元数据和治理机制，建立统一的数据口径。
支持云、矿区本地及边缘环境的数据同步与复制，处理矿区弱网、断网重连、带宽受限、数据补传和多矿区数据隔离等工业场景。
建立数据平台的可观测性和容量管理体系，对吞吐量、端到端延迟、消费积压、失败率、存储增长及关键数据质量进行持续监控。
与后台平台、数字孪生、连接服务、运营智能、调度算法、人工智能平台以及基础设施团队协作，确定数据接口和责任边界。

Requirements

What you’ll need

计算机科学、软件工程、数据工程、分布式系统、自动化或相关专业本科及以上学历。
8年以上数据平台、流式计算、分布式系统或大型后台平台研发经验，具有生产级实时数据系统的架构和交付经验。
精通 Kafka、Pulsar 或同类分布式消息系统，深入理解分区、副本、消费组、消息顺序、可靠投递和容量规划。
熟练掌握 Apache Flink、Spark Structured Streaming 或同类流处理技术，具备状态管理、窗口计算、检查点、容错、背压和性能优化经验。
熟悉 CDC、实时ETL/ELT、事件驱动架构以及数据同步方案。
熟悉 ClickHouse、时序数据库、PostgreSQL、对象存储或其他大规模分析型数据存储技术。
扎实理解分布式系统基本原理，包括一致性、可用性、幂等、分布式状态、故障恢复和数据复制。
具备 Java、Scala、Python、Go 或类似语言的生产级工程能力。
熟悉 Kubernetes、容器化部署和云原生数据基础设施。
具有大型生产系统性能分析、容量规划、故障定位及稳定性治理能力。
能够从复杂业务场景中抽象数据模型、事件模型、数据契约及服务接口，并推动跨团队落地。
优先考虑：具有自动驾驶、工业物联网、智能矿山、工程机械、机器人或大规模设备数据平台经验。
优先考虑：具有每秒数万至数十万级事件流、数百至数千设备并发或多站点实时平台的实际建设经验。
优先考虑：具有 Kafka + Flink + ClickHouse / Iceberg 等生产架构实践。
优先考虑：熟悉 MQTT、IoT Gateway、设备遥测及云边数据同步。
优先考虑：具有事件溯源、数据回放、实时数字孪生或时间序列数据平台建设经验。
优先考虑：熟悉 Schema Registry、数据契约、数据血缘、数据目录和数据质量管理。
优先考虑：具有多集群、多区域或混合云/本地化部署架构经验。
优先考虑：熟悉工业场景中的弱网、离线运行、数据补传和带宽优化。

Benefits

Comp & perks

Equal Opportunity Employer
Qualified applicants of any age are encouraged to apply
Talent Community opportunity