AI Runtime Engineer

Caterpillar Inc.

. 设计和开发统一的模型加载、执行、版本切换、资源管理、健康监控和诊断能力，支撑 Perception、Prediction、VLA 和边缘 LLM 等模型运行。 .

Posted 11/4/2026full-timeWuxi • ChinaSeniorLeadWebsite

Core Competencies

Role fit

Core Competencies

Use this summary to align your resume positioning with the role.

Expertise in AI Runtime and inference optimization, with strong capabilities in C++ and Python programming, model deployment using PyTorch, and integration with various AI accelerators. Proven experience in performance analysis, resource optimization, and collaboration across teams in autonomous driving and embedded systems.

Highest-signal resume keywords

C++ ProgrammingPython ProgrammingPyTorch Model DeploymentAI Runtime OptimizationGPU/NPU/SoC Architecture

ATS Keywords

Tailor your resume

Applicant Tracking System Keywords

Tip: use these terms in your resume and cover letter to boost ATS matches.

Hard Skills

Model OptimizationPerformance AnalysisMemory ManagementConcurrencyInference FrameworksResource OptimizationModel QuantizationReal-Time SystemsEmbedded SystemsDebugging

Soft Skills

Cross-Team CollaborationEnglish Communication

Tools & Technologies

ONNX RuntimeTensorRTTensorRT-LLMNVIDIA OrinJetsonDriveGPU ClusterEdge Server

Industry Keywords

Autonomous DrivingRoboticsIndustrial ControlFunctional SafetyCybersecurityAI Deployment

Tech Stack

Tools & technologies

Cyber SecurityLinuxPythonPyTorchC++

About the role

Key responsibilities & impact

设计和开发统一的模型加载、执行、版本切换、资源管理、健康监控和诊断能力，支撑 Perception、Prediction、VLA 和边缘 LLM 等模型运行。
将 PyTorch 等训练模型转换、优化并集成到目标运行环境，支持 ONNX、TensorRT、TensorRT-LLM 或其他目标推理框架。
优化端到端推理延迟、吞吐量、内存、带宽、功耗和计算资源使用。
适配 GPU、NPU、SoC 和其他 AI Accelerator，支持不同 DCU、现场 Edge Server 和未来机器平台的部署需求。
建设面向 Vision-Language-Action 和本地 LLM 的运行环境，支持多模态输入、Context / State 管理、实时 Action 输出及与传统 Planning / Control 的接口。
建立 Runtime 性能基线、故障诊断、模型健康监控、异常恢复和回滚接口，支持安全受控的渐进式集成与验证。
与 On-board Middleware、OS、Perception、Prediction、Planning、Control、AI Platform、Cybersecurity、Functional Safety 和 Validation 团队协作，将模型稳定集成到量产级自动驾驶系统。
主导关键技术方案和疑难问题解决，并指导相关工程实践和技术评审。

Requirements

What you’ll need

计算机、人工智能、电子工程、自动化、嵌入式系统或相关专业硕士及以上学历。
8 年左右或以上软件系统、机器学习系统、嵌入式平台或高性能计算研发经验，具备 AI Runtime 或推理优化的深入实践。
熟练掌握 C++ 和 Python，具备扎实的系统软件、并发、内存管理、性能分析和调试能力。
熟悉 PyTorch 模型部署，以及 ONNX Runtime、TensorRT、TensorRT-LLM 或同类推理技术中的一种或多种。
熟悉 GPU / NPU / SoC 架构、CUDA 或其他加速技术，并具备模型量化、性能分析和资源优化经验。
理解 Linux、容器、实时或嵌入式系统，以及模型与 Middleware、OS 和车辆软件的集成方式。
能够独立负责跨模型、跨硬件或跨机器平台的关键技术方向，并具备良好的跨团队推动和英文沟通能力。
有自动驾驶、机器人、工业控制或安全关键系统的车端 / 边缘端 AI 部署经验。
有 NVIDIA Orin、Jetson、Drive、GPU Cluster、边缘服务器或其他 AI Accelerator 的工程经验。
有 VLM / VLA、World Model、端到端自动驾驶或本地 LLM 推理和优化经验。
了解 Functional Safety、Cybersecurity、Watchdog、Fallback 或安全受控 AI Runtime 设计。