Senior AI Trust Engineer

Paradigma Digital

. Diseñar y operar mecanismos de evaluación, observabilidad y gobierno de sistemas de IA .

Posted 11/5/2026full-timeRemote • SpainSeniorWebsite

Core Competencies

Role fit

Core Competencies

Use this summary to align your resume positioning with the role.

Demonstrates expertise in AI Quality Engineering, focusing on the design and operation of evaluation mechanisms, observability, and governance of AI systems. Proficient in integrating automated evaluations into CI/CD pipelines and utilizing tools like Langfuse and Grafana for monitoring and analysis.

Highest-signal resume keywords

AI Quality EngineeringPython ProgrammingLangfuseGrafanaRagas

ATS Keywords

Tailor your resume

Applicant Tracking System Keywords

Tip: use these terms in your resume and cover letter to boost ATS matches.

Hard Skills

AI Quality EngineeringPython ProgrammingRagasDeepEvalLangfuseCI/CD IntegrationLLM Evaluation MetricsObservabilityQuality GatesData Analysis

Soft Skills

Analytical ThinkingCommunicationProblem-Solving

Tools & Technologies

GrafanaLangfuseOpenTelemetry

Industry Keywords

AI SystemsGenerative AIObservabilityMLOpsData Engineering

Tech Stack

Tools & technologies

GrafanaPython

About the role

Key responsibilities & impact

Diseñar y operar mecanismos de evaluación, observabilidad y gobierno de sistemas de IA
Aportar evidencias objetivas de cumplimiento de requisitos funcionales, técnicos y de negocio
Trabajar durante todo el ciclo de vida de las soluciones, desde el diseño hasta producción
Colaborar con equipos de Software Builders, Agentic Platform Engineers y AI Architects
Instrumentar aplicaciones de IA utilizando Langfuse u otras herramientas equivalentes
Capturar y analizar trazas completas de prompts, respuestas, llamadas a herramientas, pasos intermedios, latencia, tokens y costes
Investigar comportamientos y detectar degradaciones o anomalías en producción
Construir dashboards y alertas con Grafana
Trabajar con estándares como OpenTelemetry aplicados a sistemas de IA
Diseñar y ejecutar evaluaciones con Ragas y DeepEval
Evaluar faithfulness, relevancia, precisión, exhaustividad del contexto, alucinaciones y uso correcto de herramientas
Diseñar benchmarks y datasets de referencia para comparar versiones de forma reproducible
Aplicar Human-in-the-Loop y LLM-as-a-Judge
Evaluar robustez y seguridad frente a sesgos, prompt injection y jailbreaks
Definir métricas objetivas y criterios de aceptación por caso de uso
Integrar evaluaciones de IA en pipelines CI/CD
Construir quality gates para bloquear cambios que no cumplan umbrales de calidad
Automatizar la evaluación de cambios en modelos, prompts, configuraciones y agentes
Desarrollar herramientas y evaluaciones en Python
Construir y mantener un motor de evaluación basado en datasets versionados
Detectar regresiones y comparar reproduciblemente el comportamiento entre versiones
Garantizar la trazabilidad de respuestas, incluyendo contexto, modelo, versión del prompt y pasos intermedios
Definir y analizar KPIs de calidad e identificar mejoras
Comunicar el estado de calidad a perfiles técnicos y de negocio

Requirements

What you’ll need

+4 años de experiencia profesional en AI Quality Engineering, Software Engineering, MLOps, observabilidad o ingeniería de datos/IA
Experiencia práctica en IA generativa llevada a producción
Experiencia real con Ragas y/o DeepEval
Experiencia con Langfuse u otras plataformas de observabilidad de LLMs/agentes
Experiencia integrando evaluaciones automatizadas como quality gates en CI/CD
Conocimientos sólidos de Python
Experiencia trabajando con LLMs, RAG y arquitecturas agénticas
Conocimientos de métricas y metodologías de evaluación de LLMs
Experiencia con Grafana
OpenTelemetry valorable
Conocimientos sobre seguridad y robustez de sistemas de IA
Capacidad para interpretar resultados y convertirlos en acciones de mejora
No se busca un perfil de QA tradicional centrado en testing funcional

Benefits

Comp & perks

Posibilidad de trabajar en un modelo de trabajo remoto o híbrido
Flexibilidad para organizar el trabajo y favorecer el equilibrio entre vida personal y profesional
Buddy de acompañamiento desde el primer día
Plan anual de formación
Certificaciones oficiales
Espacios de aprendizaje y desarrollo profesional
Seguro médico 100% subvencionado
Retribución flexible a través de Edenred
25 días de vacaciones anuales
Otros beneficios orientados al bienestar
Entorno cercano y colaborativo
Compromiso con la igualdad salarial y de oportunidades