¿Qué es RLHF y por qué fue el cambio técnico que hizo viable ChatGPT?
Reinforcement Learning from Human Feedback: la técnica que convierte un LLM base en un asistente útil, honesto y seguro mediante feedback humano y aprendizaje por refuerzo.
Actualizado mayo 2026
RLHF: alinear el LLM con preferencias humanas mediante feedback y RL.
RLHF (Reinforcement Learning from Human Feedback) es la técnica que permitió convertir LLMs base (entrenados para predecir la siguiente palabra sobre internet) en asistentes útiles, honestos y razonablemente seguros. Es el ingrediente técnico que hizo viable ChatGPT (Anthropic había publicado trabajo similar; OpenAI lo industrializó en 2022).
El problema que resuelve: un LLM base es bueno completando texto pero no necesariamente útil. Le preguntas "¿cuál es la capital de Francia?" y puede responder "es una pregunta interesante" o continuar el texto como si fuera un examen. RLHF lo transforma en un sistema que entiende intenciones, sigue instrucciones, rechaza peticiones inseguras y genera respuestas alineadas con preferencias humanas.
El pipeline clásico tiene tres fases: (1) SFT (Supervised Fine-Tuning): se fine-tunea el modelo base con miles de pares (prompt, respuesta ideal escrita por humanos). (2) RM (Reward Model): humanos comparan pares de respuestas (A vs B) y se entrena un modelo "juez" que predice qué respuesta preferiría un humano. (3) RL (Reinforcement Learning, típicamente PPO): se optimiza el LLM para maximizar la recompensa del modelo juez, sin alejarse mucho del SFT.
En 2024-2026 han aparecido alternativas más simples: DPO (Direct Preference Optimization) prescinde de RL y entrena directamente sobre pares de preferencias; KTO (Kahneman-Tversky Optimization) acepta señales binarias; RLAIF (RL from AI Feedback) usa otro LLM como juez en lugar de humanos. Empresas como Anthropic combinan RLHF con Constitutional AI (CAI) para alinear con principios escritos. La disciplina sigue evolucionando rápido.
Las tres fases del RLHF tradicional
Lo que hacen empresas como OpenAI, Anthropic y Meta para alinear sus modelos.
Pretrain (no es parte de RLHF)
Modelo base entrenado en corpus masivo (trillones de tokens) para predecir siguiente palabra. Aprende lenguaje, conocimiento del mundo, código, razonamiento. No es asistente todavía. Esfuerzo: meses de cómputo.
Supervised Fine-Tuning (SFT)
Se fine-tunea el modelo con miles de pares (prompt, respuesta ideal) escritos por humanos. El modelo aprende formato asistente y estilo de respuesta. Salida: un modelo SFT que ya responde como asistente pero no necesariamente bien.
Reward Model (RM)
Humanos comparan respuestas del SFT por pares: para el mismo prompt, ¿prefieres A o B? Con decenas de miles de comparaciones se entrena un modelo "juez" (reward model) que predice qué respuesta preferiría un humano.
Reinforcement Learning (PPO)
Se optimiza el SFT con PPO (Proximal Policy Optimization) para maximizar la recompensa del modelo juez. KL penalty contra SFT evita que el modelo se aleje demasiado y "hackee" el juez. Salida: modelo alineado con preferencias humanas.
Iteración continua
En producción se recoge feedback continuo (thumbs up/down, reescrituras, reportes). Cada iteración refina el reward model y el modelo final. Anthropic, OpenAI, Google iteran constantemente sobre sus modelos en producción.
Otras técnicas de alineamiento que conviven en 2026
El campo ha evolucionado mucho desde RLHF clásico.
DPO (Direct Preference Optimization)
Prescinde del reward model y del RL. Optimiza directamente sobre pares de preferencias con función de pérdida cerrada. Más simple, estable y barato que RLHF. Estándar de facto 2024+ para fine-tuning open-source con preferencias.
KTO (Kahneman-Tversky Optimization)
Variante de DPO que acepta señales binarias (bueno/malo) en lugar de comparaciones por pares. Útil cuando es más fácil recoger "thumbs up/down" que comparaciones explícitas.
RLAIF (RL from AI Feedback)
Usa otro LLM como juez en lugar de humanos. Anthropic Claude usa CAI + RLAIF. Escala donde humanos no llegan. Riesgo: amplificar sesgos del juez. Validar contra muestra humana periódicamente.
Constitutional AI (CAI)
Anthropic. El modelo critica y reescribe sus propias respuestas según una "constitución" de principios escritos (ej: ser útil, honesto, evitar daño). Luego se usa ese dataset para SFT y RLAIF. Permite alineamiento más transparente y editable.
IPO, sIPO, ORPO, GRPO
Variantes recientes que mejoran DPO en estabilidad o eficiencia. GRPO (Group Relative Policy Optimization) usado por DeepSeek-R1 para reasoning. El campo se mueve mes a mes.
Inference-time alignment
Técnicas que no modifican los pesos: best-of-N sampling con juez, classifier-free guidance, system prompts robustos. Más simples y rápidas, menos potentes que RLHF/DPO bien hechos.
Cuándo una pyme debería plantearse RLHF/DPO
En la mayoría de casos NO. Otras alternativas son más eficientes.
La mayoría de pymes NO necesitan RLHF
Para 95% de casos empresariales (asistentes, RAG, automatización), los modelos comerciales ya alineados (Claude, GPT, Gemini) cubren con prompt engineering + RAG. RLHF es inversión muy alta con retorno limitado.
Considerar DPO si modelo open-source crítico
Si tu negocio depende de un modelo open-source self-hosted (Llama, Mistral, Qwen) y necesitas comportamiento muy específico no lograble con prompt: DPO sobre un dataset propio puede tener sentido. Coste: 5-30k€ + experiencia ML.
Empresas con datos propios masivos y caso vertical
Sectores muy específicos (legal especializado, médico, fintech con vocabulario muy propio) donde modelos generales fallan sistemáticamente y hay miles de ejemplos curados internos. Casos raros, pero existen.
Privacy o latencia exigen self-hosted
Datos extremadamente sensibles (defensa, sanidad pública gran escala) o latencia sub-100ms imposible con API. Entonces self-host + DPO empieza a justificarse.
Riesgo: alucinaciones empeoran si se hace mal
RLHF/DPO mal hechos pueden empeorar el modelo en factualidad, agravar sesgos o introducir comportamientos extraños (reward hacking). Sin equipo experimentado, mejor no.
RLHF en el ecosistema de IA empresarial.
RLHF es una técnica de fine-tuning avanzada. Va más allá del SFT clásico: en lugar de aprender de pares (input, output ideal), aprende de preferencias humanas. Es lo que diferencia un asistente bien alineado de uno que solo completa texto.
Para pymes, antes de RLHF conviene agotar: (1) prompt engineering, (2) RAG con buenos embeddings y reranking, (3) SFT tradicional con dataset curado, (4) DPO si hace falta. RLHF puro casi nunca es la primera opción.
Cuando se aplica, exige disciplina LLMOps rigurosa: dataset de evaluación, métricas reproducibles, control de regresiones. Sin LLMOps, RLHF empeora el modelo más que mejora.
En Magnetia desaconsejamos RLHF prematuro. Para 95% de pymes españolas, prompt engineering + RAG + LLMOps llega mucho más lejos a menor coste. Solo recomendamos DPO/RLHF a empresas con caso vertical claro y equipo ML preparado. Combinable con automatización IA.
Dudas que nos hacéis llegar
¿Te están vendiendo RLHF sin entender si lo necesitas?
Evaluamos honestamente si tu caso justifica fine-tuning, DPO o RLHF, o si con prompt engineering + RAG + LLMOps llegas mucho más lejos. Sin venderte cómputo innecesario.