TRL

TRL es un marco de posentrenamiento para modelos de base. Incluye métodos como SFT, GRPO y DPO. Cada método tiene un entrenador dedicado que se basa en la clase Trainer y escala desde una sola GPU hasta clústeres multinodo.

from datasets import load_dataset
from trl import GRPOTrainer
from trl.rewards import accuracy_reward

dataset = load_dataset("trl-lib/DeepMath-103K", split="train")

trainer = GRPOTrainer(
    model="Qwen/Qwen2-0.5B-Instruct",
    reward_funcs=accuracy_reward,
    train_dataset=dataset,
)
trainer.train()

Integración con Transformers

TRL extiende las API de Transformers y añade ajustes específicos de cada método.

• Los entrenadores de TRL se basan en Trainer. Los entrenadores específicos de un método, como GRPOTrainer, añaden la generación, la puntuación de recompensa y el cálculo de la pérdida. Las clases de configuración extienden TrainingArguments con campos específicos del método.

• La carga del modelo utiliza AutoConfig.from_pretrained() y luego instancia la clase del modelo a partir de la configuración mediante from_pretrained de esa clase.

Recursos

• Documentación de TRL
• Charla Fine Tuning with TRL