OPEN TOKEN MODEL MIGRATION LAB
Antes de cambiar de modelo, probalo con tu producción.
Compará tu modelo actual con un candidato usando casos reales, la misma rúbrica y el costo de cada alternativa. Tomá la decisión con evidencia antes de mover tráfico de producción.
- 01Capturá
- 02Dataset
- 03Criterios
- 04Candidato
- 05Decisión
El mejor modelo del benchmark puede ser peor para tu producto.
Los benchmarks públicos no conocen tus prompts, tus usuarios, tus formatos de salida ni tus casos borde. Una migración debería responder tres preguntas. Open Token compara ambas alternativas sobre los mismos casos y con los mismos criterios.
¿Mantiene la calidad?
¿Dónde aparecen regresiones?
¿Cuánto cambia el costo real del workload?
Convertí producción real en tu benchmark privado.
Seleccioná casos normales, fallas y bordes de las trazas capturadas para construir una muestra que represente cómo se usa realmente tu producto.
Una migración de modelo necesita evidencia, no una demo.
El candidato pasa por el mismo gateway que ya mide tu producción. La comparación se hace sobre tu workload, no sobre ejemplos inventados para una demo.
Capturá
Capturá casos reales
Seleccioná una muestra representativa de producción, incluyendo casos normales, errores y bordes.
TRAZAS DE PRODUCCIÓN
Muestra baseErrores, loops y outliersDATOS FICTICIOS DE EJEMPLO
Dataset
Construí el dataset
Convertí esas trazas en un conjunto reproducible de casos para la evaluación.
DATASET DEMO · 240 CASOS
caso_0142normalcaso_0187fallacaso_0203bordecaso_0219normalDATOS FICTICIOS DE EJEMPLO
Criterios
Definí qué significa “mejor”
Combiná reglas deterministas con criterios evaluados por un juez.
DETERMINISTAS + RÚBRICA DEL JUEZV3
JSON · schemacheckIdioma · longitudcheckReglas configuradascheckRúbrica versionadajuez · umbralDATOS FICTICIOS DE EJEMPLO
Candidato
Corré el candidato
Open Token repite la llamada principal al modelo contra un candidato soportado por la configuración del gateway.
LLAMADA PRINCIPAL
Mismos casosMismos criteriosOtro modeloDATOS FICTICIOS DE EJEMPLO
Decisión
Tomá la decisión
Compará calidad y costo caso por caso, junto con el tamaño de muestra, los errores y la incertidumbre de la diferencia.
Decisión
Calidad y costoTamaño de muestraErrores e incertidumbreDATOS FICTICIOS DE EJEMPLO
¿La mejora justifica la migración?
No te damos un único score. Ves qué modelo gana caso por caso, cuánto cambia el costo y cuánta confianza hay en la diferencia observada.
Modelo actual
US$0,0124
Candidato
US$0,0087Cambio de costo −29,8 %
Reglas duras donde hay reglas. Juez donde hace falta criterio.
Deterministas
JSON, schema, formato, idioma, longitud y reglas que configurás.
Juez con rúbrica
Criterios versionados para evaluar atributos donde no alcanza un check determinista.
Calibración
Contrastá el score del juez con feedback numérico o booleano.
Controlá cobertura y gasto.
La cantidad de trazas que incluís y la cantidad de casos evaluados por un juez son controles separados. Eso permite ampliar cobertura sin que el costo de evaluación crezca de la misma forma. Errores y casos relevantes pueden entrar en la muestra a propósito.
Sampling de trazas
Sampling del juez
- Errores
- Loops
- Outliers
El contenido sigue siendo opt-in.
La captura de prompts y respuestas está apagada por defecto. Cuando la habilitás para un proyecto, se aplican las políticas configuradas de redacción, retención y acceso antes de usar esas trazas en una evaluación. Cuando las trazas se guardan, la redacción quita CUIT, CUIL y CBU válidos. Esa redacción es al almacenar, no el evaluador de PII.
Opt-in por proyecto
Redacción antes de guardar
Retención configurable
Acceso auditado
DATOS FICTICIOS DE EJEMPLO
Diseñemos el piloto antes de tocar producción.
A medida · Hablá con nosotros
Una evaluación de migración se acota a cuatro cosas: el workload, el candidato, los criterios de calidad y el presupuesto de la corrida. Almacenamiento, llamadas al candidato y llamadas al juez quedan separados.
INCLUYE
- Diseño de muestra
- Rúbrica y checks
- Corrida actual/candidato
- Reporte de calidad y costo
- Revisión de resultados
Qué cubre el piloto
¿Qué se vuelve a ejecutar?
La evaluación se centra en la llamada principal al modelo del caso seleccionado.
¿Qué se compara?
El resultado del modelo actual y del candidato, con los mismos criterios de evaluación.
¿Esto está disponible como producto autoservicio?
No. Model Migration Lab es un piloto con alcance acordado, con el equipo de Open Token.
¿Qué modelos pueden evaluarse?
Modelos de tus propias conexiones con proveedores (BYOK) que la configuración del gateway ya soporta.
Decidí la migración con evidencia de tu producción.
Contanos qué modelo usás hoy, qué candidato estás considerando y qué tendría que cumplir para que la migración valga la pena.
Model Migration Lab es un piloto con el equipo de Open Token, sobre tus propias trazas y tus modelos BYOK a través del gateway.