Ir al contenido

OPEN TOKEN MODEL MIGRATION LAB

Antes de cambiar de modelo, probalo con tu producción.

Compará tu modelo actual con un candidato usando casos reales, la misma rúbrica y el costo de cada alternativa. Tomá la decisión con evidencia antes de mover tráfico de producción.

  1. 01Capturá
  2. 02Dataset
  3. 03Criterios
  4. 04Candidato
  5. 05Decisión

El mejor modelo del benchmark puede ser peor para tu producto.

Los benchmarks públicos no conocen tus prompts, tus usuarios, tus formatos de salida ni tus casos borde. Una migración debería responder tres preguntas. Open Token compara ambas alternativas sobre los mismos casos y con los mismos criterios.

  • ¿Mantiene la calidad?

  • ¿Dónde aparecen regresiones?

  • ¿Cuánto cambia el costo real del workload?

Convertí producción real en tu benchmark privado.

Seleccioná casos normales, fallas y bordes de las trazas capturadas para construir una muestra que represente cómo se usa realmente tu producto.

Una migración de modelo necesita evidencia, no una demo.

El candidato pasa por el mismo gateway que ya mide tu producción. La comparación se hace sobre tu workload, no sobre ejemplos inventados para una demo.

  1. Capturá

    Capturá casos reales

    Seleccioná una muestra representativa de producción, incluyendo casos normales, errores y bordes.

    TRAZAS DE PRODUCCIÓN

    Muestra baseErrores, loops y outliers

    DATOS FICTICIOS DE EJEMPLO

  2. Dataset

    Construí el dataset

    Convertí esas trazas en un conjunto reproducible de casos para la evaluación.

    DATASET DEMO · 240 CASOS

    caso_0142normal
    caso_0187falla
    caso_0203borde
    caso_0219normal

    DATOS FICTICIOS DE EJEMPLO

  3. Criterios

    Definí qué significa “mejor”

    Combiná reglas deterministas con criterios evaluados por un juez.

    DETERMINISTAS + RÚBRICA DEL JUEZV3

    JSON · schemacheck
    Idioma · longitudcheck
    Reglas configuradascheck
    Rúbrica versionadajuez · umbral

    DATOS FICTICIOS DE EJEMPLO

  4. Candidato

    Corré el candidato

    Open Token repite la llamada principal al modelo contra un candidato soportado por la configuración del gateway.

    LLAMADA PRINCIPAL

    Mismos casos
    Mismos criterios
    Otro modelo

    DATOS FICTICIOS DE EJEMPLO

  5. Decisión

    Tomá la decisión

    Compará calidad y costo caso por caso, junto con el tamaño de muestra, los errores y la incertidumbre de la diferencia.

    Decisión

    Calidad y costo
    Tamaño de muestra
    Errores e incertidumbre

    DATOS FICTICIOS DE EJEMPLO

¿La mejora justifica la migración?

No te damos un único score. Ves qué modelo gana caso por caso, cuánto cambia el costo y cuánta confianza hay en la diferencia observada.

Reporte de evaluación · Dataset demo · 240 casosDATOS FICTICIOS DE EJEMPLO

Modelo actual

Score promedio0,81
Costo promedio por caso

US$0,0124

Candidato

Score promedio0,84
Costo promedio por caso

US$0,0087Cambio de costo −29,8 %

Victorias por caso
Modelo actual 61Empates 67Candidato 112
IC 95% de la diferencia de calidad+0,01 a +0,05
Casos omitidos6
Errores2
Tamaño de muestra240

Reglas duras donde hay reglas. Juez donde hace falta criterio.

  • Deterministas

    JSON, schema, formato, idioma, longitud y reglas que configurás.

  • Juez con rúbrica

    Criterios versionados para evaluar atributos donde no alcanza un check determinista.

  • Calibración

    Contrastá el score del juez con feedback numérico o booleano.

Controlá cobertura y gasto.

La cantidad de trazas que incluís y la cantidad de casos evaluados por un juez son controles separados. Eso permite ampliar cobertura sin que el costo de evaluación crezca de la misma forma. Errores y casos relevantes pueden entrar en la muestra a propósito.

Sampling de trazas

MENOS COBERTURAMÁS COBERTURA

Sampling del juez

MENOS COBERTURAMÁS COBERTURA
SIEMPRE SE CONSERVAN
  • Errores
  • Loops
  • Outliers

El contenido sigue siendo opt-in.

La captura de prompts y respuestas está apagada por defecto. Cuando la habilitás para un proyecto, se aplican las políticas configuradas de redacción, retención y acceso antes de usar esas trazas en una evaluación. Cuando las trazas se guardan, la redacción quita CUIT, CUIL y CBU válidos. Esa redacción es al almacenar, no el evaluador de PII.

  • Opt-in por proyecto

  • Redacción antes de guardar

  • Retención configurable

  • Acceso auditado

CUIT 20-•••••••-•[CUIT_REDACTADO]

DATOS FICTICIOS DE EJEMPLO

Diseñemos el piloto antes de tocar producción.

A medida · Hablá con nosotros

Una evaluación de migración se acota a cuatro cosas: el workload, el candidato, los criterios de calidad y el presupuesto de la corrida. Almacenamiento, llamadas al candidato y llamadas al juez quedan separados.

INCLUYE

  • Diseño de muestra
  • Rúbrica y checks
  • Corrida actual/candidato
  • Reporte de calidad y costo
  • Revisión de resultados

Qué cubre el piloto

  • ¿Qué se vuelve a ejecutar?

    La evaluación se centra en la llamada principal al modelo del caso seleccionado.

  • ¿Qué se compara?

    El resultado del modelo actual y del candidato, con los mismos criterios de evaluación.

  • ¿Esto está disponible como producto autoservicio?

    No. Model Migration Lab es un piloto con alcance acordado, con el equipo de Open Token.

  • ¿Qué modelos pueden evaluarse?

    Modelos de tus propias conexiones con proveedores (BYOK) que la configuración del gateway ya soporta.

Decidí la migración con evidencia de tu producción.

Contanos qué modelo usás hoy, qué candidato estás considerando y qué tendría que cumplir para que la migración valga la pena.

Model Migration Lab es un piloto con el equipo de Open Token, sobre tus propias trazas y tus modelos BYOK a través del gateway.