Populiva para IA
Datos de evaluación humana que puedes demostrar.
Haz tareas de preferencia, puntuación, reescritura y etiquetado con evaluadores verificados de EE. UU. y bien pagados, y recibe un informe de procedencia firmado con cada conjunto de datos.
Tareas de evaluación integradas
Sube los elementos en JSONL o CSV y elige un tipo de tarea. Los evaluadores los trabajan de uno en uno dentro de Populiva, en inglés o español, con atajos de teclado y una interfaz accesible.
- Preferencia por pares A o B, con empates y justificación opcionales. El lado en que aparece cada respuesta se elige al azar.
- Puntuación con rúbrica Puntúa cada respuesta en hasta 10 criterios con una escala de 5 o 7 puntos.
- Reescritura Los evaluadores editan una respuesta para mejorarla, como datos para ajuste fino supervisado.
- Clasificación y etiquetado Una etiqueta o varias, de tu propia lista.
Explica a un niño de diez años por qué el cielo se ve azul.
Respuesta 1
La luz del sol tiene todos los colores. La luz azul rebota por el aire más que las demás, así que el azul te llega de todo el cielo.
Respuesta 2
La dispersión de Rayleigh es inversamente proporcional a la cuarta potencia de la longitud de onda, lo que…
1 Respuesta 1 2 Respuesta 2 3 Más o menos igual
- α de Krippendorff
- 0.71
- precisión de referencia
- 94%
- evaluadores por elemento
- 3 / 3
Cada elemento evaluado como lo planeaste
Elige cuántos evaluadores ven cada elemento. Los elementos con menos evaluaciones salen primero, nadie ve un elemento dos veces y cada sesión incluye un elemento de referencia con respuesta conocida.
Convierte una tarea en una prueba de calificación: los evaluadores responden tus elementos de referencia y quienes aprueban se unen a un grupo al que puedes limitar tareas posteriores.
Evidencia en cada evaluación
Cada evaluación incluye el tiempo dedicado al elemento, las veces que se pegó texto o se cambió de pestaña (solo recuentos) y el nivel de verificación del evaluador. Las sesiones se marcan si fallan elementos de referencia, responden con una rapidez inverosímil o dan siempre la misma respuesta. Las marcas orientan tu revisión; nunca rechazan a nadie por sí solas.
Tu página de resultados muestra la cobertura, el alfa de Krippendorff de cada dimensión y la precisión en elementos de referencia. Descárgalo todo en JSONL o CSV, listo para flujos de modelos de recompensa, DPO o ajuste fino.
Paneles de expertos verificados
- Profesionales clínicos de EE. UU. NPI comprobado en el registro público NPPES: un proveedor individual activo con especialidad clínica y nombre coincidente. Al menos $40 por hora.
- Profesionales con licencia Abogados, contadores, ingenieros y otros profesionales con licencia estatal, comprobados por nuestro equipo en el buscador público de la junta. Al menos $40 por hora.
- Ingenieros de software Calificados al aprobar una tarea evaluada. Al menos $25 por hora.
- Identidad verificada Todo estudio de expertos requiere además una verificación de identidad con documento y selfie, y las membresías se vuelven a comprobar cada año.
Un informe firmado para cada conjunto de datos
Emite un informe de procedencia cuando quieras: cómo se reclutó y seleccionó a los evaluadores, niveles de verificación, paneles de expertos, cobertura, acuerdo, precisión de referencia, exclusiones, y edad y sexo de los evaluadores en conjunto, combinando los grupos pequeños. Nunca incluye tus elementos, el nombre de tu conjunto de datos ni la identidad de los evaluadores.
Cada informe es JSON canónico firmado con nuestra clave Ed25519 publicada, así que cualquiera puede comprobar que no ha cambiado.
- participantes
- 300
- verificados por pago (L2+)
- 100%
- verificados con ID (L3)
- 22%
- controles de dispositivo y red superados
- 98.7%
- señalados tras revisión
- 4 → reembolsados
- selección
- según el censo, EE. UU.
- metodología
- 2026.5
Una API y un servidor MCP para tus flujos y agentes
Crea conjuntos de datos, lanza tareas, consulta evaluaciones por páginas y obtén estadísticas de acuerdo con la API, y recibe webhooks firmados cuando se completan elementos y tareas o se marca a un evaluador.
Los agentes de IA pueden hacer lo mismo con nuestro servidor MCP. Cada token tiene límites de gasto diarios y por llamada que solo las personas de tu laboratorio pueden cambiar, y lanzar requiere una clave de idempotencia, para que una llamada repetida nunca gaste dos veces.
Justo con quienes hacen el trabajo
Los evaluadores aceptan el trabajo de IA por separado y ven un aviso en cada tarea de IA. Las tareas de IA pagan al menos $15 por hora. El contenido sensible solo llega a quienes aceptaron cada categoría que contiene, con un aviso previo, y cualquier elemento se puede omitir sin penalización.
Tus datos siguen siendo tuyos
Los elementos y las evaluaciones están cifrados, solo se usan para tu organización y se eliminan 90 días después del cierre de la tarea. Los evaluadores solo ven los elementos dentro de tu tarea. Los participantes aparecen solo como identificadores seudónimos.
Datos de evaluación humana que puedes demostrar.