Metodología del informe de procedencia

El panel

Los participantes son adultos en Estados Unidos que se unieron a Populiva y aceptaron el Acuerdo del participante. Los estudios solo se muestran a participantes con nivel de verificación L2 o superior.

L0 significa que el participante confirmó su correo. L1 significa que pasaron nuestros controles de dispositivo y red: huella del dispositivo, detección de dispositivos duplicados y controles de VPN, proxy y redes de centros de datos. L2 significa que además conectó una cuenta de PayPal verificada por PayPal, con una cuenta de PayPal por participante.

Reclutamiento

Los participantes elegibles ven un estudio en su lista de estudios y reservan un lugar por orden de llegada. Los estudios no se envían por correo a todo el panel. Cada participante puede hacer cada estudio una vez y como máximo 20 estudios en una semana móvil, lo que reparte los estudios en el panel.

Durante la primera hora después del lanzamiento, un estudio solo se muestra a participantes de confianza, pero solo cuando hay suficientes participantes de confianza elegibles para ocupar sus lugares libres. Si no, todos los elegibles lo ven a la vez.

Selección y cuotas

La selección usa el perfil que los participantes mantienen actualizado, como edad, estado, sexo, educación y partido político. Un informe enumera los criterios que usó el estudio. Los estudios según el censo reparten sus lugares por edad, sexo y raza u origen étnico en proporción a los adultos de EE. UU., con asignación por restos mayores; el informe muestra cuántos lugares de cuota se ocuparon.

Los laboratorios también pueden limitar un estudio a sus propios grupos de participantes guardados, o excluirlos, y exigir un mínimo de estudios aprobados o una tasa mínima de aprobación (aprobados ÷ revisados; quienes aún no tienen envíos revisados cumplen la tasa). A los participantes excluidos en la selección dentro de una encuesta se les paga un monto de al menos $0.25 y $10 por hora del tiempo de selección; se cuentan por separado y nunca como rechazos.

Controles de calidad

Cada envío se registra con el nivel de verificación y el nivel de confianza del participante en ese momento, y con alertas en lenguaje claro: terminó en menos de un tercio del tiempo mediano, un dispositivo compartido con otra cuenta, una red de alojamiento, nube o VPN, sin control de dispositivo, una puntuación de confianza baja o un participante nuevo. Las alertas orientan la revisión de los investigadores; nunca rechazan a nadie por sí solas.

Los niveles de confianza provienen de una puntuación basada en el nivel de verificación, los estudios aprobados y rechazados, los controles de atención y coherencia, y las señales de dispositivo y red. El tiempo en la tarea se mide desde que se reserva un lugar hasta que se envía el código de finalización.

Señales de la encuesta

Cuando un investigador agrega nuestro fragmento (q.js) a las páginas de su encuesta, este cuenta el tiempo en cada página y el tiempo visible, cuántas veces el participante salió de la pestaña, pegó o copió, qué tan rápido escribió, la actividad del puntero y si el navegador informa que lo controla un software de automatización. Nunca registra respuestas, pulsaciones de teclas ni capturas de pantalla.

Una instrucción oculta opcional es invisible para las personas y los lectores de pantalla la omiten, pero los agentes automatizados la leen; el fragmento solo informa si su palabra apareció en una respuesta. Las alertas basadas en estas señales (automatización, la instrucción oculta, 3 o más pegados, escribir más de 1,200 caracteres por minuto o salir de la pestaña 10 o más veces) orientan la revisión; nunca rechazan a nadie por sí solas.

Conjuntos de datos de tareas

En las tareas de evaluación dentro de la plataforma, el informe añade una sección de tarea: el tipo de tarea, para cuántos evaluadores se planificó cada elemento, cuántos elementos alcanzaron ese número y cuántas evaluaciones y omisiones hubo. Nunca incluye el contenido de los elementos, el nombre del conjunto de datos ni los identificadores de los evaluadores.

El acuerdo es el alfa de Krippendorff, nominal para elecciones y etiquetas e intervalar para escalas de puntuación, calculado sobre evaluaciones que no son de referencia ni omitidas, de envíos no rechazados. La precisión de referencia es la proporción de elementos de referencia respondidos correctamente (las puntuaciones a un punto de distancia cuentan como correctas). La edad por tramos y el sexo de los evaluadores se cuentan en conjunto; cualquier grupo de menos de 5 evaluadores se combina para que nadie pueda ser identificado.

Paneles de expertos

Los estudios limitados a un panel de expertos solo se muestran a participantes con identidad verificada (L3) y membresía vigente en el panel, y pagan al menos el mínimo del panel: 40 $ por hora para profesionales clínicos y con licencia, 25 $ para ingenieros de software. Las membresías duran un año.

Los profesionales clínicos se comprueban en el registro público NPI de NPPES: el NPI debe pertenecer a un proveedor individual activo con una taxonomía principal clínica, y el nombre debe coincidir con el que indicó el participante. El equipo de Populiva comprueba a los profesionales con licencia en el buscador público de su junta estatal. Los ingenieros de software se califican aprobando una tarea evaluada. El informe indica el panel, cómo se verifica y las especialidades de los miembros en conjunto, combinando los grupos de menos de 5.

Revisión, exclusiones y reembolsos

Los investigadores aprueban o rechazan cada envío indicando un motivo; los envíos no revisados dentro del período de revisión del estudio se aprueban automáticamente. Cuando confirmamos que una cuenta era fraudulenta, sus envíos se reembolsan al laboratorio, y las versiones posteriores del informe los cuentan.

Versiones y firmas

Los investigadores pueden emitir un informe en cualquier momento después del lanzamiento. Cada emisión es una nueva versión numerada con su fecha de emisión; las versiones emitidas no se pueden cambiar ni borrar.

El informe se guarda como JSON canónico (claves ordenadas, sin espacios adicionales). Su hash SHA-256 se registra al emitirlo, y los bytes exactos se firman con la clave Ed25519 de Populiva, publicada en populiva.com/provenance/key. El PDF se genera a partir del JSON.