Carryer Tech / Juana Nita Cervio
¿Quién evalúa a quienes evalúan la IA? Estamos desarrollando una evaluación amplia entre pares para identificar ese criterio dentro de cada comunidad de expertos.
Una propuesta para equipos de IA, plataformas de evaluación y comunidades de especialistas.
Especialistas de una misma disciplina participan en múltiples rondas. Cada persona propone su enfoque, criterios y argumentos, y evalúa las propuestas de otros. La evaluación se construye a partir de muchas interacciones y de las contribuciones de una comunidad amplia.
La propuesta busca observar cómo justifican una evaluación, detectan errores y responden a desacuerdos. Muchas evaluaciones cruzadas permiten investigar quién demuestra mejor criterio, sin confundir consenso o popularidad con calidad.
El objetivo es identificar expertos capaces de evaluar a las personas que luego evaluarán IA. Esta evaluación humana es el servicio central de la propuesta, y el criterio sobre la experiencia de cada participante se construye dentro de su comunidad de pares.
El método está en desarrollo. Los pilotos deberán contrastar consistencia, sesgos, conflictos de interés y resistencia a la colusión, con revisión y apelación. Los resultados de esos pilotos permitirán determinar qué conclusiones puede sostener el método y cuáles requieren más evidencia.
