On the study of crowdsourced labelled data and annotators: beyond noisy labels.

Abstract

La presente tesis incluye 3 contribuciones al área llamada "learning from crowds", que estudia los métodos de aprendizaje basados en datos etiquetados por medio del "crowdsourcing". Estas etiquetas se caracterizan por tener una incertidumbre asociada debido a que la fiabilidad de las personas anotadoras no está garantizada. En primer lugar, se propone un nuevo método de "label aggregation", llamado"domain aware voting", una extensión del popular y simple método "majority voting" que tiene en cuenta la variable descriptiva, obteniendo resultados mejores especialmente cuando hay una mayor escasez de etiquetas. La segunda contribución consiste en la propuesta de un nuevo marco de etiquetado, "candidate labelling", que permite a las personas anotadoras expresar sus dudas acerca de las etiquetas que otorgan,pudiendo otorgar varias etiquetas a cada instancia. Se proponen 2 métodos de "label aggregation"asociados a este tipo de etiquetado, y se muestra, mediante un marco experimental que aúna el etiquetado tradicional y el propuesto, que el "candidate labelling" consigue extraer más información con un mismo número de personas anotadoras. Por último, se desarrolla un modelo de persona anotadora y 2 métodos de aprendizaje adaptados a este nuevo etiquetado, basados en el algoritmo EM, que obtienen mejores resultados en general que los métodos análogos en el marco de etiquetado tradicional.