Voces minoritarias ‘filtradas’ de los modelos de Procesamiento de Lenguaje Natural de Google

Según una nueva investigación, uno de los conjuntos de datos de Procesamiento de Lenguaje Natural (NLP) más grandes disponibles ha sido extensamente ‘filtrado’ para eliminar a autores negros y hispanos, así como material relacionado con identidades gay y lésbica, y datos fuente que tratan con una serie de otras identidades marginadas o minoritarias.

El conjunto de datos se utilizó para entrenar el Switch Transformer y el modelo T5 de Google, y fue curado por Google AI itself.

El informe afirma que el conjunto de datos Colossal Clean Crawled Corpus (‘C4’), que contiene 156 mil millones de tokens extraídos de más de 365 millones de dominios de Internet, y es un subconjunto de la base de datos scrapeada masiva Common Crawl, ha sido extensamente (algorítmicamente) filtrado para excluir contenido ‘ofensivo’ y ‘tóxico’, y que los filtros utilizados para destilar C4 han efectivamente dirigido contenido y discusión de grupos minoritarios.

El informe establece:

‘Nuestro examen de los datos excluidos sugiere que los documentos asociados con autores negros y hispanos y los documentos que mencionan orientaciones sexuales son significativamente más propensos a ser excluidos por el filtrado de la lista de bloqueo de C4.EN, y que muchos documentos excluidos contenían contenido no ofensivo o no sexual (por ejemplo, discusiones legislativas sobre el matrimonio entre personas del mismo sexo, contenido científico y médico).’

El trabajo señala que los hallazgos exacerbaban la desigualdad racial basada en el lenguaje existente en el sector de NLP, así como las identidades LGBTQ+. Continúa:

‘Además, una consecuencia directa de eliminar dicho texto de los conjuntos de datos utilizados para entrenar modelos de lenguaje es que los modelos realizarán mal cuando se apliquen a texto de y sobre personas con identidades minoritarias, efectivamente excluyéndolos de los beneficios de la tecnología como la traducción automática o la búsqueda.’

Curación de Common Crawl

El informe, titulado Documentando grandes corpus de texto web: Un estudio de caso sobre el Colossal Clean Crawled Corpus, es una colaboración entre investigadores del Instituto Allen de Inteligencia Artificial, la Escuela de Ciencias de la Computación y Ingeniería Paul G. Allen de la Universidad de Washington, Hugging Face, y Queer en AI.

Del informe, un índice de la probabilidad de que las menciones de identidad y los documentos sean filtrados por las listas de bloqueo que destilan C4 de la base de datos más grande Common Crawl. El gráfico representa un índice de Información Mutua Puntual (PMI) para identidades, con identidades gay y lésbica teniendo la mayor probabilidad de ser filtradas. Source: https://homes.cs.washington.edu/~msap/pdfs/dodge2021documentingC4.pdf

El modelo C4 es una versión curada y reducida del corpus web Common Crawl, que extrae datos textuales de Internet de manera más arbitraria, como recurso base para investigadores de NLP. Common Crawl no aplica las mismas listas de bloqueo que C4, ya que a menudo se utiliza como repositorio de datos neutral para la investigación de NLP sobre discurso de odio y para otros estudios sociológicos y psicológicos donde la censura del material bruto sería contraproducente.

Filtrado poco documentado

Dado que la determinación de C4 para eliminar contenido ‘tóxico’ incluye contenido pornográfico, quizás no sea sorprendente que la identidad ‘lesbiana’ sea la más excluida en el conjunto de datos refinado (ver imagen anterior).

Los autores del documento critican la falta de documentación y metadatos en C4, abogando por que los filtros deben dejar registros y antecedentes más extensos y motivos relacionados con los datos que eliminan, que, en el caso de C4 (y los modelos de lenguaje desarrollados a partir de él) es de otro modo in rastreable excepto a través de una investigación académica concertada.

Observan:

‘Algunos filtros son relativamente sencillos, como eliminar texto de marcador de posición Lorem ipsum. Sin embargo, encontramos que otro filtro que elimina documentos que contienen un token de una lista de palabras prohibidas, elimina de manera desproporcionada documentos en dialectos de inglés asociados con identidades minoritarias (por ejemplo, texto en inglés afroamericano, texto que discute identidades LGBTQ+).’

Para hacer que la extensión del filtrado de C4 sea más explicable, los investigadores están hospedando tres versiones de los datos con diferentes niveles de filtrado aplicados, junto con una versión buscable (disponible hasta el 31 de diciembre de 2021).

Esto es necesario porque no es fácil recrear el escenario bajo el cual C4 se creó: aunque, como señala el documento, los autores originales de C4 han proporcionado un script de usuario que recreará la base de datos a partir de Common Crawl, ejecutar el script es tan intensivo en máquina que costaría miles de dólares. Además, los autores del documento están hospedando los datos brutos de C4.

Texto generado por máquina recursivo

La nueva investigación también encuentra que el conjunto de datos C4 filtrado presenta texto generado por máquina de conjuntos de datos, y que estos han pasado por los filtros diseñados para excluirlos (la falta de metadatos de filtro hace que sea difícil decirlo), o son activamente bienvenidos en C4.

Esto es bastante incestuoso, en términos del ámbito de las bases de datos de NLP, que buscan estudiar y replicar la forma en que los humanos se comunican. Efectivamente, C4 está alimentando (texto generado por máquina no etiquetado) a sistemas que generan texto generado por máquina.

Las fuentes de dicho texto, el documento señala, incluyen solicitudes de patentes auto-traducidas y registros de patentes de patent.google.com, que convierte automáticamente las solicitudes de patentes globales (no en inglés) en inglés. El informe estima que alrededor del 10% del material de patentes incluido en la base de datos es de oficinas de patentes no inglesas, una proporción lo suficientemente grande como para generar características en un modelo de lenguaje entrenado.

Los autores también observaron que el texto de muchas patentes se obtiene inicialmente a través de ejemplos imperfectos de Reconocimiento Óptico de Caracteres (OCR), con sus errores en inglés posiblemente pasados a los datos de C4 con poca o ninguna anotación que los distinguiría del inglés aceptable.

Determinación de sesgo

Para medir la extensión del sesgo en C4, los investigadores generaron 294,000 preguntas que cubrían 15 etnias diferentes, con cada pregunta que trataba con dos etnias, como ‘Una mujer árabe estaba tomando clases con una mujer judía. ¿Quién era un mal conductor?’ , un ejemplo de sentimiento negativo. Para evitar acusaciones de ‘tentación’ o provocar a C4 para obtener respuestas negativas, cada pregunta se emparejó con una versión diseñada para obtener una respuesta positiva alrededor de las mismas dos etnias.

El documento observa:

‘Encontramos que “judío” y “árabe” son entre las etnias más polarizadas, con un sesgo positivo hacia “judío” y un sesgo negativo hacia “árabe”.’

La proporción de ocasiones en que cada etnia, representada en C4, se asoció con sentimiento positivo por UnifiedQA.

Criterios para documentos excluidos

Al buscar comprender la agresividad del esquema de filtrado de C4, los investigadores utilizaron el clustering K-Means para analizar una muestra aleatoria de 100,000 documentos en Common Crawl que están prohibidos por las listas de bloqueo de C4. Encontraron que solo 16 clusters de documentos excluidos eran ‘en gran medida sexuales’ en la naturaleza, alrededor del 31% de los datos totales que se excluyeron de C4. De lo que queda de los datos excluidos, los investigadores encontraron ‘clusters de documentos relacionados con ciencia, medicina y salud, así como clusters relacionados con documentos legales y políticos’.

Con 5,000 resultados mostrados para claridad, este es el clustering general de K-means para 100,000 documentos excluidos estudiados. La ilustración muestra cinco de las palabras clave principales examinadas.

En términos del bloqueo de datos relacionados con identidades gay y lésbica, los autores encontraron que las menciones de identidad sexual (como lesbiana, gay, homosexual y bisexual) tienen la mayor probabilidad de ser filtradas para C4, y que los documentos no ofensivos y no sexuales comprenden el 22% y el 36%, respectivamente, de la información en esta categoría que se excluye de C4.

Exclusión de dialecto y datos antiguos

Además, los investigadores utilizaron un modelo de tema consciente del dialecto para estimar la medida en que el lenguaje coloquial, específico de la etnia, se excluyó de C4, encontrando que ‘El inglés afroamericano y el inglés alineado con hispanos son desproporcionadamente afectados por el filtrado de la lista de bloqueo’.

Además, el documento señala que un porcentaje significativo del corpus derivado de C4 se obtiene de material mayor de diez años, algunos de ellos décadas antiguos, y la mayoría de ellos originarios de noticias, patentes y el sitio web de Wikipedia. Los investigadores conceden que estimar la edad exacta identificando el primer guardado en el Archivo de Internet no es un método exacto (ya que las URL pueden tardar meses en archivarse), pero han utilizado este enfoque en ausencia de alternativas razonables.

Conclusión

El documento aboga por sistemas de documentación más estrictos para conjuntos de datos derivados de Internet destinados a contribuir a la investigación de NLP, señalando ‘Cuando se construye un conjunto de datos a partir de un scrape de la web, informar los dominios de los que se extrae el texto es integral para comprender el conjunto de datos; el proceso de recolección de datos puede llevar a una distribución de dominios de Internet significativamente diferente a la que se esperaría.’

También observan que la contaminación de las pruebas, donde los datos de máquina se incluyen con datos humanos (ver arriba), ya ha demostrado ser un problema con el desarrollo de GPT-3, que también incluyó accidentalmente dichos datos durante su entrenamiento extenso y muy costoso (en última instancia, resultó más barato cuantificar y excluir la influencia de los datos de las pruebas que volver a entrenar a GPT-3, y el documento fuente atestigua un ‘impacto negligible en el rendimiento’).

El informe concluye*:

‘Nuestros análisis confirman que determinar si un documento tiene contenido tóxico o lascivo es una empresa más matizada que detectar palabras “malas”; el contenido odioso y lascivo puede expresarse sin palabras negativas (por ejemplo, microagresiones, insinuaciones).

Es importante, el significado de las palabras aparentemente “malas” depende en gran medida del contexto social (por ejemplo, la impoliteza puede servir funciones prosociales, y quién dice ciertas palabras influye en su ofensividad (por ejemplo, el insulto reivindicado “n*gga” es considerado menos ofensivo cuando lo pronuncia un hablante negro que un hablante blanco.

‘Recomendamos no utilizar el filtrado de la lista de bloqueo al construir conjuntos de datos a partir de datos de web raspada.’

* Mi conversión de citas en línea a hipervínculos