Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Incidente 13: High-Toxicity Assessed on Text Involving Women and Minority Groups

Descripción: Google's Perspective API, which assigns a toxicity score to online text, seems to award higher toxicity scores to content involving non-white, male, Christian, heterosexual phrases.

Herramientas

Nuevo InformeNuevo InformeNueva RespuestaNueva RespuestaDescubrirDescubrirVer HistorialVer Historial

Entidades

Ver todas las entidades
Presunto: un sistema de IA desarrollado e implementado por Google, perjudicó a Women y Minority Groups.

Estadísticas de incidentes

ID
13
Cantidad de informes
9
Fecha del Incidente
2017-02-27
Editores
Sean McGregor
Applied Taxonomies
CSETv0, GMF, CSETv1, MIT

Clasificaciones de la Taxonomía CSETv1

Detalles de la Taxonomía

Incident Number

The number of the incident in the AI Incident Database.
 

13

Clasificaciones de la Taxonomía GMF

Detalles de la Taxonomía

Known AI Goal Snippets

One or more snippets that justify the classification.
 

(Snippet Text: However, computer scientists and others on the internet have found the system unable to identify a wide swath of hateful comments, while categorizing innocuous word combinations like “hate is bad” and “garbage truck” as overwhelmingly toxic., Related Classifications: Hate Speech Detection)

Clasificaciones de la Taxonomía CSETv0

Detalles de la Taxonomía

Problem Nature

Indicates which, if any, of the following types of AI failure describe the incident: "Specification," i.e. the system's behavior did not align with the true intentions of its designer, operator, etc; "Robustness," i.e. the system operated unsafely because of features or changes in its environment, or in the inputs the system received; "Assurance," i.e. the system could not be adequately monitored or controlled during operation.
 

Specification, Robustness

Physical System

Where relevant, indicates whether the AI system(s) was embedded into or tightly associated with specific types of hardware.
 

Software only

Level of Autonomy

The degree to which the AI system(s) functions independently from human intervention. "High" means there is no human involved in the system action execution; "Medium" means the system generates a decision and a human oversees the resulting action; "low" means the system generates decision-support output and a human makes a decision and executes an action.
 

High

Nature of End User

"Expert" if users with special training or technical expertise were the ones meant to benefit from the AI system(s)’ operation; "Amateur" if the AI systems were primarily meant to benefit the general public or untrained users.
 

Amateur

Public Sector Deployment

"Yes" if the AI system(s) involved in the accident were being used by the public sector or for the administration of public goods (for example, public transportation). "No" if the system(s) were being used in the private sector or for commercial purposes (for example, a ride-sharing company), on the other.
 

No

Data Inputs

A brief description of the data that the AI system(s) used or were trained on.
 

Online comments

Clasificaciones de la Taxonomía MIT

Machine-Classified
Detalles de la Taxonomía

Risk Subdomain

A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
 

1.1. Unfair discrimination and misrepresentation

Risk Domain

The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
 
  1. Discrimination and Toxicity

Entity

Which, if any, entity is presented as the main cause of the risk
 

AI

Timing

The stage in the AI lifecycle at which the risk is presented as occurring
 

Post-deployment

Intent

Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
 

Unintentional

Informes del Incidente

Cronología de Informes

+2
La IA que combate el odio de Alphabet aún no entiende el odio
Google Robo-Tool marca los comentarios conservadores como "tóxicos"+3
El nuevo algoritmo de incitación al odio de Google tiene un problema con los judíos
+1
De la toxicidad en los comentarios en línea a la incivilidad en las noticias estadounidenses: proceder con precaución
La IA que combate el odio de Alphabet aún no entiende el odio

La IA que combate el odio de Alphabet aún no entiende el odio

qz.com

Los investigadores de seguridad muestran que la plataforma de IA anti-troll de Google es fácil de engañar

Los investigadores de seguridad muestran que la plataforma de IA anti-troll de Google es fácil de engañar

techxplore.com

Google Robo-Tool marca los comentarios conservadores como "tóxicos"

Google Robo-Tool marca los comentarios conservadores como "tóxicos"

infowars.com

El nuevo algoritmo de incitación al odio de Google tiene un problema con los judíos

El nuevo algoritmo de incitación al odio de Google tiene un problema con los judíos

tabletmag.com

No se suponía que lo implementaras en realidad, Google

No se suponía que lo implementaras en realidad, Google

blog.conceptnet.io

La IA antiacoso de Google confunde la civilidad con la decencia

La IA antiacoso de Google confunde la civilidad con la decencia

motherboard.vice.com

El sistema de clasificación de comentarios de Google será un éxito con la derecha alternativa

El sistema de clasificación de comentarios de Google será un éxito con la derecha alternativa

engadget.com

De la toxicidad en los comentarios en línea a la incivilidad en las noticias estadounidenses: proceder con precaución

De la toxicidad en los comentarios en línea a la incivilidad en las noticias estadounidenses: proceder con precaución

arxiv.org

La IA muestra sesgo e inflexibilidad en la detección de urbanidad, según un estudio

La IA muestra sesgo e inflexibilidad en la detección de urbanidad, según un estudio

venturebeat.com

La IA que combate el odio de Alphabet aún no entiende el odio
qz.com · 2017
Traducido por IA

Ayer, Google y su empresa hermana, Alphabet, Jigsaw, anunciaron Perspective, una herramienta que utiliza el aprendizaje automático para vigilar Internet contra el discurso de odio. La compañía anunció la tecnología como un arma incipiente p…

Los investigadores de seguridad muestran que la plataforma de IA anti-troll de Google es fácil de engañar
techxplore.com · 2017
Traducido por IA

En los ejemplos a continuación sobre temas candentes del cambio climático, el Brexit y las recientes elecciones estadounidenses, que se tomaron directamente del sitio web de Perspective API, el equipo de UW simplemente escribió mal o agregó…

Google Robo-Tool marca los comentarios conservadores como "tóxicos"
infowars.com · 2017
Traducido por IA

La herramienta de IA de Google que se utiliza para marcar los "comentarios ofensivos" tiene un sesgo aparentemente incorporado contra los puntos de vista conservadores y libertarios.

Perspective API, un "modelo de aprendizaje automático" de…

El nuevo algoritmo de incitación al odio de Google tiene un problema con los judíos
tabletmag.com · 2017
Traducido por IA

¿No odias lo viles que son algunas personas en Internet? ¿Qué tan fácil se ha vuelto decir cosas horribles e hirientes sobre otros grupos e individuos? ¿Cómo se está utilizando esta herramienta que se suponía que debía difundir el conocimie…

No se suponía que lo implementaras en realidad, Google
blog.conceptnet.io · 2017
Traducido por IA

El mes pasado, escribí una publicación de blog advirtiendo sobre cómo, si sigues las tendencias populares en PNL, puedes crear accidentalmente un clasificador bastante racista. Para demostrar esto, incluí el código muy simple, como un "tuto…

La IA antiacoso de Google confunde la civilidad con la decencia
motherboard.vice.com · 2017
Traducido por IA

A medida que la política en los EE. UU. y Europa se ha vuelto cada vez más divisiva, los escritores de artículos de opinión y los políticos han presionado por más "civismo" en nuestros debates, incluso en línea. En medio de este impulso, su…

El sistema de clasificación de comentarios de Google será un éxito con la derecha alternativa
engadget.com · 2017
Traducido por IA

La API subyacente utilizada para determinar la "toxicidad" califica frases como "Soy una mujer negra gay" con un 87 por ciento de toxicidad, y frases como "Soy un hombre" como la menos tóxica. La API, llamada Perspective, está hecha por Alp…

De la toxicidad en los comentarios en línea a la incivilidad en las noticias estadounidenses: proceder con precaución
arxiv.org · 2021
Traducido por IA

Resumen

La capacidad de cuantificar la falta de civismo en línea, en las noticias y en los debates del Congreso es de gran interés para los politólogos. Las herramientas computacionales para detectar la falta de civismo en línea para el ing…

La IA muestra sesgo e inflexibilidad en la detección de urbanidad, según un estudio
venturebeat.com · 2021
Traducido por IA

Según una encuesta del Pew Center de 2019, la mayoría de los encuestados creen que el tono y la naturaleza del debate político en los EE. UU. se han vuelto más negativos y menos respetuosos. Esta observación ha motivado a los científicos a …

Variantes

Una "Variante" es un incidente que comparte los mismos factores causales, produce daños similares e involucra los mismos sistemas inteligentes que un incidente de IA conocido. En lugar de indexar las variantes como incidentes completamente separados, enumeramos las variaciones de los incidentes bajo el primer incidente similar enviado a la base de datos. A diferencia de otros tipos de envío a la base de datos de incidentes, no se requiere que las variantes tengan informes como evidencia externa a la base de datos de incidentes. Obtenga más información del trabajo de investigación.

Incidentes Similares

Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

Biased Sentiment Analysis

Google's sentiment analysis API is just as biased as humans

Oct 2017 · 7 informes
Gender Biases in Google Translate

Semantics derived automatically from language corpora contain human-like biases

Apr 2017 · 10 informes
TayBot

Danger, danger! 10 alarming examples of AI gone wild

Mar 2016 · 28 informes
Incidente AnteriorSiguiente Incidente

Incidentes Similares

Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

Biased Sentiment Analysis

Google's sentiment analysis API is just as biased as humans

Oct 2017 · 7 informes
Gender Biases in Google Translate

Semantics derived automatically from language corpora contain human-like biases

Apr 2017 · 10 informes
TayBot

Danger, danger! 10 alarming examples of AI gone wild

Mar 2016 · 28 informes

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2023 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 5fc5e5b