Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Incidente 14: Biased Sentiment Analysis

Descripción: Google Cloud's Natural Language API provided racist, homophobic, amd antisemitic sentiment analyses.

Herramientas

Nuevo InformeNuevo InformeNueva RespuestaNueva RespuestaDescubrirDescubrirVer HistorialVer Historial

Entidades

Ver todas las entidades
Presunto: un sistema de IA desarrollado e implementado por Google, perjudicó a Women y Minority Groups.

Estadísticas de incidentes

ID
14
Cantidad de informes
7
Fecha del Incidente
2017-10-26
Editores
Sean McGregor
Applied Taxonomies
CSETv0, CSETv1, GMF, MIT

Clasificaciones de la Taxonomía CSETv1

Detalles de la Taxonomía

Incident Number

The number of the incident in the AI Incident Database.
 

14

AI Tangible Harm Level Notes

Notes about the AI tangible harm level assessment
 

Annotator 2:

No tangible harm

Notes (special interest intangible harm)

Input any notes that may help explain your answers.
 

Disproportionately gave phrases related to protected characteristics negative scores.

Special Interest Intangible Harm

An assessment of whether a special interest intangible harm occurred. This assessment does not consider the context of the intangible harm, if an AI was involved, or if there is characterizable class or subgroup of harmed entities. It is also not assessing if an intangible harm occurred. It is only asking if a special interest intangible harm occurred.
 

yes

Notes (AI special interest intangible harm)

If for 5.5 you select unclear or leave it blank, please provide a brief description of why. You can also add notes if you want to provide justification for a level.
 

Disproportionately gave phrases related to protected characteristics negative scores.

Date of Incident Year

The year in which the incident occurred. If there are multiple harms or occurrences of the incident, list the earliest. If a precise date is unavailable, but the available sources provide a basis for estimating the year, estimate. Otherwise, leave blank. Enter in the format of YYYY
 

2017

Clasificaciones de la Taxonomía CSETv0

Detalles de la Taxonomía

Problem Nature

Indicates which, if any, of the following types of AI failure describe the incident: "Specification," i.e. the system's behavior did not align with the true intentions of its designer, operator, etc; "Robustness," i.e. the system operated unsafely because of features or changes in its environment, or in the inputs the system received; "Assurance," i.e. the system could not be adequately monitored or controlled during operation.
 

Robustness

Physical System

Where relevant, indicates whether the AI system(s) was embedded into or tightly associated with specific types of hardware.
 

Software only

Level of Autonomy

The degree to which the AI system(s) functions independently from human intervention. "High" means there is no human involved in the system action execution; "Medium" means the system generates a decision and a human oversees the resulting action; "low" means the system generates decision-support output and a human makes a decision and executes an action.
 

High

Nature of End User

"Expert" if users with special training or technical expertise were the ones meant to benefit from the AI system(s)’ operation; "Amateur" if the AI systems were primarily meant to benefit the general public or untrained users.
 

Amateur

Public Sector Deployment

"Yes" if the AI system(s) involved in the accident were being used by the public sector or for the administration of public goods (for example, public transportation). "No" if the system(s) were being used in the private sector or for commercial purposes (for example, a ride-sharing company), on the other.
 

No

Data Inputs

A brief description of the data that the AI system(s) used or were trained on.
 

input from open source internet

Clasificaciones de la Taxonomía MIT

Machine-Classified
Detalles de la Taxonomía

Risk Subdomain

A further 23 subdomains create an accessible and understandable classification of hazards and harms associated with AI
 

1.1. Unfair discrimination and misrepresentation

Risk Domain

The Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental harms, and (7) AI system safety, failures & limitations.
 
  1. Discrimination and Toxicity

Entity

Which, if any, entity is presented as the main cause of the risk
 

AI

Timing

The stage in the AI lifecycle at which the risk is presented as occurring
 

Post-deployment

Intent

Whether the risk is presented as occurring as an expected or unexpected outcome from pursuing a goal
 

Unintentional

Informes del Incidente

Cronología de Informes

+5
La IA de Google tiene algunas opiniones seriamente equivocadas sobre la homosexualidad
La IA de Google está calificando a judíos y homosexuales como malas personas, gracias a prejuicios humanos tóxicosLa API de Google Sentiment Analysis da una salida sesgada
La IA de Google tiene algunas opiniones seriamente equivocadas sobre la homosexualidad

La IA de Google tiene algunas opiniones seriamente equivocadas sobre la homosexualidad

mashable.com

Google lamenta que su analizador de sentimientos sea sesgado

Google lamenta que su analizador de sentimientos sea sesgado

motherboard.vice.com

La IA de Google ya está asociando a las minorías étnicas con sentimientos negativos

La IA de Google ya está asociando a las minorías étnicas con sentimientos negativos

theinquirer.net

La API de análisis de sentimientos de Google está tan sesgada como los humanos

La API de análisis de sentimientos de Google está tan sesgada como los humanos

engadget.com

El analizador de sentimientos de Google cree que ser gay es malo

El analizador de sentimientos de Google cree que ser gay es malo

motherboard.vice.com

La IA de Google está calificando a judíos y homosexuales como malas personas, gracias a prejuicios humanos tóxicos

La IA de Google está calificando a judíos y homosexuales como malas personas, gracias a prejuicios humanos tóxicos

indiatimes.com

La API de Google Sentiment Analysis da una salida sesgada

La API de Google Sentiment Analysis da una salida sesgada

techleer.com

La IA de Google tiene algunas opiniones seriamente equivocadas sobre la homosexualidad
mashable.com · 2017
Traducido por IA

El código de conducta de Google prohíbe explícitamente la discriminación basada en la orientación sexual, la raza, la religión y muchas otras categorías protegidas. Sin embargo, parece que nadie se molestó en pasar esa información a la inte…

Google lamenta que su analizador de sentimientos sea sesgado
motherboard.vice.com · 2017
Traducido por IA

Imagen: Shutterstock

Google se equivocó y ahora dice que lo siente.

El miércoles, Motherboard publicó una historia escrita por Andrew Thompson sobre los prejuicios contra las minorías étnicas y religiosas codificadas en una de las interface…

La IA de Google ya está asociando a las minorías étnicas con sentimientos negativos
theinquirer.net · 2017
Traducido por IA

El motor de inteligencia artificial (IA) de GOOGLE ha mostrado un sesgo negativo hacia palabras como "gay" y "judío".

El proceso de análisis de sentimientos es el último de un número creciente de ejemplos de "basura que entra - basura que s…

La API de análisis de sentimientos de Google está tan sesgada como los humanos
engadget.com · 2017
Traducido por IA

La herramienta, que puede probar aquí, está diseñada para brindar a las empresas una vista previa de cómo se recibirá su idioma. Ingresar oraciones completas brinda un análisis predictivo de cada palabra, así como de la declaración en su co…

El analizador de sentimientos de Google cree que ser gay es malo
motherboard.vice.com · 2017
Traducido por IA

Un portavoz de Google respondió a la solicitud de comentarios de Motherboard y emitió la siguiente declaración: "Dedicamos muchos esfuerzos para asegurarnos de que la API de NLP evite el sesgo, pero no siempre lo hacemos bien. Este es un ej…

La IA de Google está calificando a judíos y homosexuales como malas personas, gracias a prejuicios humanos tóxicos
indiatimes.com · 2017
Traducido por IA

Muchos de los principales actores en la escena de la ciencia y la tecnología creen que tenemos mucho que temer de que la IA supere a la inteligencia humana, incluso cuando otros se ríen de esas afirmaciones. Pero una cosa en la que ambos la…

La API de Google Sentiment Analysis da una salida sesgada
techleer.com · 2017
Traducido por IA

Google desarrolló su API Cloud Natural Language para permitir a los desarrolladores trabajar con un analizador de lenguaje para revelar el significado real del texto. El sistema decidió si el texto se decía con un sentimiento positivo o neg…

Variantes

Una "Variante" es un incidente que comparte los mismos factores causales, produce daños similares e involucra los mismos sistemas inteligentes que un incidente de IA conocido. En lugar de indexar las variantes como incidentes completamente separados, enumeramos las variaciones de los incidentes bajo el primer incidente similar enviado a la base de datos. A diferencia de otros tipos de envío a la base de datos de incidentes, no se requiere que las variantes tengan informes como evidencia externa a la base de datos de incidentes. Obtenga más información del trabajo de investigación.

Incidentes Similares

Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

High-Toxicity Assessed on Text Involving Women and Minority Groups

Google’s comment-ranking system will be a hit with the alt-right

Feb 2017 · 9 informes
Gender Biases in Google Translate

Semantics derived automatically from language corpora contain human-like biases

Apr 2017 · 10 informes
Female Applicants Down-Ranked by Amazon Recruiting Tool

2018 in Review: 10 AI Failures

Aug 2016 · 33 informes
Incidente AnteriorSiguiente Incidente

Incidentes Similares

Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

High-Toxicity Assessed on Text Involving Women and Minority Groups

Google’s comment-ranking system will be a hit with the alt-right

Feb 2017 · 9 informes
Gender Biases in Google Translate

Semantics derived automatically from language corpora contain human-like biases

Apr 2017 · 10 informes
Female Applicants Down-Ranked by Amazon Recruiting Tool

2018 in Review: 10 AI Failures

Aug 2016 · 33 informes

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2023 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • 30ebe76