Incidente 43: Racist AI behaviour is not a new problem

Descripción: From 1982 to 1986, St George's Hospital Medical School used a program to automate a portion of their admissions process that resulted in discrimination against women and members of ethnic minorities.

Herramientas

Nuevo InformeNuevo InformeNueva RespuestaNueva RespuestaDescubrirDescubrirVer HistorialVer Historial

Entidades

Ver todas las entidades
Alleged: Dr. Geoffrey Franglen developed an AI system deployed by St George's Hospital Medical School, which harmed Women y Minority Groups.

Estadísticas de incidentes

ID
43
Cantidad de informes
4
Fecha del Incidente
1998-03-05
Editores
Sean McGregor
Applied Taxonomies
CSETv0, CSETv1, GMF, MIT

Clasificaciones de la Taxonomía CSETv1

Detalles de la Taxonomía

Incident Number

43

Notes (special interest intangible harm)

The Commission for Racial Equality found St. George's Hospital Medical School guilty of discrimination against women and members of ethnic minorities.

Special Interest Intangible Harm

yes

Date of Incident Year

1979

Clasificaciones de la Taxonomía CSETv0

Detalles de la Taxonomía

Problem Nature

Specification

Physical System

Software only

Level of Autonomy

Medium

Nature of End User

Amateur

Public Sector Deployment

No

Data Inputs

Standardized university admission form, Previous admission and regection decisions

Clasificaciones de la Taxonomía MIT

Machine-Classified
Detalles de la Taxonomía

Risk Subdomain

1.1. Unfair discrimination and misrepresentation

Risk Domain

  1. Discrimination and Toxicity

Entity

AI

Timing

Post-deployment

Intent

Unintentional

europepmc.org · 1998
Traducido por IA

Una mancha en la profesión

Durante mucho tiempo se sospechó de la discriminación en la medicina contra las mujeres y los miembros de minorías étnicas, pero ahora se ha demostrado. La Escuela de Medicina del Hospital St George's ha sido decl…

Computadoras que magnifican nuestros prejuicios
marginalrevolution.com · 2013
Traducido por IA

A medida que la IA se propague, este se convertirá en un tema cada vez más importante y controvertido:

Para una universidad británica, lo que comenzó como un ejercicio de ahorro de tiempo terminó en desgracia cuando un modelo de computadora…

natbuckley.co.uk · 2016
Traducido por IA

La profesora Margaret Boden, investigadora de inteligencia artificial y ciencias cognitivas, se tomó el tiempo para hablarme en 2010 sobre computadoras, inteligencia artificial, moralidad y el futuro. Una de las historias que me contó vuelv…

read.dukeupress.edu · 2016
Traducido por IA

Las empresas y los gobiernos deben prestar atención a los sesgos inconscientes e institucionales que se filtran en sus algoritmos, argumenta la experta en ciberseguridad Megan García. Los datos distorsionados pueden sesgar los resultados en…

Variantes

Una "Variante" es un incidente que comparte los mismos factores causales, produce daños similares e involucra los mismos sistemas inteligentes que un incidente de IA conocido. En lugar de indexar las variantes como incidentes completamente separados, enumeramos las variaciones de los incidentes bajo el primer incidente similar enviado a la base de datos. A diferencia de otros tipos de envío a la base de datos de incidentes, no se requiere que las variantes tengan informes como evidencia externa a la base de datos de incidentes. Obtenga más información del trabajo de investigación.

Incidentes Similares

Por similitud de texto

Did our AI mess up? Flag the unrelated incidents

Female Applicants Down-Ranked by Amazon Recruiting Tool

2018 in Review: 10 AI Failures

· 33 informes
AI Beauty Judge Did Not Like Dark Skin

A beauty contest was judged by AI and the robots didn't like dark skin

· 10 informes

Discrimination in Online Ad Delivery

· 27 informes
Incidente AnteriorSiguiente Incidente