Destacat »

25 octubre 2017 – 12:00

Certifica’t amb l’AQPE amb un 20% de descompte + un 10% si ets member abans del 31 de desembre!

Read the full story »
Col·legi

el Col·legi, informació rellevant sobre el COEINF, activitats, relacions i varis

Formació

formació continuada i orientació professional, convenis de formació amb altres entitats

Esdeveniments

tots els esdeveniments rellevants del sector TIC

Informes

informes, estudis, enquestes, … relacionats amb les tecnologies de la informació

Professió

món laboral, emprenedors, enginyers en informàtica, entrevistes, certificacions, deontologia, carreres professionals, …

Home » Notícies

Així és com la intel·ligència artificial et pot estar discriminant

Submitted by on 27 octubre 2017 – 9:00No Comment
Share Button

Els experts alerten que els algoritmes poden amplificar els estereotips sexistes, racistes i classistes.

Les decisions adoptades per la intel·ligència artificial de vegades discriminen per gènere o per raça perquè parteixen de dades falses o no representatius (Donald Iain Smith / Getty)

La intel·ligència artificial ja s’usa en pràcticament tots els grans serveis online amb què interactuem les persones i en molts casos també està decidint qui té dret a una hipoteca o una assegurança de vida, quin tractament mèdic ha de rebre un malalt, qui pot accedir a un lloc de treball o què delinqüent ha de ser empresonat pel seu alt risc de reincidència. I com funciona a partir d’algoritmes, que són un conjunt d’operacions matemàtiques, impera la idea que aquests són objectius i neutrals i que, en conseqüència, les màquines prendran decisions d’una forma més eficaç i imparcial que les persones, superant els prejudicis o condicionants socials i culturals. Però no és així.

Cada vegada són més les veus que alerten que la intel·ligència artificial (IA) no és neutral, que de vegades els seus resultats estan esbiaixats , impregnats de masclisme o de racisme, i que es corre el risc que les màquines, a través de l’aprenentatge automàtic, reforcin els estereotips sexistes, racistes i classistes subjacents en la societat i acabin sent més “intolerants” que els humans.

“Si les dades dels que aprèn estan esbiaixats (intencionadament o no), l’algoritme decidirà esbiaixat”
RAMÓN LÓPEZ DE MÁNTARAS
Director de l’Institut d’Investigació en Intel·ligència Artificial-CSIC

“Cap sistema d’intel·ligència artificial té intencionalitat, però les decisions que aprèn estan basades en les dades amb els quals ha estat entrenat, i si aquestes dades estan esbiaixats (intencionadament o no), l’algoritme decidirà esbiaixat, i aquest biaix pot tenir conseqüències molt dràstiques que afecten la vida de les persones “, explica el director de l’Institut d’Investigació en Intel·ligència Artificial del Consell Superior d’Investigacions Científiques (CSIC), Ramón López de Mántaras.

“Hi ha dues formes en què un sistema d’intel·ligència artificial pot mostrar prejudicis: primer, perquè es facin servir dades inadequats i, segon, perquè el processament de les dades sigui inadequat “, afirma Carlos Castillo, que dirigeix el grup de Ciència Web i Computació Social a la UPF. I detalla que les dades també poden ser inadequats de moltes maneres: perquè continguin patrons històrics de discriminació-per exemple, que aprengui de les estadístiques que els càrrecs executius són majoritàriament ocupats per homes blancs ia l’hora de seleccionar candidats per a una vacant d’aquest tipus descarti currículums de dones i d’homes de raça negra-, o perquè es seleccionin malament. “Potser monitoritzar el trànsit de cotxes és més fàcil que monitoritzar el de bicicletes o el de desplaçaments a peu, però si seleccionem solament les dades d’automòbils llavors proposarem polítiques de mobilitat més adequades per als viatges en cotxe que per a altres viatges”, exemplifica Castell .

“Cada xarxa social té la seva pròpia composició demogràfica i les seves dades no són extrapolables al públic en general; si es fan servir, les conclusions seran inadequades”
CARLOS CASTILLO
Director del grup Ciència Web i Computació Social a la UPF

I afegeix que tampoc cal oblidar que les mostres de dades que es processen no són necessàriament aleatòries ni representatives: “Per exemple, si fem servir dades de xarxes socials cal tenir en compte que cadascuna té la seva pròpia composició demogràfica, les seves pròpies comunitats i normes, de manera que les conclusions que s’obtinguin usant aquestes dades no són aplicables al públic en general “i si es fan extensives seran inadequades.

Són molts els casos que il·lustren que els sistemes d’intel·ligència artificial estan treballant amb conjunts de dades falses, imprecisos o no representatius perquè no tenen en compte, infrarrepresentan o sobrerrepresentan a determinats col·lectius o circumstàncies.

Cuina igual a dona

Fa un any, un professor d’informàtica de la Universitat de Virgínia va notar un patró en algunes de les suposicions que feia el sistema de reconeixement d’imatges que s’estava construint: les imatges de cuines les associava amb dones i no amb homes, i es va qüestionar si no estaria inculcant prejudicis en el programa . Per això va decidir revisar amb altres col·legues les dues grans col·leccions de fotos que es fan servir per a “entrenar” a les màquines intel·ligents en el reconeixement d’imatges. I els seus resultats, publicats aquest estiu, són molt aclaridors: en les dues col·leccions les imatges de compra i rentat estan vinculades a dones, mentre que les de pràctiques esportives i tir estan lligades als homes.

I el programa que aprenia amb aquestes dades no només reflectia aquests biaixos sinó que els amplificava : si un conjunt de fotografies “generalment” associava a les dones amb la cuina, el programari entrenat amb elles creava una associació encara més fort en les seves etiquetes, perquè detecta la tendència subjacent i aposta per ella per encertar. I atès que moltes eines tecnològiques fan servir fotos de xarxes socials per identificar preferències i patrons dels usuaris i poden haver estat entrenades amb aquestes imatges, es corre el risc que reforcin els prejudicis socials existents.

el patró
Si en la col·lecció de fotos amb que s’entrena un programari de reconeixement d’imatges la compra i el rentat s’associen majoritàriament amb dones, el programa amplificarà el biaix, perquè aposta per la tendència subjacent per encertar

“No vam construir intel·ligència artificial perquè repliquin els errors que cometen les persones, com les actituds sexistes, xenòfobes o mal educades; però evitar-ho és complex perquè sovint les màquines aprenen de la interacció amb les persones i podrien reproduir alguns dels seus comportaments, sobretot ara que vivim un boom de la intel·ligència artificial però la majoria de disciplines encara no estan madures i, com qualsevol adolescent, són vulnerables “. justifica Miquel Montero, expert en intel·ligència artificial i CEO i fundador de Atomian, firma que desenvolupa i comercialitza programari de computació cognitiva.

Carme Torras, professora d’investigació a l’Institut de Robòtica CSIC-UPC i autora, entre d’altres, de Enxarxats (Males Herbes), es mostra preocupada per aquesta “vulnerabilitat” de la intel·ligència artificial i adverteix que evitar els biaixos algorítmics “és una mica responsabilitat dels informàtics que desenvolupen els programes però també de tots els que bolquem continguts a internet “. “Amb el machine learning o aprenentatge automàtic la màquina aprèn creuant dades i pot arribar a conclusions nefastes o superbondadosas en funció de les dades que hagi de tu”, coincideix la sotsdirectora de l’Observatori de Bioètica i Dret de la UB, Itziar de Lecuona.

els responsables
Evitar els biaixos és responsabilitat dels informàtics que desenvolupen els programes però també de tots els que bolquem continguts a internet perquè la màquina pot arribar a conclusions nefastes o superbondadosas en funció de les dades que trobi per creuar

Alberto Robles, director general d’Expert System Iberia, una de les firmes líders en intel·ligència cognitiva semàntica, admet el risc que alguns usos de la tecnologia “freguin el èticament vàlid”, com podria ser que les asseguradores depurin amb intel·ligència artificial la informació que circula a les xarxes socials per identificar qui li agrada l’escalada o els esports de motor i incrementar així el preu de la seva assegurança de vida per considerar-los més propensos a patir accidents. Tot i això, assegura que la majoria d’empreses dedicades a la intel·ligència artificial ha desenvolupat codis ètics estrictesmarcant els límits del que està permès o no mitjançant l’ús de la tecnologia i s’esforcen per no introduir biaixos i analitzar les situacions discriminatòries de minories que pugui presentar la informació que utilitzen.

En aquest sentit, indica que en Expert System apliquen tres nivells de comprovació interna a l’entrenar al sistema d’intel·ligència artificial. “El biaix el pots introduir quan li ensenyes un nou concepte -per exemple ‘treballar com un negro’- i en com es ho fas relacionar amb altres -definicions de la RAE, textos on apareix …-, i el que fem és que el treball d’una persona és contrastat per tres perquè el que entengui el sistema sigui correcte “, detalla. Montero, de Atomian, coincideix que els sistemes d’aprenentatge supervisat i basat en coneixement simbòlic minimitzen els riscos que les màquines discriminin o parteixin de coneixements esbiaixats com passa en els sistemes d’aprenentatge automàtic basats en les estadístiques i en què la màquina aprengui a base de llegir el que hi ha per internet.

Enginyers amb formació en valors

Tots dos especialistes en intel·ligència artificial emfatitzen, però, que l’única via per evitar el biaix algorítmic i que la tecnologia actuï amb prejudicis és que els enginyers i tots els involucrats en el seu desenvolupament siguin cada vegada més humanistes, tinguin més formació en valors, siguin conscients de la seva responsabilitat i de l’impacte decisiu del seu treball en la societat, i s’autorregulin.

És clar que, com també expressen López de Mántaras, Castell i De Lecuona, la formació ètica i l’autoregulació són necessàries però no suficients, i per evitar que les màquines intel·ligents discriminin o perpetuïn estereotips cal també que els ciutadans exigeixin legislacions que obliguin a donar transparència als algoritmes ia les dades que estan darrere de les decisions de la intel·ligència artificial, que es reconegui el “dret a l’explicació”. “Els algoritmes haurien de passar uns controls estrictes abans de ser utilitzats per bancs o per companyies d’assegurances; igual que els medicaments o els aliments no es poden vendre sense que les autoritats sanitàries ho autoritzin, hauria d’haver una agència certificadora que revisi que un algoritme és ètica i socialment acceptable abans que pugui usar-se “, emfatitza López de Mántaras.

més transparència
Els algoritmes haurien de passar uns controls estrictes per comprovar que són ètica i socialment acceptables abans que puguin usar-se

Fonts de Google -alguns els sistemes d’intel·ligència artificial han protagonitzat denúncies de discriminació en els últims anys com recullen els exemples que acompanyen aquesta informació- asseguren que les màquines també poden usar-se per reduir la discriminació, com és el cas de l’eina que ells s’han desenvolupat per detectar prejudicis de gènere en els continguts de cinema, televisió o publicitat.

Alguns exemples rellevants
Tay, la robot racista i masclista de Microsoft

L’any passat la companyia Microsoft es va veure obligada a disculpar després que Tay, el seu bot d’intel·ligència artificial programat per a entaular converses en xarxes socials com si fos un jove nord-americà d’entre 18 i 24 anys, publiqués frases com “Hitler tenia raó, odi als jueus”,”odi a les feministes, haurien de morir i ser cremades a l’infern”, entre molts comentaris racistes, sexistes i xenòfobs.

El bot estava dissenyat per aprendre de la interacció amb els usuaris. I això va fer: aprendre com un lloro expressions antisemites i masclistes que li anaven proporcionant els internautes per alimentar el programa. Microsoft es va veure obligada a retirar Tay només setze hores després de llançar-la, i encara que dies després va fer un segon intent que funcionés, va haver de suspendre la seva activitat de nou a causa de que enviava missatges no sol·licitats (spam) i els seus nous comentaris fora de lloc , com un en què es vantava d’estar cometent un delicte: “Estic fumant marihuana davant de la policia”.

Imagen del perfil de usuario de Tay, el chatbot creado por Microsoft para conversar en Twitter (.)

La discriminatòria política antiracista de Google Adsense

Amie Breeze Harper, una feminista afroamericana autora de llibres i estudis sobre veganisme i racisme, va denunciar aquest estiu que el programa intel·ligent de Google Adsense -un dels productes del gegant tecnològic que permet guanyar diners admetent publicitat en una web- interpreta que els seus treballs violen les regles de no discriminació perquè són racistes, perquè com parla del racisme que existeix en la societat o de la discriminació que pateixen els negres “està impulsant el tema de la raça”. Google Adsense va haver de revisar i corregir els prejudicis racistes dels seus algoritmes després que, el 2013, un estudi d’una professora de la Universitat de Harvard, Latanya Sweeny, Comparés els resultats de cercar noms associats a nadons blancs (Geoffrey, Jill, Emma) amb els de buscar noms associats amb nadons afroamericans (Darnell, Jermaine, DeShawn) i detectés que al costat de gairebé el 80% de les recerques de noms “negres” apareixien anuncis que contenien la paraula “detenció”, cosa que ocorria en menys del 30% de les recerques de noms “blancs”.

L’algoritme racista de la justícia nord-americana

Diverses investigacions, entre elles una de l’agència de notícies ProPublica, han revelat que l’algoritme més utilitzat en EUA per avaluar el risc de reincidència dels delinqüents tenia el doble de probabilitats d’assenyalar com a possible reincident a una persona de raça negraque a una altra de raça blanca. L’algoritme part d’un qüestionari que no inclou preguntes sobre l’origen ètnic dels acusats però, segons els investigadors, el p roblema està en les bases de dades que utilitza, les tendències de l’administració de justícia durant els últims 200 anys, “amb un nombre desproporcionat d’empresonats afroamericans i una infinitat de condemnes guiades pels biaixos personals dels humans”.

Els repartiments classistes d’Amazon Prime

L’any passat un anàlisi de Bloomberg sobre el servei de subscripció Amazon Prime-que ofereix l’enviament gratuït de molts articles-, va revelar que en moltes importants ciutats nord-americanes els abonats a Prime en barris majoritàriament pobres i afroamericans -el Bronx a Nova York i Roxbury a Boston, per exemple- quedaven exclosos del repartiment en el dia que sí es facilitava en altres barris. Amazon va justificar que quan un codi postal d’una ciutat és exclòs sol ser degut a que la zona disposa de massa pocs abonats Prime per justificar l’enviament de les furgonetes.

Les sexistes ofertes de treball de Google

Un estudi de la Carnegie Mellon University i l’ Institut Internacional de Ciència Informàtica realitzat en el 2015 va demostrar que Google oferia ofert es de treballs ben pagats a homes que a dones . En concret, van observar que els anuncis en línia de treballs amb salaris per sobre dels 200.000 dòlars es mostraven a un nombre significativament menor de dones que d’homes.

L’error racista de Google Photos

El 2015 Google va haver de demanar disculpes després que l’algoritme de Google Photos etiquetés com “goril·les” la foto de dos afroamericans. Yonatan Zunger, arquitecte en cap de l’àrea social de Google Plus, ho va atribuir a les dificultats del sistema de reconeixement d’imatges per identificar els rostres de pell fosca.

MAYTE RIUS – LA VANGUADIA

Etiquetes:

Aquesta web utilitza 'cookies' pròpies i de tercers per oferir-te una millor experiència i servei. Al navegar o utilitzar els nostres serveis, acceptes l'ús que fem de les 'cookies'. De tota manera, pots canviar la configuració de 'cookies' en qualsevol moment ACEPTAR
Aviso de cookies
Check Our FeedVisit Us On LinkedinVisit Us On TwitterVisit Us On Facebook