Los algoritmos son nuestro plato de cada día. Los algoritmos están tomando decisiones sobre nuestro salario, nuestro acceso a un crédito o si nos atienden en un hospital. Y en la mayoría de los casos, no nos damos ni cuenta. Gracias a Ashoka España por ponernos en contacto con Gemma Galdón, fundadora de Eticas Consulting, quien nos comparte el impacto que los algoritmos tienen en nuestras vidas, los sesgos y discriminaciones que generan en su mayoría y lo que hay que hacer para crear una inteligencia artificial realmente inteligente. Una inteligencia artificial que ponga en el centro a las personas. Con la obsesión actual de invertir en la inteligencia artificial y pensar que la tecnología es algo que siempre funciona mejor que los humanos, nos estamos saltando un montón de pasos en términos de entender los riesgos de este mundo tecnológico. En muchos casos la tecnología nos aporta muchas cosas; pero como toda innovación, hay que ajustarla a su impacto social y mitigar sus impactos negativos.

La inteligencia artificial está fomentando la disciminación sistemática de cualquiera que no sea un hombre blanco. Para el algoritmo, lo normal es aquello de lo que tenemos más datos. En internet, los hombres blancos siempre están sobre representados. Con lo cual, las mujeres o las personas de grupos minoritarios, siempre salimos perdiendo. Por ejemplo, un algoritmo que decide quién recibe una hipoteca, el algoritmo siempre entenderá que los hombres, son el perfil de menos riesgo. ¿Por que? Porque tiene muchos más datos de hombres que de mujeres. Está demostrado que las mujeres pagamos igual o mejor que los hombres. Somos muy responsables con las finanzas y estamos muy acostumbradas a gestionar economías (sobre todo la doméstica). Pero como estos datos no están en las bases de datos, somos una minoría y por lo tanto, somos un perfil de riesgo.

Los algoritmos están decidiendo si conseguimos un trabajo, si nos despiden en ese trabajo, si accedemos a programas públicos de atención social o si conseguimos esa hipoteca.

Los algoritmos cada vez toman más decisiones de formas que desconocemos y que perjudican a la mayoría del mundo, es decir a todas las personas que no son ese “normal” de hombre blanco.

También está el riesgo de la brecha digital. Si hacemos que todo funcione a través de lo digital, las personas que no han podido acceder a esa alfabetización digital, son personas que están en situación de desventaja ante este nuevo mundo.

Además está el tema de privacidad. En internet, no se olvida nada. Todo lo que generamos como dato, perdura en el tiempo para siempre. Por primera vez en la historia, es más caro olvidar que recordar. Esto tiene un impacto social importantísimo. Puede ser una foto que te tomaron tus padres cuando fuiste a hacer pipi o datos sobre tus malas notas de hace muchos años atrás, cuando tienes 40 o 50 años, no te hace mucha gracia que esa foto circule. Estamos generando datos constantemente. En su momento, pueden ser completamente entendibles, pero si se sacan de contexto, tienen un impacto importantísimo.

Es fundamental que instalemos una buena gestión de la privacidad en este entorno de recolección constante de nuestros datos a todos los niveles: a nivel doméstico, a nivel profesional o a nivel de interacción social.

Respirando. Casi todos los teléfonos, aunque no tengamos una aplicación de fitness, tienen acelerómetros y pueden ver los pasos que hacemos, cómo nos movemos, cuando nos despertamos, cuando nos acostamos. Generamos datos, cuando hablamos por internet, cuando mandamos un mail, cuando hablamos por videoconferencia. Cuando vamos por la calle y una cámara de seguridad o los dispositivos de otros peatones, captura nuestra imagen. Cuando hacemos una compra por internet. Vivir es emitir datos.

Esto está genial porque por primera vez tenemos mucha información sobre dinámicas sociales, que hasta ahora eran muy difíciles de cuantificar, pero trae muchos riesgos y es necesario gestionar estos datos de forma responsable.

La economía de los datos es una economía muy poco generosa. No crea ecosistemas. En el mundo de los datos, solamente gana el mejor. Es una economía de “the winner takes all” que tiende al monopolio. Los pequeños, siempre sufren. Hay mucha gente intentando convertirse en la próxima gran empresa de datos o esperando que alguien las compre. Luego también están los estados, para lo bueno y para lo malo. Esto no ha cambiado tanto, porque los estados siempre han tenido mucha información de los ciudadanos. Todo lo que hay actualmente. Recoger datos sin tener una finalidad propia. Recoger más datos de los que puedes justificar. No pedir permiso para recoger esos datos.  Ni informar a la persona sobre el motivo por el que recoges esos datos. Incorporar algoritmos que toman decisiones discriminatorias, sin ningún tipo de transparencia o explicación. Incorporar algoritmos sin ningún mecanismo para que las personas afectadas por ese algoritmo, pueda quejarse y decir no estoy de acuerdo con este diagnóstico algorítmico.

Esto no solamente es irresponsable, sino que es ilegal. La ley europea en protección de derechos en el entorno digital dice que hay modelos de negocio en base a la recolección de datos, que dejan de ser legales.

Si quieres proteger a las personas, no se puede hacer lo que se quiera con esos datos. No se puede mercantilizar esa información personal.

Lo que pasa es que la mayoría de empresas, se han puesto de perfil. Por eso estamos empezando a ver tribunales que están condenando algoritmos. El problema es que existe un lapso de tiempo entre que se saca la ley y se empieza a cumplir. Actualmente la norma es incumplir la ley de protección de datos.

En España hay algoritmos decidiendo el riesgo de incidencia de una persona en la cárcel o el riesgo de las mujeres maltratadas y su necesidad de protección. Si estos algoritmos fallan, las personas deberían tener mecanismos para alzar la voz y defenderse. En el mundo offline están establecidos los mecanismos para que nos defendamos, pero en el mundo online, este ecosistema de defensa de de las personas, no se ha establecido aún.

Ahora mismo el mundo tecnológico es un far west de derechos: es la ley del más fuerte.

La tecnología siempre refuerza el poder del que ya tiene poder. En el mundo del trabajo esto es más evidente que en ningún otro ámbito. La tecnología siempre es para controlar al trabajador. No hay ninguna tecnología para que el trabajador demuestre que hace horas extras. Tampoco hay una tecnología para demostrar que tiene una dolencia causada por su trabajo.

La tecnología nunca es neutral. Siempre está sesgada. La tecnología siempre se desarrolla a petición de alguien o para ponerla al servicio de algo. En el mundo del trabajo vemos una disfunción muy grande de a quién sirven estas tecnologías.

También se ve el impacto negativo de la tecnologia en las famosas ciudades inteligentes, las smart cities. Un montón de inversión fluyó para hacer realidad esta nueva promesa de poner la ciudad al servicio de los ciudadanos. Pero empezamos a ver que la práctica estábamos creando un gran hermano. Desde nuestra fundación empezamos a denunciar que todo lo que es inteligente, te vigila.

Cuando veáis el adjetivo “inteligente”: desconfiad.

Por ejemplo, si uno lee el manual de los televisores inteligentes, se recomienda no tener conversaciones sensibles delante del dispositivo, porque el dispositivo puede tener el micrófono encendido de forma constante. Son máquinas de grabar todo lo que ocurre a su alrededor. Esto en el ámbito doméstico es una cosa, porque tú has decidido si realizas esa compra o no. En el ámbito de la ciudad es diferente, porque tú no decides si lo haces o no lo haces.

Si queremos crear ciudades realmente inteligentes, tenemos que pensar en estas tecnologías para las personas. Y no utilizando a las personas, de nuevo, como un recurso barato.

En el tema de migración hemos trabajado en  la evaluación del efecto de las fronteras inteligentes, las smart borders, sobre los procesos de immigración. Hemos visto cosas terribles. Se han visto muchos avances tecnológicos aplicados en las fronteras. Por ejemplo: vamos a hacer que las fronteras no sean solamente gestionadas por un policía, sino que tengamos unos kioskos biométricos, donde la persona ponga sus huellas dactilares o su cara. O tengamos varias formas de validar la identidad, no solamente con el pasaporte que se puede falsificar. La aplicación de la inteligencia artificial se veía como un paso hacia adelante en el tema de migración, pero al final lo que nos encontramos son impactos negativos.

Si tu identidad ya no está en un documento, sino que está en tu cuerpo (huellas dactilares o rostro), para las personas que tienen una necesidad legítima de cambiar de país porque viven situaciones de represión, esto es devastador. Hemos visto casos, en los que personas que querían cambiar de vida en otro país, optaron por automutilarse.  ¿Por qué? Porque al final tu cuerpo delata quién eres.

Los algoritmos de la inteligencia artificial están basados en datos históricos que refuerzan los sesgos que traemos de comportamientos pasados, fomentádolos y haciendo que tomemos decisiones sesgadas que construyen un futuro igual o más desigual e injusto.

El tema con la innovación tecnológica, y de los algoritmos en concreto, es que nadie ha pensado sobre las consecuencias y los impactos negativos que pueden tener. Y mucho menos, se ha pensado en cómo solucionar estos problemas.

Se está avanzando, aunque sea poco y lento. Seguimos viviendo en una realidad que vende tecnología de mala calidad. Se quiere vender muy rápido y a todo el mundo lo mismo.

Sabemos que lo que realmente aporta valor es la tecnología customizada, la tecnología que está diseñada para un objetivo concreto de un cliente concreto.

Este cliente entiende el contexto en el que opera y puede aportar a que esto se considere para el desarrollo del algoritmo, e incorpora los mecanismos para la mitigación de los impactos negativos. Lo que pasa es que la buena tecnología es menos rentable.

Tenemos avances en tecnologías descentralizadas. Por ejemplo, la aplicación de rastreo de la COVID en Europa garantiza la privacidad.  En tecnología tienes dos alternativas. La alternativa del seguimiento total de la población (el control por GPS que sigue hasta cuando vas al baño, cuando sales de tu casa) y esto es una vulneración de todos los derechos fundamentales. O la alternativa que decide que no quiere controlar a la ciudadanía con la excusa de una pandemia, sino que quiere informar/avisar a alguien que ha estado cerca de alguien que ha dado positivo por COVID. La primera alternativa es la que aprovecha el problema del ciudadano para robarle datos y, desafortunadamente, es la dinámica habitual de la tecnología.

La buena noticia esque empieza a haber brotes de tecnología “pro-privacidad” que ya no usan el problema como excusa para captar datos, sino que ven la tecnología como una herramienta para solucionar problemas.