Hipcam Blog
HipcamBlog
Notas de prensa | 09 de Agosto de 2021

No es ciencia ficción: robots que discriminan y autos que chocan para matar, los problemas de la Inteligencia Artificial

...

Desde un mal uso de los datos personales hasta sesgos discriminatorios "aprendidos" por las máquinas: un recorrido por los dilemas que plantea el auge de las tecnologías de IA en las empresas.

Fuente: infotechnology.com

Comparte en:

La ciencia ficción nos aterrorizó durante años: robots que, apenas tomaban control de una situación, la emprendían contra los humanos a pura venganza. Ahora que la inteligencia artificial (IA) se convirtió en parte del menú estándar de opciones tecnológicas que tienen las empresas para implementar, llegó la hora de replantear su uso ético y responsable.

"La inteligencia artificial es cada vez más ciencia y menos ficción: estamos viviendo todos los pronósticos sobre el poder de esta tecnología para modificar la forma en que hacemos las cosas", dice Fredi Vivas, cofundador y CEO de Rocking Data, empresa que crea y exporta algoritmos de inteligencia artificial y machine learning. "Si queremos aprovechar sus beneficios para mejorar la calidad de vida de las personas, es el momento de establecer criterios legales y éticos sólidos", define.

"En general, son pocas las empresas de la región que hacen una evaluación profunda de las contingencias legales asociadas al uso de IA en sus modelos de negocios", dice Marcelo García Sellart, consultor asociado del estudio jurídico Gordó Llobel, asesor de empresas del sector, como, por ejemplo, la consultora Práctia.

"La avidez por usar la tecnología hace que no siempre se considere en profundidad cuestiones como la forma de actualizar un algoritmo o corregir desvíos o sesgos en su proceso de aprendizaje, tanto respecto de la responsabilidad del desarrollador o proveedor hacia su cliente como de la empresa usuaria en relación con sus consumidores", agrega.

"Independientemente de lo legal, las empresas no solo deben garantizar que los modelos de IA recopilen y almacenen los datos personales en condiciones estrictas, sino que además los protejan del uso indebido y la explotación, así como respeten los derechos y privacidad de las personas", explica Sergio Mastrogiovanni, jefe de datos e innovación de Nubiral, compañía experta en innovación digital. El especialista pone como ejemplo las tecnologías utilizadas para monitorear la propagación del Covid-19. "Plantearon serios problemas de privacidad", dice.

MENOS DE LO QUE SE CREEN

BCG Gamma analizó las prácticas de IA responsable: el estudio reveló que el 55 por ciento de las empresas analizadas sobreestiman la madurez que ostentan en este campo. Las puntuaciones más altas están en Europa y América del Norte, con un 67 por ciento promedio. En América del Sur, la cifra cae al 57 por ciento.

"Aún hay mucho que hacer por parte de las empresas para capturar los beneficios y gestionar los riesgos de la IA", indica Cristián Carafí, gerente general de la consultora experta en estrategias de negocios BCG.

El estudio se hizo a partir de diferentes dimensiones, como gobernanza de datos y privacidad, seguridad, protección y solidez, justicia y equidad, mitigación del impacto social y ambiental y transparencia. Puntualmente, en la Argentina, del 22 por ciento de las organizaciones que aseguraron haber implementado con éxito estrategias responsables de IA, apenas un 6 por ciento lo había logrado en la realidad.

"No existe, y no hay indicios de que vaya a existir, una IA general (AGI por sus siglas en inglés), por lo que las máquinas no tienen conciencia, ni intención, ni sentimientos y las técnicas de IA son simplemente herramientas matemáticas para ayudar al humano en la toma de decisiones", defiende Marcela Riccillo, docente de la certificación profesional de Inteligencia Artificial del ITBA. "La máquina aprende lo que el humano le enseña, por lo que al armar el conjunto de datos es importante que sea representativo del problema a modelar, interactuar con los clientes o especialistas para ver qué se requiere que haga el sistema y probarlo ante diferentes situaciones", dice.

Sin embargo, hay una serie de aspectos acuciantes que deben tomarse en cuenta de inmediato. Uno, tal vez el más relevante en la actualidad, es el uso de los datos personales.

"Desde las redes sociales hasta los bancos, retailers, gobierno y casi todos los servicios que utilizamos implican la recopilación y análisis de nuestros datos personales: nombre, dirección, número de tarjeta de crédito y hasta nuestras fotos, todo está recopilado, analizado y -quizás lo más importante- almacenado por estas empresas", explica Mastrogiovanni.

EN EUROPA SÍ SE CONSIGUE

GDPR (General Data Protection Regulation) lleva bastantes años como norma en Europa -tal vez el continente que más avanzado tiene este tema- mientras que en la Argentina el tema se enmarca en la Ley de Protección de Datos Personales. "Cualquier software o negocio que quiera competir en Europa debe contemplarla, en especial los algoritmos de machine learning, que a veces se comportan como una caja negra", dice Mastrogiovanni.

"Latinoamérica no está todavía madura para implementar modelos de IA, ya que tienen retos anteriores como procesos manuales, data en silos e información no integrada, pero las empresas que desarrollan soluciones inteligentes para Estados Unidos y Europa deben ser muy cuidadosas con estas cuestiones y abordar temas de privacidad en las primeras etapas de los proyectos, en lugar de al final", agrega.

El especialista explica que en general se encriptan los datos o se utiliza el blinding o pseudonymizing "para que aún un ingeniero que esté creando el código no pueda ver los datos que el algoritmo procesa y al mismo tiempo logre entender qué factores contribuyeron a la decisión para evitar sesgos", finaliza.

Quedan, más allá de estas legislaciones, varios puntos grises. "Este vacío legal (a medias) hace que no se genere el suficiente foco en estas cuestiones: los riesgos legales de una empresa que abusa de la recolección y utilización de los datos que obtienen de sus usuarios hoy no cuenta con las sanciones que deriven sus incentivos a ser más cuidadosas y hacer un uso más ético", señala Alan Daitch, vicepresidente de datos para Latinoamérica de la consultora especializada en medios digitales MightyHive.

En la Argentina, del 22 por ciento de las organizaciones que aseguraron haber implementado con éxito estrategias responsables de IA, apenas un 6 por ciento lo había logrado en la realidad

"Una de las cuestiones de GDPR que me parece relevante que se replique en el corto plazo es brindar información a los usuarios, permitiéndoles conocer con detalle toda la información sobre sí mismos que una empresa tiene recolectada y darles la opción de solicitar su eliminación inmediata", agrega.

Los temas a resolver se multiplican. "Existe una serie de actividades que están siendo cuestionadas en foros civiles de muchos países como qué pasa con las imágenes almacenadas por las cámaras de seguridad, si es válido hacer reconocimiento facial en imágenes sin la autorización de las personas o si el hecho de haber dado consentimiento a un sitio para el uso de los datos personales eso significa que ellos pueden comercializarlos luego con terceros", enumera Carlos Abril, CEO de Atos para la región Austral Andina.

Edgar Altszyler, product owner de IA en HIPCAM, firma especializada en brindar soluciones de acceso y seguridad inteligente, afirma que el uso de edge computing como paradigma para desarrollar sus soluciones ayuda en este sentido. "Al procesar los datos en el punto de origen (nuestras cámaras, por ejemplo), no se requiere la transmisión de datos como ocurre con la nube o los servidores internos, con lo que se evitan filtraciones y la recolección de datos personales de los usuarios que podrían vulnerar su privacidad", sostiene.

ROBOT Y DISCRIMINADOR

"Un tema que todavía no es muy tenido en cuenta por las empresas es el impacto que puede tener la mala utilización de los datos en la experiencia del usuario y en la reputación de la marca: es importante que las compañías sean conscientes del customer experience data journey que atraviesan los clientes", dice Adrián Lasso, vicepresidente de Baufest, una de las principales desarrolladoras de software de Argentina. "Si sus datos no son utilizados como ellos esperan o sienten vulnerada su privacidad, las acciones realizadas tendrán un resultado sumamente negativo", agrega.

Otro gran punto de análisis es el de los sesgos. ¿Podemos crear máquinas inteligentes que automaticen la intolerancia y la discriminación? ¡Claro que sí!

"Cada vez más las grandes compañías usan machine learning para los procesos de reclutamiento y contratación: desde el lado operativo, reduce los ciclos de entre ocho y 10 semanas a menos de tres, pero al mismo tiempo aparece un gran riesgo de que se produzcan falsos positivos (selección de personas que no son las mejores para la empresa, en base a data histórica) o falsos negativos (personas que quedan afuera por un tema de sesgo)", dice Mastrogiovanni, quien explica que los sistemas de IA pueden comportarse de manera injusta por razones sociales, técnicas o culturales.

"Al entrenarse con datos de la historia, puede repetir patrones o errores del pasado: por ejemplo, contratar doctores hombres y enfermeras mujeres porque en la base de datos está registrado mayoritariamente así", concluye Mastrogiovanni.

Existe un caso concreto en este sentido, y de una empresa no menor: Amazon, que discontinuó hace unos años el uso de un algoritmo de IA de selección de candidatos porque descubrió que sólo elegía hombres, debido a que había sido entrenado con CV de los 10 años anteriores, momento en el que para posiciones técnicas se presentaban mayoritariamente personas de sexo masculino. El algoritmo dejaba fuera, por ejemplo, a una candidata que citaba haber sido capitana del equipo de ajedrez de mujeres.

"Si bien desde el punto de vista técnico el entrenamiento había sido completo y con datos reales, el algoritmo no tenía la capacidad de predecir que algunas cosas, en este caso mayor inclusión de mujeres en el ámbito técnico, podían estar en proceso de cambio", relata Lasso. "La lección es que estos algoritmos son tan potentes que descubren comportamientos que incluso los humanos no hemos notado: es parte de nuestra responsabilidad y compromiso profesional y técnico monitorear y analizar los resultados que pueden generarse", agrega.

"Cuando usamos aprendizaje automático, creamos modelos para que las máquinas puedan entender el mundo y este puede ser un proceso que replique o, peor aún, amplifique errores humanos", asegura Vivas. "Hoy tenemos la capacidad de detectarlos, pero a medida que estos algoritmos se vuelvan más complejos, quizá no podamos hacerlo", prevé.

"Recurrimos a máquinas que ‘piensan' de una manera diferente a nosotros, calculan más rápido que los humanos y encuentran patrones que serían imposibles de descubrir de otra manera, aunque a veces no sepamos explicar cómo lo consiguen: en este contexto y dada la infinita complejidad de un sistema de valores humanos, es necesario que la IA sea dotada de valores y principios, esto es responsabilidad de los humanos que construimos estas tecnologías, comprendiendo las implicaciones morales y éticas de nuestro trabajo", explica.

LA DECISIÓN DEL VEHÍCULO AUTÓNOMO

La ética de la IA no se limita al uso de los datos: incluye desde temas como sostenibilidad (los modelos requieren un enorme poder de cómputo y generan un consumo eléctrico muy alto) hasta garantizar la equidad (es decir, un tratamiento igualitario sin discriminación), fiabilidad, seguridad y transparencia. No olvidemos que estos modelos se están utilizando para decidir desde quién es apto para obtener un préstamo en el banco hasta para evaluar si una persona debe ser condenada.

En este sentido, fue notorio el caso de Compas, un software utilizado por la Corte de Estados Unidos para evaluar la posibilidad de que un acusado se convierta en reincidente, sobre el cual se detectó un importante sesgo en contra de minorías étnicas.

Abril destaca los sistemas de IA más complejos que se enfrentan a situaciones éticas conocidas como trolley problems, como ocurre con los vehículos autónomos que pueden llegar a la situación extrema de tener que decidir entre atropellar a alguien o generar un choque en cadena, por citar un ejemplo extremo.

¿Hasta qué punto regular más puede resolver estos problemas? "No sirve una regulación sin participación activa de la industria: no basta con copiar el reglamento europeo", advierte García Sellart. Lo ideal, sugiere el experto, sería armar un proceso de consulta sobre qué aplicaciones de IA habría consenso en cuanto a su necesidad de regulación y ver cuáles son las normas que actualmente rigen la industria correspondiente a esa aplicación.

"Por otra parte, hay que pensar que los negocios a los que se aplica la IA son interjurisdiccionales; por lo tanto, es un debate al que también hay que darle una mirada hacia el exterior", aporta. Y propone usar herramientas como un sandbox regulatorio que permita ensayo y error en este terreno. "El gran desafío a nivel normativo es conformar equipos de personas con el conocimiento y la experiencia para definir e implementar marcos regulatorios que estén a la altura de las necesidades", coincide Lasso.

Decir que no hay normas, asegura García Sellart, es ver apenas un fragmento del paisaje. "Un tribunal no va a dejar de fallar por la falta de una ley especial: va a utilizar el derecho vigente y verá cómo encuadra los hechos", afirma.

Por Walter Duer

Volver al blog