Una app usaba una IA para encontrar al "inquilino ideal". Salió tan mal que van a pagar 2,3 millones de dólares en discriminación

Esta semana ocurrió un hecho insólito. Pusieron a una IA al mando de una empresa, y a esta hora ha despedido a más del 95% de la plantilla. Hace unos meses, un estudio simuló un conflicto para ver cómo lo resolvían las cinco IAs más avanzadas. Los algoritmos acabaron “lanzando” un arsenal nuclear “para tener paz en el mundo”. Son solo dos ejemplos donde la IA se pasó de frenada que sirven para entender lo ocurrido en Estados Unidos cuando una herramienta podía evaluar al “inquilino ideal”.

Una app bajo escrutinio. SafeRent es una herramienta de evaluación de inquilinos impulsada por inteligencia artificial, una que a esta hora se ha visto obligada a dejar de usar su sistema de puntuación para los usuarios que utilizan los vales o bonos de vivienda en Estados Unidos, tras una demanda colectiva que ha acusado a la empresa de discriminación basada en ingresos y raza.

El caso, que ha culminado con un acuerdo de 2.3 millones de dólares, fue aprobado por la jueza federal Angel Kelley, prohibiendo prácticas discriminatorias bajo la Ley de Vivienda Justa y las leyes de Massachusetts.

Discriminación. La demanda, presentada en 2022, alegaba que el algoritmo de SafeRent perjudicaba de manera desproporcionada a solicitantes de vivienda negros e hispanos, así como a aquellos que usaban vales de vivienda. Al parecer, el sistema de puntuación de la aplicación, que considera factores como el historial crediticio y deudas no relacionadas con el alquiler, asignaba calificaciones que resultaban en la negación de solicitudes de vivienda, especialmente para estos grupos.

No solo eso. También la falta de transparencia sobre cómo se calculaban las puntuaciones aumentaba las preocupaciones de los usuarios.

Cambios en el sistema. Según el acuerdo de cinco años, SafeRent dejará de mostrar puntuaciones para solicitantes que usan esos vales de vivienda y no podrá recomendar a los propietarios aceptar o rechazar dichas solicitudes basándose únicamente en sus algoritmos.

De esta forma, los propietarios tendrán que evaluar a los inquilinos que usan vales considerando todo su historial, sin depender de la puntuación generada por SafeRent.

Cuando una IA evalúa. Los críticos con la herramienta han señalado que los modelos basados en puntajes crediticios no son representativos de la capacidad de un inquilino para pagar el alquiler. Según Shennan Kavanagh, del Centro Nacional de Leyes de Consumidor, estos datos han sido probados únicamente para predecir pagos de crédito, no alquileres, lo que pone en total desventaja a los grupos marginados.

Por ello, los 2.3 millones de dólares del acuerdo serán destinados a solicitantes de Massachusetts que usaron estos vales de vivienda y cuya solicitud se rechazó debido al sistema de puntuación de SafeRent. La resolución busca "reparar parte del daño causado a estos usuarios que enfrentaron barreras injustas para acceder a una vivienda".

Un precedente peligroso. Aunque SafeRent sigue defendiendo que sus prácticas cumplen con las leyes vigentes, lo cierto es que la empresa finalmente ha optado por resolver el caso para evitar más gastos legales y continuar con su "misión" de ofrecer herramientas de evaluación a los proveedores de vivienda.

Sea como fuere, el caso subraya los riesgos asociados con herramientas basadas en algoritmos, en este caso en el sector inmobiliario. El pasado mes de agosto, el Departamento de Justicia de Estados Unidos también demandó a RealPage por su software de fijación de precios, acusándolo de inflar artificialmente los alquileres. Qué duda cabe, estas acciones “legales” también resaltan la creciente preocupación sobre el uso de inteligencia artificial en prácticas que afectan directamente a comunidades vulnerables.

Imagen | Pexels

En Genbeta | La Generación Z se enfrenta a dos grandes problemas: la crisis de vivienda y no querer trabajar a cualquier precio

En Genbeta | Airbnb ha perdido toda su esencia inicial y eso, dice su CEO, lo "ha roto": pide a los alojamientos bajar el precio