ARTDEPARTMENT
ARTDEPARTMENT
Esta semana ocurrió un hecho insólito. Pusieron a una IA al mando de una empresa, y a esta hora ha despedido a más del 95% de la plantilla. Hace unos meses, un estudio simuló un conflicto para ver cómo lo resolvían las cinco IAs más avanzadas. Los algoritmos acabaron “lanzando” un arsenal nuclear “para tener paz en el mundo”. Son solo dos ejemplos donde la IA se pasó de frenada que sirven para entender lo ocurrido en Estados Unidos cuando una utensilio podía evaluar al “inquilino ideal”.
Una app bajo exploración. SafeRent es una utensilio de evaluación de inquilinos impulsada por inteligencia fabricado, una que a esta hora se ha conocido obligada a dejar de usar su sistema de puntuación para los usuarios que utilizan los vales o bonos de vivienda en Estados Unidos, tras una demanda colectiva que ha pronunciado a la empresa de discriminación basada en ingresos y raza.
El caso, que ha culminado con un acuerdo de 2.3 millones de dólares, fue aceptado por la jueza federal Angel Kelley, prohibiendo prácticas discriminatorias bajo la Ley de Vivienda Competición y las leyes de Massachusetts.
Discriminación. La demanda, presentada en 2022, alegaba que el cálculo de SafeRent perjudicaba de modo desproporcionada a solicitantes de vivienda negros e hispanos, así como a aquellos que usaban vales de vivienda. Al parecer, el sistema de puntuación de la aplicación, que considera factores como el historial crediticio y deudas no relacionadas con el locación, asignaba calificaciones que resultaban en la negación de solicitudes de vivienda, especialmente para estos grupos.
No solo eso. Además la falta de transparencia sobre cómo se calculaban las puntuaciones aumentaba las preocupaciones de los usuarios.
Cambios en el sistema. Según el acuerdo de cinco primaveras, SafeRent dejará de mostrar puntuaciones para solicitantes que usan esos vales de vivienda y no podrá sugerir a los propietarios aceptar o repeler dichas solicitudes basándose nada más en sus algoritmos.
De esta forma, los propietarios tendrán que evaluar a los inquilinos que usan vales considerando todo su historial, sin subordinarse de la puntuación generada por SafeRent.
Cuando una IA evalúa. Los críticos con la utensilio han señalado que los modelos basados en puntajes crediticios no son representativos de la capacidad de un inquilino para pagar el alquiler. Según Shennan Kavanagh, del Centro Doméstico de Leyes de Consumidor, estos datos han sido probados únicamente para predecir pagos de crédito, no alquileres, lo que pone en total desventaja a los grupos marginados.
Por ello, los 2.3 millones de dólares del acuerdo serán destinados a solicitantes de Massachusetts que usaron estos vales de vivienda y cuya solicitud se rechazó adecuado al sistema de puntuación de SafeRent. La resolución indagación "reparar parte del daño causado a estos usuarios que enfrentaron barreras injustas para entrar a una vivienda".
Un precedente peligroso. Aunque SafeRent sigue defendiendo que sus prácticas cumplen con las leyes vigentes, lo cierto es que la empresa finalmente ha optado por resolver el caso para evitar más gastos legales y continuar con su "representación" de ofrecer herramientas de evaluación a los proveedores de vivienda.
Sea como fuere, el caso subraya los riesgos asociados con herramientas basadas en algoritmos, en este caso en el sector inmobiliario. El pasado mes de agosto, el Área de Imparcialidad de Estados Unidos también demandó a RealPage por su software de fijación de precios, acusándolo de inflar artificialmente los alquileres. Qué duda junto a, estas acciones “legales” igualmente resaltan la creciente preocupación sobre el uso de inteligencia fabricado en prácticas que afectan directamente a comunidades vulnerables.
Imagen | Pexels
En Genbeta | La Vivientes Z se enfrenta a dos grandes problemas: la crisis de vivienda y no querer trabajar a cualquier precio
En Genbeta | Airbnb ha perdido toda su esencia auténtico y eso, dice su CEO, lo "ha roto": pide a los alojamientos desmontar el precio
Compartir este artículo
Consultoria Personalizada
¡Si aun no tienes presencia en internet o
necesitas ayuda con tus proyectos, por favor, escribenos!
En ARTDEPARTMENT nos especializamos en brindar soluciones para que tu negocio, empresa o proyecto sea visible en internet.