El Departamento de Servicios Financieros de Nueva York abre una investigación sobre los algoritmos de la nueva tarjeta Apple al determinar los límites de crédito después de una serie de tuits de un emprendedor de tecnología en los últimos días, alegando discriminación basada en sobre el sexo
La Apple Card es una empresa conjunta entre Apple Inc.
AAPL, + 0.27%
y el banco de inversión Goldman Sachs
GS -0,17%
quién es responsable de todas las decisiones de crédito en la tarjeta.
Una serie de mensajes de David Heinemeier Hansson que comenzaron el jueves después, criticaron a la Apple Card por otorgarle 20 veces el límite de crédito de su esposa. Hansson es conocido por estar detrás de la popular herramienta de programación Ruby on Rails. Es socio de Basecamp, una compañía de desarrollo de software basada en la Web.
Hansson no reveló ningún ingreso para él o su esposa, pero dijo que habían completado una declaración de impuestos conjunta y que su esposa tenía un puntaje de crédito mejor que el suyo.
"El ministerio investigará si la ley de Nueva York ha sido violada y para garantizar que todos los consumidores sean tratados por igual, independientemente del sexo", dijo Linda Lacewell, Superintendente Departamento de Servicios Financieros de Nueva York, según Bloomberg. relación. "Cualquier algoritmo, intencional o no, que conduzca a un trato discriminatorio de las mujeres o de cualquier otra clase de personas protegidas es una violación de la ley de Nueva York".
"Nuestras decisiones de crédito se basan en la solvencia del cliente y no en factores como el sexo, la raza, la edad, la orientación sexual o cualquier otra base prohibida por la ley", dijo el portavoz. de Goldman, Andrew Williams.
Hansson dijo que la respuesta de Goldman no explicaba lo que sucedió después de que comenzó a publicar sus problemas en las redes sociales.
"Tan pronto como esto se convirtió en un problema de relaciones públicas, inmediatamente aumentaron su límite de crédito sin pedir documentación adicional", dijo en una entrevista. "Creo que no había una mala persona que quisiera discriminar. Pero eso no importa. ¿Cómo sabe que no hay ningún problema con el aprendizaje automático cuando nadie puede explicar cómo se tomó esta decisión? "
Hansson dijo que sus mensajes habían llevado a una revisión interna y que esperaba que esto desencadenara una conversación sobre algoritmos de caja negra y los prejuicios inherentes a estos sistemas.
El uso de algoritmos por parte de los prestamistas en las decisiones de crédito ha sido objeto de un escrutinio minucioso en el Congreso. En junio, el Comité de Servicios Financieros de la Cámara escuchó sobre ejemplos de toma de decisiones algorítmicas en las que los investigadores identificaron casos de sesgos dirigidos a grupos específicos, incluso en ausencia de voluntad de discriminar.
"Goldman y Apple están delegando la evaluación de crédito en una caja negra", dijo Hansson. "Esta no es una intención de discriminación de género, pero es el resultado de la discriminación de género".
Esta es la segunda acción de este tipo por parte del regulador de Nueva York en las últimas semanas. NY DFS ha abierto una investigación contra el gigante de la salud UnitedHealth Group Inc.
H, + 0.20%
después de que un estudio revelara un algoritmo que favorecía a pacientes blancos en pacientes negros.
Los tweets, muchos de los cuales contienen blasfemia, se han vuelto virales en Internet.