بلاگ

براساس قانون ، تصميمات اعتباري و وام براساس نژاد نمي توانند تبعيض قائل شوند يا منجر به پيامدهايي شوند كه از نظر نژاد تفاوت زيادي دارند. اما براي اطمينان از عدم تبعيض ، بانكها و ساير وام دهندگان مجاز نيستند كه در بيشتر برنامه ها از نژاد سوال كنند. اين مسئله باعث مي شود كه حسابرسان مطمئن باشند كه تصميمات اعتباري عادلانه هستند ، براي حسابرسان چالش برانگيز است.

براي ارزيابي نابرابري هاي نژادي در تصميمات وام دهي ، وام دهندگان يا حسابرسان مجبورند نژادهاي متقاضيان را استنباط كنند ، عموماً با استفاده از سيستمي - معروف به پراكسي - كه نژادهاي متقاضيان را براساس آنچه مي دانند مانند محله ها و نام خانوادگي آنها حدس مي زنند.

اما براساس يك مطالعه جديد تحت رهبري كرنل ، اين پراكسي ها - از جمله روشي كه توسط اداره حمايت مالي مصرف كننده براي وام دهندگان حسابرسي استفاده شده است - بسته به تغييرات جزئي در نحوه حدس زدن نژاد متقاضيان ، مي توانند نتايج بسيار متفاوتي بدست آورند.

مادلين اودل ، ريچارد و سيبيل اسميت سسكويكننتنيال و استاديار دانشكده عمليات تحقيقات و مهندسي اطلاعات گفت: "نگران كننده است كه از اين مدل ها براي تعيين اينكه آيا موسسات مالي قانون را رعايت مي كنند استفاده شود." "آنها به وضوح آنچه را كه مي خواهند ارزيابي نمي كنند."

مقاله آنها با عنوان "انصاف تحت ناآگاهي: ارزيابي نابرابري در هنگام محافظت از طبقه محافظت نشده" ، در كنفرانس ACM در مورد عدالت ، پاسخگويي و شفافيت ، 29-31 ژانويه در آتلانتا ارائه خواهد شد. دانشجوي دكتراي كرنل تكنيك Xiaojie Mao نويسنده اصلي است. نويسندگان مشترك شامل Udell؛ ناتان كالوس ، استاديار تحقيقات تحقيقات و مهندسي اطلاعات در Cornell Tech؛ دانشمندان و داده هاي صنعت مالي Jiahao چن و جفري Svacha.

درك خطرات تبعيض در هنگام استفاده از هوش مصنوعي از اهميت ويژه اي برخوردار است زيرا نهادهاي مالي به طور فزاينده به يادگيري ماشين براي تصميم گيري در مورد وام متكي هستند . مدلهاي يادگيري ماشيني مي توانند ريز داده ها را براي دستيابي به پيش بيني هاي نسبتاً دقيق تجزيه و تحليل كنند ، اما عملكرد آنها مات است ، و اطمينان از انصاف را دشوار مي كند.

"چگونه كامپيوتر نژادپرست باشد ، اگر وارد مسابقه نشويد؟ خوب ، مي تواند و يكي از بزرگترين چالش هايي كه در سال هاي آينده با آن روبرو خواهيم شد ، انسانهايي هستند كه با يادگيري ماشيني با عواقب بد ناخواسته كه ممكن است ما را به سمت خود بكشند ، هستند. كالوس گفت: قطبش و نابرابري افزايش يافته است. "پيشرفت هاي زيادي در يادگيري ماشين و هوش مصنوعي وجود داشته است ، و ما بايد در استفاده از آن واقعاً مسئول باشيم."

نژاد يكي از چندين ويژگي محافظت شده توسط ايالتي و قانون فدرال است. موارد ديگر شامل سن ، جنس و وضعيت ناتواني است.

محققان از داده هاي وام هاي رهني استفاده كرده اند - نوع وام مصرف كننده كه شامل مسابقه در برنامه هاي كاربردي است - براي تست صحت سيستم حسابرسي Bayesian Surned Geocoding (BISG). آنها نتايج خود را غالباً بسته به چندين عامل ، اختلاف نژادي را دست كم و يا بيش از حد تخمين زدند. به فرض مسابقه بر اساس دستگاه هاي سرشماري كه متقاضيان در آن زندگي مي كنند ، متقاضيان سياه پوست را كه بيشتر در محله هاي سفيد زندگي مي كنند و متقاضيان سفيدي كه در محلات عمدتا سياه زندگي مي كنند ، پاك مي كند.

لينك فيلم: https://www.namasha.com/v/vqciaSWB

مدل BISG احتمال اينكه شخصي يك مسابقه خاص باشد را تخمين مي زند و در انجام محاسبات يك كاربر مي تواند حداقل يك احتمال را تعيين كند - براي مثال ، انتخاب استفاده از هر نمونه اي كه در آن احتمال يك مسابقه خاص 80 درصد يا بيشتر باشد. محققان دريافتند كه اختلاف در اين حداقل احتمال باعث تغييرات غير منتظره زيادي در نتايج شده است.

اودل گفت: "بسته به اينكه آستانه انتخاب كرديد ، پاسخهاي مختلفي مي گيريد كه روند اعتبار شما چقدر منصفانه بوده است."

يافته هاي محققان نه تنها بر دقت BISG تأثير مي گذارد ، بلكه مي تواند به توسعه دهندگان نيز كمك كند تا مدل هاي يادگيري ماشين را كه تصميم گيري هاي اعتباري دارند بهبود بخشد. مدل هاي بهتر مي تواند به بانكها كمك كند تا هنگام تصويب يا رد وام ، تصميمات آگاهانه تري بگيرند ، و اين ممكن است باعث شود كه اعتبار متقاضيان واجد شرايط اما كم درآمد كسب كنند.

كالوس گفت: "شما مي توانيد بفهميد كه چه كسي واقعاً منصفانه عمل خواهد كرد يا نه." "كاري كه ما مي خواهيم انجام دهيم اين است كه ما اين محدوديت ها را بر روي سيستم هاي يادگيري ماشيني كه مي سازيم و آموزش مي دهيم قرار دهيم ، بنابراين مي فهميم منظور از عادلانه بودن چيست و چگونه مي توانيم از همان ابتدا مطمئن شويم كه اين عادلانه است."