افرادی که برای یک وام از یک بانک یا شرکت کارت اعتباری درخواست می کنند و از آنها رد می شوند، توضیحاتی در مورد این که چرا اتفاق افتاده است، مدیون است. این یک ایده خوب است - زیرا می تواند به مردم آموزش دهد که چگونه اعتبار آسیب دیده خود را تعمیر کنند - و این یک قانون فدرال است قانون فرصت های برابر Equal. پاسخگویی در سال های گذشته، زمانی که انسان تصمیمات را اتخاذ کرد، بسیار مشکل نبود. اما امروز، به عنوان سیستم های هوش مصنوعی به طور فزاینده کمک و یا جایگزین مردم تصمیم گیری های اعتباری، گرفتن این توضیحات تبدیل شده است بسیار سخت تر است.

به طور سنتی، یک افسر وام که یک درخواست را رد کرد، می تواند یک وام گیرنده احتمالی را بگوید که در آن سطح درآمد، هر مسئله ای بود. اما سیستم های کامپیوتری که از پیچیده استفاده می کنند فراگیری ماشین مدل ها برای توضیح دادن حتی برای کارشناسان دشوار است.

تصمیمات اعتباری مصرف کننده تنها راه حل این مشکل است. نگرانی های مشابه وجود دارد مراقبت های بهداشتی, بازاریابی آنلاین و حتی عدالت کیفری. من علاقه خودم در این زمینه زمانی آغاز شد که یک گروه پژوهشی من بخشی از کشف بود تعصب جنسیتی در مورد اینکه چگونه تبلیغات آنلاین هدف قرار گرفتنداما نمی توانست توضیح دهد که چرا این اتفاق افتاد.

همه این صنایع و بسیاری دیگر که از یادگیری ماشین برای تجزیه و تحلیل فرآیندها و تصمیم گیری استفاده می کنند کمی بیش از یک سال است که برای توضیح چگونگی عملکرد سیستم هایشان بسیار بهتر می شوند. در ماه مه 2018، جدید مقررات حفاظت از اطلاعات عمومی اتحادیه اروپا طول می کشد، از جمله بخش دادن به مردم حق برای دریافت توضیح برای تصمیم گیری خودکار که بر زندگی آنها تاثیر می گذارد. این توضیحات چه شکل می گیرند و ما واقعا می توانیم آنها را فراهم کنیم؟

شناسایی دلایل کلیدی

یک راه برای توضیح اینکه چرا تصمیم اتخاذ شده از طریق آن انجام شده است، شناسایی عوامل موثر در تصمیم گیری است. چقدر از تصمیم لغو اعتبار به این دلیل بود که متقاضی پول کافی نداشته یا به دلیل عدم پرداخت وام در گذشته نتوانسته بود؟

گروه تحقیقاتی من در دانشگاه کارنگی ملون، از جمله دانشجوی دکترای شایاک سن و پس از آن، یار زییک، راه را برای اندازه گیری تاثیر نسبی از هر عامل ما آن را "نفوذ ورودی کمی" می نامیم.

علاوه بر درک بهتر از تصمیم فردی، اندازه گیری نیز می تواند بر تصمیم گروهی بیفزاید: آیا یک الگوریتم اعتبار را در درجه اول به دلیل نگرانی های مالی، از جمله اینکه چه مقدار متقاضی قبلا به بدهی های دیگر بدهکار است، رد کرد؟ یا کد پستی متقاضی مهم تر بود - پیشنهاد می کرد که آمار جمعیتی پایینی مانند نژاد ممکن است وارد بازی شود؟

گرفتن علیت

هنگامی که یک سیستم تصمیم گیری می کند بر اساس عوامل متعدد، شناسایی عوامل موثر بر تصمیم گیری و سهم نسبی آن مهم است.

به عنوان مثال تصور کنید یک سیستم تصمیم گیری اعتباری که فقط دو ورودی دارد، نسبت بدهی به درآمد متقاضی و نژاد او باشد، و تنها نشان داده شده است که وام فقط برای قفقاز تأیید شود. دانستن اینکه هر عامل در تصمیم گیری چه مقدار است، می تواند به ما کمک کند که درک کنیم آیا این یک سیستم قانونی است یا اینکه آیا آن را تبعیض آمیز می دانیم.

یک توضیح فقط می تواند به ورودی و نتیجه نگاه کند و همبستگی را ببیند - غیر قفقازی ها وام دریافت نمی کنند. اما این توضیح خیلی ساده است. فرض کنید که غیر قفقازانی که وامها را رد کرده بودند نیز درآمد بسیار پایینتری نسبت به قفقازانی داشتند که برنامههایشان موفق بودند. سپس این توضیح نمی تواند به ما بگوید که آیا نسبت مسابقه یا نسبت بدهی به درآمد متقاضیان منافات را رد کرد.

روش ما می تواند این اطلاعات را فراهم کند. گفتن این تفاوت به این معنی است که ما می توانیم از این که سیستم به طور ناعادلانه تبعیض آمیز یا به دنبال معیارهای مشروع، مانند مالیات متقاضیان است، دقت کنیم.

برای اندازه گیری تاثیر مسابقه در یک تصمیم اعتباری خاص، ما فرایند درخواست را اصلاح می کنیم، نسبت بدهی به درآمد را حفظ می کنیم، اما مسابقه متقاضی را تغییر می دهیم. اگر تغییر نژاد بر نتیجه تاثیر می گذارد، ما می دانیم نژاد یک عامل تعیین کننده است. اگر نه، می توان نتیجه گرفت که الگوریتم فقط به اطلاعات مالی نگاه می کند.

علاوه بر شناسایی عوامل که باعث می شود، می توانیم تأثیر نسبی علیت خود را بر تصمیم گیری اندازه گیری کنیم. ما این کار را با فاکتور تصادفی متغیر (به عنوان مثال نژاد) تغییر می دهیم و اندازه گیری می کنیم که چقدر احتمال دارد که نتیجه تغییر یابد. هرچقدر احتمال آن بالاتر باشد، بیشتر تأثیر این عامل است.

تجمع نفوذ

روش ما همچنین می تواند عوامل متعددی را که با یکدیگر همکاری می کنند، ترکیب کند. یک سیستم تصمیم گیری که اعتبار را برای متقاضیانی که دو مورد از سه معیار را برآورده می کنند، در نظر بگیرید: امتیاز اعتباری بالای 600، مالکیت یک ماشین و اینکه آیا متقاضی به طور کامل وام خانه را بازپرداخت. یک متقاضی، آلیس، با نمره اعتباری 730 و بدون ماشین یا وام خانه، می گوید، اعتبار را رد می کند. او تعجب می کند که آیا وضعیت مالکیت خودرو و یا تاریخ بازپرداخت وام خانه، علت اصلی است.

یک تحلیل ممکن است توضیح دهد که چگونه این وضعیت را تجزیه و تحلیل می کنیم. یک دادگاه را در نظر بگیرید که در آن تصمیم گیری توسط رای اکثریت یک هیئت از سه قاضی صورت می گیرد، جایی که یک محافظه کار، یک لیبرال و سوم رای گیری است، کسی که ممکن است با همکارانش کنار بیاید. در یک تصمیم محافظهکار 2-1، قاضی نوسان تأثیر بیشتری بر نتیجه از قاضی لیبرال داشت.

عوامل در نمونه اعتبار ما مثل سه قاضی هستند. اولین قاضی معمولا به نفع وام است، زیرا بسیاری از متقاضیان نمره اعتباری بالایی دارند. قاضی دوم تقریبا همیشه علیه وام رای می دهد زیرا تعداد زیادی از متقاضیان تا به حال از خانه پرداخت کرده اند. بنابراین تصمیم به قاضی نوسان می رود، که در مورد آلیس وام را رد می کند، زیرا او ماشین را ندارد.

ما می توانیم این استدلال را دقیقا با استفاده از آن انجام دهیم تئوری بازی همکاری، یک سیستم تجزیه و تحلیل دقیق تر اینکه چگونه عوامل مختلف به یک نتیجه واحد کمک می کند. به طور خاص، ما اندازه گیری های ما از نفوذ نسبی نسبی با ارزش شاپلی، که راه را برای محاسبه چگونگی تأثیر نفوذ به چندین عامل محاسبه می کند. با هم، این اندازه گیری تاثیر کمی ورودی ما را تشکیل می دهد.

تا کنون ما روش های خود را در سیستم های تصمیم گیری که ما با آموزش الگوریتم های یادگیری ماشین های رایج با مجموعه داده های دنیای واقعی ایجاد می کنیم، ارزیابی می کنیم. ارزیابی الگوریتم های کار در دنیای واقعی یک موضوع برای کار آتی است.

یک چالش باز

روش ما برای تجزیه و تحلیل و توضیح چگونگی تصمیم گیری الگوریتم ها در تنظیمات مفید است که در آن عوامل به آسانی قابل درک برای انسان هستند - مانند نسبت بدهی به درآمد و سایر معیارهای مالی.

با این حال، توضیح روند تصمیم گیری الگوریتم های پیچیده ای همچنان یک چالش مهم است. برای مثال، یک سیستم تشخیص تصویر مانند آنهایی که تشخیص و ردیابی تومورها. توضیح یک ارزیابی خاص تصویر بر اساس پیکسل های فردی بسیار مفید نیست. در حالت ایده آل، ما یک توضیح خواهیم داد که بینش بیشتری را در تصمیم گیری فراهم می کند، مانند شناسایی ویژگی های خاص تومور در تصویر. در واقع، طراحی توضیحات برای چنین وظایف تصمیم گیری خودکار، نگه داشتن بسیاری از محققان است مشغول.

درباره نویسنده

Anupam Datta، دانشیار علوم کامپیوتر و مهندسی برق و کامپیوتر، دانشگاه کارنگی ملون

این مقاله در اصل در تاریخ منتشر شد گفتگو. دفعات بازدید: مقاله.

کتاب های مرتبط

at InnerSelf Market و آمازون