چگونه الگوریتم ها می توانند بیشتر از انسان ها باشند

آمازون اخیرا شروع به ارائه نمود تحویل یک روزه در مناطق شهری انتخاب شده. این ممکن است برای بسیاری از مشتریان مفید باشد، اما راه اندازی نشان می دهد که چگونه تصمیم گیری کامپیوتری نیز می تواند دوز قوی از تبعیض را ارائه کند.

به صراحت، این سرویس در مناطقی که هزینه های تحویل آن پایین آمده است، با شناسایی کد های پستی از مکان های پر جمعیت که به بسیاری از مشتریان آمازون موجود بستگی دارد، با سطح درآمد بالا به اندازه کافی برای خرید مکرر محصولات موجود برای تحویل یک روزه، خدمات خود را آغاز کرد. این شرکت یک صفحه وب را برای مشتریان وارد کنید تا کد پستی خود را وارد کنید تا ببینید آیا تحویل روزانه به آنها تحویل داده می شود. روزنامه نگاران تحقیقاتی در بلومبرگ خبر از این صفحه استفاده کردند نقشه های منطقه سرویس آمازون برای تحویل یک روزه را ایجاد کنید.

تجزیه و تحلیل بلومبرگ نشان داد که بسیاری از مناطق فقیر شهری از منطقه خدمات محروم شده اند، در حالی که مناطق همسایه ثروتمندتر نیز شامل شده است. بسیاری از این مناطق فقیر محروم بودند که عمدتا اقلیت ها ساکن بودند. به عنوان مثال، تمام بوستون به جز Roxbury پوشش داده شد؛ پوشش شهر نیویورک شامل تقریبا تمام چهار شهرک بود اما به طور کامل برونکس را نادیده گرفت؛ پوشش شیکاگو ساحل فقیرنشین جنوبی را ترک کرد، در حالی که به طور قابل ملاحظه ای به مناطق ثروتمند و حومه شمال و غرب گسترش یافت.

در حالی که وسوسه انگیز است که تصور می شود تصمیمات مبتنی بر داده ها بی طرفانه باشند تحقیق و بحث علمی شروع به نشان دادن آن می کنند ناعادلانه و تبعیض باقی می ماند. در من دوره آنلاین در اخلاق داده ها، دانش آموزان آن را یاد می گیرند الگوریتم ها می توانند تبعیض آمیز باشند. اما ممکن است کمی از یک پوشش نقره ای وجود داشته باشد: همانطور که تحقیقات بلومبرگ نشان می دهد، تصمیم گیری براساس داده ها ممکن است باعث تشخیص زمان بروز اشتعال شود.

تقصیر می تواند ناخواسته باشد

عدم احترام به آن در سیاست تحویل آمازون می تواند به دلایل بسیاری، از جمله تعصبات پنهان - مانند پیش فرض هایی که جمعیت ها به طور یکنواخت توزیع می شوند. طراحان الگوریتم احتمالا قصد ندارند تبعیض را ایجاد کنند و حتی ممکن است متوجه شوند که مشکل رخ داده است.


گرافیک اشتراک درونی


آمازون به بلومبرگ گفت که هیچ قصد تبعیض آمیز ندارد و هر دلیلی وجود دارد که ادعا کند. در پاسخ به گزارش بلومبرگ، شهرستان مقامات و سیاستمداران دیگر به آمازون دعوت شد تا این مشکل را حل کند. شرکت به سرعت اضافه کرد ابتدا کد های ضعیف شهری شهر را به ناحیه سرویس خود متوقف کرد.

یک سوال مشابه وجود دارد از اوبر پرسیدمکه به نظر می رسد ارائه خدمات بهتر به مناطق ساکن با نسبت های بالایی از مردم سفید. این احتمال وجود دارد که نمونه های خرده فروشی و خدمات بیشتر از تبعیض الگوریتمی ناخواسته در آینده پیدا شود.

درخواست بیش از حد از الگوریتم ها؟

ما باید لحظه ای متوقف شویم تا بتوانیم تصور کنیم که آیا ما از تصمیمات الگوریتمی تقاضای نادرستی می کنیم. فروشگاههای آژانس و کارخانه های اجرایی همیشه تصمیم می گیرند، با توجه به معیارهای حسابداری که متفاوت از آمازون نیست. فروشگاه ها تلاش می کنند مکان هایی را پیدا کنند که برای یک مجموعه بزرگ از مشتریان بالقوه مناسب باشند تا بتوانند هزینه کنند.

در نتیجه، تعداد محدودی از فروشگاه ها در مکان های فقیرانه شهر قرار می گیرند. به ویژه در زمینه فروشگاه های مواد غذایی، این پدیده به طور گسترده مورد مطالعه قرار گرفته است، و اصطلاح "کویر غذا"برای توصیف مناطق شهری که ساکنان دسترسی آسان به غذاهای تازه ندارند استفاده شده است. این جایگزینی مکان کمتر برای فروشگاه های خرده فروشی به طور کلی مورد مطالعه قرار گرفته است.

به عنوان نمونه ی برجسته، من به مکان های 55 میشیگان از Target، یک شبکه بزرگ خرده فروشی جامع نگاه کرد. وقتی کد پستی هر کدام میشیگان را بر اساس اینکه درآمد متوسط ​​آن در نیمه اول یا پایین کشور در سطح کشور بود مرتب شدم، متوجه شدم که فقط 16 از فروشگاه های هدف (29 درصد) در کد پستی از گروه درآمد پایین بود. بیش از دو برابر تعداد فروشگاه های 39 در کد پستی از نیمه ثروتمند تر بود.

شناسایی تبعیض

علاوه بر این، هیچ فروشگاه هدف در شهر دیترویت وجود ندارد، اگرچه در حومه آن (ثروتمند) چندین مورد وجود دارد. با این وجود هیچ تظاهرات مردمی وجود ندارد که ادعا کند هدف غیرقانونی در مورد افراد فقیر در تصمیمات مربوط به محل سکونت آنها تبعیض آمیز است. دو دلیل اصلی وجود دارد که نگرانی های مربوط به آمازون توجیه می شود: سفتی و تسلط.

سفتی با هر دو پروسه تصمیم گیری خرده فروشان آنلاین و با نتیجه است. آمازون تصمیم می گیرد که کدام کدپستی در منطقه خدمات خود باشد. اگر یک مشتری در سراسر خیابان از مرز تعیین شده توسط آمازون زندگی کند، او خارج از منطقه سرویس است و می تواند کمی در مورد آن کار کند. در مقابل، کسی که در یک کد پستی بدون یک فروشگاه هدف زندگی می کند، هنوز هم می تواند در Target خرید کند - هرچند ممکن است طول بکشد تا به آنجا برسد.

همچنین مهم است که چگونه خرده فروشان غالب در ذهن مصرف کنندگان هستند. در حالی که هدف تنها یکی از بسیاری از زنجیره های فروشگاه های فیزیکی است، آمازون لذت می برد تسلط بازار به عنوان یک خرده فروش وبو از این رو توجه بیشتری را جذب می کند. چنین تسلط یک ویژگی امروز است برنده تمام طول می کشد کسب و کارهای وب

در حالیکه استحکام و تسلط آنها می تواند موجب نگرانی بیشتر ما در مورد کسب و کارهای آنلاین شود، ما نیز بهتر می توانیم تبعیض خود را تشخیص دهیم نسبت به فروشگاه های آجر و ملات. برای یک فروشگاه زنجیره ای سنتی، ما باید حدس بزنیم که چقدر مصرف کنندگان مایل به سفر هستند. ما ممکن است نیاز به دانستن زمان داشته باشیم: پنج مایلی به خروجی آزادراه بعد، همان چیزی نیست که پنج مایلی از طریق خیابان های پر از جاذبه به طرف دیگر شهر می آید. علاوه بر این، زمان سفر خود می تواند به طور گسترده ای بسته به زمان روز متفاوت باشد. پس از شناسایی مناطق احتمالا یک مغازه در خدمت است، ممکن است آنها را به طور منظم در واحد های جغرافیایی که برای ما آمار مربوط به نژاد یا درآمد دارند، نشان ندهیم. به طور خلاصه، تجزیه و تحلیل کلاسیک است و نیاز به تلاش زیادی دارد.

در مقابل، روزنامه نگاران تنها در چند ساعت به بلومبرگ رسیدند تا یک نقشه منطقه آمازون را توسعه دهند و آن را با درآمد یا مسابقه مرتبط سازند. اگر آمازون این را به صورت داخلی انجام داد، می توانست آن را در عرض چند دقیقه انجام دهد - و شاید مشکلی را متوجه شده و قبل از آنکه سرویس روزانه حتی آغاز شود، آنها را ثابت کرد.

چگونه انسان ها مقایسه می کنند؟

به یک نمونه بسیار متفاوت نگاه کنید تا ببینیم که همان نقاط به طور گسترده کاربرد دارند. اخیرا ProPublica منتشر شده است یک تحلیل عالی از تبعیض نژادی با یک الگوریتم که پیش بینی احتمال احتمال مجازات مجرمان را دارد. الگوریتم ده ها تن از عوامل را در نظر می گیرد و تخمین احتمال را محاسبه می کند. تجزیه و تحلیل ProPublica دربرگیرنده تعصب نژادی شدید سیستماتیک بود، هرچند نژاد در میان عوامل خاصی مورد توجه قرار نگرفت.

بدون الگوریتم، یک قاضی انسانی برآوردهای مشابهی را به عنوان بخشی از یک تصمیم محکوم یا محکومیت به دست می آورد. تصمیم انسان می تواند مجموعه ای غنی از عوامل را، مانند رفتار جنایی جنایی، در نظر بگیرد. اما ما می دانیم، از مطالعات در روانشناسی، که تصمیم گیری های انسانی با تعصب کامل است، حتی زمانی که ما تلاش می کنیم که عادلانه باشیم.

اما هرگونه اشتباهاتی که ناشی از تعصب در تصمیمات قضات انسانی است، احتمالا متفاوت است میان قضات و حتی تصمیمات مختلفی که قاضی یکسان می گیرد. به طور کلی ممکن است تبعیض نژادی به دلیل باشد تعصب ناخودآگاه، اما ایجاد این به طور قطعی، روی حیله و تزویر است. یک تحقیق وزارت دادگستری ایالات متحده شواهد قوی نشان داد تفاوت در محکوم کردن محکومین سفید و سیاه، اما نمی توانست به وضوح مشخص کند که آیا نژاد خود عامل دیگری در این تصمیمات بود.

در مقابل، همان الگوریتم ProPublica دقیق مورد استفاده در هزاران مورد در بسیاری از کشورها مورد استفاده قرار می گیرد. سفتی آن و حجم زیاد، کار را برای تعیین اینکه آیا آن را تبعیض می کند، آسان می کند و می تواند راه هایی را برای موثر حل مشکل حل کند.

به نظر می رسد استفاده از فناوری اطلاعات خطوط را روشن تر می کند، تفاوت ها و داده های مربوط به همه این ها بسیار راحت تر است. حالا چه چیزی می تواند زیر قالیچه برداشته شود و اکنون توجه زیادی به آن می شود. همانطور که استفاده های بیشتری از الگوریتم های داده محور را پیدا می کنیم، هنوز برای تجزیه و تحلیل عدالت خود، به ویژه قبل از ردیابی سرویس جدید مبتنی بر داده ها، معمول نیست. انجام آن به طرز طولانی ای برای اندازه گیری و بهبود، عدالت از این محاسبات رایج فزاینده مهم است.

درباره نویسندهگفتگو

HV Jagadish، Bernard A Galler استادیار گروه مهندسی برق و علوم کامپیوتری، دانشگاه میشیگان

این مقاله در اصل در تاریخ منتشر شد گفتگو. دفعات بازدید: مقاله.

کتاب های مرتبط

at InnerSelf Market و آمازون