هوش مصنوعی یاد می‌گیرد که چه زمان‌هایی قابل اعتماد نیست!
امروزه افراد برای اتخاذ تصمیمات حیاتی مربوط به سلامت و امنیت انسان‌ها، از جمله رانندگی خودمختار و تشخیص بیماری‌ها به سیستم‌های هوش مصنوعی (که به آن‌ها شبکه‌های عصبی یادگیری عمیق هم گفته می‌شود) روی آورده‌اند و روز به روز بیشتر از آن‌ها استفاده می‌کنند. این شبکه‌ها می‌توانند با شناسایی الگوهای موجود در پایگاه‌های داده پیچیده، در تصمیم‌گیری به انسان کمک کنند اما باید از کجا بدانیم که تصمیم‌گیری درستی انجام داده‌اند؟
به گزارش پایگاه خبری بانکداری الکترونیک، اگر روش سریع‌تری برای تخمین عدم قطعیت در تصمیم‌گیری مبتنی بر هوش مصنوعی داشته باشیم، نتایجی مطمئن‌تری به دست می‌آوریم.
الکساندار امینی و همکارانش در موسسه فناوری ماساچوست (MIT) و دانشگاه هاروارد درباره این موضوع تحقیق کرده‌اند.
آن‌ها روش سریعی را پیدا کردند که شبکه عصبی می‌تواند با استفاده از آن داده‌ها را پردازش کند، نتیجه پیش‌بینی خود را ارائه دهد و سطح اطمینان مدل را نیز بر اساس داده‌های موجود به دست آورد. پیشرفتی که در این زمینه صورت گرفته می‌تواند زندگی انسان‌ها را نجات دهد، همانطور که یادگیری عمیق در حال حاضر استفاده‌های زیادی در دنیای واقعی دارد.
تخمین قطعیت شبکه بسیار مهم است. برای مثال، این میزان قطعیت است که تفاوت اتومبیل‌های خودمختار را تعیین می‌کند. اگر سطح قطعیت در شبکه عصبی زیاد باشد، سیستم مطمئن است «که الان می‌تواند از این تقاطع عبور کند» ولی وقتی سطح قطعیت کافی نباشد سیستم «حدس می زند که الان می‌تواند از این تقاط عبور کند و به همین خاطر محض احتیاط می‌ایستد.»
روش‌هایی که در حال حاضر برای تخمین عدم قطعیت در شبکه‌های عصبی به کار می‌رود از لحاظ رایانشی بسیار هزینه‌بر هستند و برای تصمیمات ضروری به نسبت کُند پیش می‌روند. اما رویکرد امینی (که «رگرسیون شهودی عمیق» یاdeep evidential regression نام دارد) به این فرایند سرعت می‌بخشد و منجر به نتایج مطمئن‌تر می‌شود. الکساندر امینی، دانشجوی دکتری در گروه استاد دانیلا روس (Daniela Rus) در آزمایشگاه هوش مصنوعی و علوم کامپیوتری MIT (CSAIL) می‌گوید: «ما نه تنها باید مدل‌هایی با عملکرد بالا داشته باشیم، بلکه باید بدانیم چه زمان‌هایی نمی‌توانیم به این مدل‌ها اعتماد کنیم.»
همانطور که پروفسور روس می‌گوید: «این موضوع بسیار مهم است و می‌تواند کاربردهای وسیعی داشته باشد. ما می‌توانیم با این رویکرد محصولاتی که بر مدل‌های هوش مصنوعی متکی هستند را ارزیابی کنیم. وقتی عدم قطعیت مدلی یادگیری را بدانیم، می‌توانیم میزان خطاهای احتمالی آن را حدس بزنیم و ببینیم چه داده‌های دیگری می‌تواند این مدل را ارتقا دهد.»
در گردهماییNeurIPS ماه آینده، امینی به همراه پروفسور روس، ویلکو شوارتنیگ (دانشجوی فارغ‌التحصیل دانشگاه MIT ) و آوا سلیمانی (فارغ‌التحصیل دانشگاه هاروارد و MIT) نتیجه این تحقیقات را ارائه می‌دهد ( روس استاد مهندسی الکترونیک و علوم کامپیوتری در دانشگاه Andrew and Erna Viterbi، رئیس آزمایشگا CSAIL و معاون رئیس امور پژوهشی در دانشگاه MIT Stephen A. Schwarzman College است.)
عدم قطعیت کارآمد
یادگیری عمیق بعد از بالاو پایین‌هایی که در گذشته داشته، امروزه در بعضی از وظایف عملکرد چشمگیری را از خودشان نشان داده و می‌تواند حتی از انسان هم دقیق‌تر عمل کند. در حال حاضر، هرکجا که کامپیوتری باشد یادگیری عمیق هم پیدا می‌شود. این یادگیری عمیق است که نتایج موتور جستجو را بالا می‌آورد، چهره انسان‌ها را تشخیص می‌دهد و فیدهای نرم‌افزارهای اجتماعی را به نمایش می‌گذارد. امینی می‌گوید، «ما با استفاده از یادگیری عمیق به موفقیت‌های چشمگیری دست یافتیم. شبکه‌های عصبی می‌توانند 99 درصد مواقع جواب درست را به ما بدهند.» اما وقتی صحبت از جان انسان‌ها در میان باشد 99 درصد کافی نیست.»
«یکی از مسائلی که در تحقیقات یادگیری عمیق به آن توجهی نشده، این است که این مدل‌ها چطور می‌توانند به ما بگویند چه زمان احتمال خطا دارند. آن یک درصد احتمال خطا برای ما اهمیت زیادی دارد و ما باید این موقعیت‌ها را به طور کارآمد و مطئن پیدا کنیم.»
شبکه‌های عصبی گاهی بسیار انبوه هستند و میلیاردها پارامتر را در بر می‌گیرند. به همین خاطر وقتی می‌خواهند پاسخ ساده‌ای را به ما بدهند باید بار رایانشی زیادی را بر دوش بکشند، چه برسد به اینکه بخواهند سطح اطمینان سیستم را هم به دست آورند. بررسی عدم قطعیت در شبکه‌های عصبی کار جدیدی نیست و در گذشته نیز انجام شده. ولی در رویکردهای قبلی (که نتیجه یادگیری عمیقBayesian بودند)، برای آنکه به سطح اطمینان سیستم عصبی پی ببرند به اجرا و نمونه‌برداری از شبکه‌ها می‌پرداختند. این فرایند به زمان و حافظه زیادی احتیاج داشت و ممکن بود در پردازش‌های پرسرعت مشکل ایجاد کند.
محققان ما راهی را پیدا کرده‌اند که می‌توانند به کمک آن عدم قطعیت سیستم را فقط با یک بار راه‌اندازی شبکه عصبی تخمین بزنند. شبکه‌ای که آن‌ها طراحی کرده‌اند خروجی بیشتری دارد؛ این سیستم نه تنها تصمیم‌گیری نهایی را به اطلاع می‌رساند، بلکه بر اساس شواهد، «توزیع احتمال» جدیدی را هم نشان می‌دهد. این توزیع‌ها (که به آن‌ها توزیع‌های شهودی می گویند) به طور مستقیم سطح اطمینان مدل را تخمین می‌زنند. درنتیجه هر عدم‌قطعیتی که در داده‌های ورودی یا نتیجه نهایی باشد به طور جداگانه مشخص می‌شود. این جداسازی به ما نشان می‌دهد که آیا می‌توان با تغییر شبکه عصبی عدم قطعیت را کاهش داد یا اینکه عدم قطعیت به خاطر خطای داده‌هاست.
بررسی اطمینان
محققان برای تست این رویکرد، کار خود را با یک پروژه بینایی ماشین آغاز کردند. آن‌ها به شبکه عصبی خود یاد دادند که تصاویر رنگی یک دوربین را آنالیز کند و عمق تصویر (فاصله آن تا لنز دوربین) را به ازای هر پیکسل تخمین بزند. اتومبیل‌های خودکار هم باید دقیقاً همین محاسبات را انجام دهند تا بتوانند فاصله خود را با اشخاص پیاده یا اتومبیل‌های دیگر تشخیص دهند (و این اصلاً کار ساده‌ای است.)
عملکرد این شبکه با مدل‌های پیشرفته قبلی یکسان بود، با این تفاوت که این سیستم می‌توانست عدم قطعیت خودش را نیز تخمین بزند. همانطور که محققان فکر می‌کردند، این شبکه عدم قطعیت زیادی را برای پیکسل‌ها نشان داد زیرا نمی‌توانست عمق دقیق تصویر را تشخیص دهد. امینی می‌گوید: «این سیستم با دقت خوبی نسبت به خطاهای شبکه کالبیره شده بود و از نظر ما این ویژگی یکی از مهمترین معیارهای تصمیم‌گیری در مورد کیفیت یک تخمین زننده به حساب می‌آید.»
به منظور اجرای تست استرس در کالیبره‌سازی خود، این تیم تحقیقاتی نشان دادند که سیستم در مواجهه با داده‌هایی که تابه‌حال ندیده عدم قطعیت بیشتری را نشان می‌دهد. در این آزمایش، محققان بعد از اینکه ماشین را با تصاویر داخل خانه آموزش دادند، تصاویر رانندگی در خارج از خانه را به پایگاه داده آن اضافه کردند. در این زمان شبکه مدام هشدار می‌داد پاسخ‌‌هایی که برای تصاویر جدید ارائه می‌دهد قابل اطمینان نیستند. به کمک این آزمایش متوجه شدیم که ماشین‌ها می‌توانند تشخیص دهند که چه زمان نباید به طور کامل به تصمیماتشان اطمینان کنیم. به گفته امینی، «وقتی چنین اتفاقی رخ می‌دهد نباید بر اساس تصمیمات هوش مصنوعی عمل کنیم. مثلاً اگر سیستم بیماری فردی را تشخیص داد، باید برای اطمینان از آن دوباره آزمایش انجام دهیم.»
شبکه حتی می‌دانست که تصاویر چه زمان دستکاری شده‌اند و این قابلیت می‌تواند ما را از حمله هکرها (یا دستکاری داده) حفظ کند. در یک پروژه امتحانی دیگر، محققان میزان داده‌های خطادار را در تصاویری که به خورد شبکه داده بودند افزایش دادند. تأثیر این دستکاری بسیار ناچیز بود (و با چشم انسان قابل دیدن نبود) اما شبکه توانست آن تصاویر را پیدا کند و آن‌ها را با علامت «درصد بالایی از عدم قطعیت» به نمایش بگذارد. اینکه یادگیری ماشین بتواند داده‌های تحریف‌شده را پیدا کند و درمورد آن به ما اخطار بدهد، به ما کمک می‌کند حملات خصومت‌آمیز دیگر را هم پیدا کنیم (مسئله‌ای که در عصر ازدیاد دیپ‌فیک ها نگرانی‌های زیادی را به وجود آورده است.)
به گفته رایا هادسل، محقق هوش مصنوعی در شرکت دیپ‌مایند (که خودش در این تحقیق نقشی نداشته)، «رگرسیون شواهد عمیق رویکرد ساده و فوق‌العاده‌ای است که ما را در تشخیص عدم قطعیت ماشین پیشرفته می‌کند. این قابلیت برای حوزه رباتیکس و سیستم‌های کنترل دنیای واقعی بسیار ارزشمند است. این روش به گونه‌ای جدید عمل می‌کند و هیچ‌یک ازجنبه‌های آشفتگی رویکردهای سابق (از جمله نمونه‌برداری و نمونه‌برداری گروهی» را ندارد. این موضوع باعث می‌شود رویکرد جدید محققان نه تنها بهتر از رویکردهای قبلی عمل کند بلکه از لحاظ رایانشی هم کارآمدتر باشد.»
رگرسیون شواهد عمیق می‌تواند امنیت را در تصمیم‌گیری‌های مبتنی بر هوش مصنوعی افزایش دهد. همانطور که امینی می‌گوید، «کم کم داریم در آزمایشگا تحقیقات و همچنین دنیای واقعی با مزایای بیشتری از این شبکه‌های عصبی آشنا می‌شویم و حتی می‌توانیم در شرایطی که پای جان انسان‌ها در میان است از آن استفاده کنیم. هرکسی که از این روش استفاده می‌کند، (چه پزشکی که به کمک آن بیماری‌ها را تشخیص می‌دهد و چه فردی که روی صندلی اتومبیل خودمختار نشسته) باید از میزان ریسک یا عدم‌قطعیت مربوط به تصمیمات هوش مصنوعی آگاه باشد.» طبق پیش‌بینی او، به زودی می‌توانیم برای تشخیص عدم قطعیت و همچنین گرفتن تصمیمات محافظه‌کارانه در شرایط پرخطر (از جمله زمانی که اتومبیلی به تقاطع نزدیک می‌شود) از این سیستم‌ها استفاده کنیم.
او می‌گوید: «هر حوزه‌ای که قرار است از یادگیری ماشین استفاده کند، باید از عدم قطعیت آن آگاه باشد.»
بخشی از این کار تحقیقاتی با حمایت موسسه علوم ملی و موسسه تحقیقات تویوتا و از طریق مرکز تحقیقات مشترک تویوتا با CSAIL صورت گرفته است.
منبع: news.mit.edu