در طول همه‌گیری COVID-19 در اواخر سال ۲۰۲۰، برخی از کشورها با کمبود کیت‌های تست عفونت ویروسی مواجه شدند. به عنوان راه حل، استفاده از اشعه ایکس قفسه سینه برای تشخیص عفونت مورد توجه قرار گرفت. اگرچه چشم انسان برای تمایز بین افراد آلوده و غیر آلوده در این اشعه ایکس تلاش می کرد، تیمی در هند پیشنهاد کردند که هوش مصنوعی (AI) می تواند با استفاده از یادگیری ماشینی برای تجزیه و تحلیل تصاویر اشعه ایکس در آن برتری یابد.

این مطالعه، در میان بسیاری از مطالعات دیگر در مورد همین ایده، با بیش از ۹۰۰ استناد توجه قابل توجهی را به خود جلب کرد. با این حال، در سپتامبر سال بعد، دانشمندان کامپیوتر سانچاری دار و لیور شامیر در دانشگاه ایالتی کانزاس یک نقص را کشف کردند. آنها یک الگوریتم یادگیری ماشینی را روی همان تصاویر آموزش دادند و تنها از بخش‌های پس‌زمینه خالی و بدون هیچ قسمتی از بدن استفاده کردند. با کمال تعجب، هوش مصنوعی آن‌ها هنوز موارد کووید-۱۹ را در سطوح بسیار بالاتر از احتمال شناسایی می‌کند.

مشکل در تفاوت‌های مداوم در پس‌زمینه تصاویر پزشکی موجود در مجموعه داده بود. سیستم هوش مصنوعی می‌تواند از این تفاوت‌ها بهره‌برداری کند و در کار تشخیصی بدون یادگیری ویژگی‌های مرتبط بالینی موفق شود و آن را از نظر پزشکی بی‌فایده کند.

Shamir و Dhar موارد مشابهی را در حوزه‌های مختلف پیدا کردند، از انواع سلول گرفته تا تشخیص چهره، که در آن طبقه‌بندی‌های ظاهراً موفق تصویر هوش مصنوعی نتایج مشابهی را از قسمت‌های خالی یا بی‌معنی تصاویر به دست آوردند. برخی از این مقالات صدها بار مورد استناد قرار گرفته اند.

آیا هوش مصنوعی می تواند به بیراهه برود؟

در حالی که این مثال‌ها ممکن است سرگرم‌کننده باشند، شامیر تأکید می‌کند که در زیست‌پزشکی، طبقه‌بندی اشتباه می‌تواند یک موضوع مرگ و زندگی باشد. یک بررسی جداگانه در سال ۲۰۲۱ از ۶۲ مطالعه با استفاده از یادگیری ماشینی برای تشخیص COVID-19 از طریق اشعه ایکس قفسه سینه یا اسکن‌های توموگرافی کامپیوتری به این نتیجه رسید که هیچ یک از مدل‌های هوش مصنوعی به دلیل نقص روش‌شناختی یا سوگیری در مجموعه داده‌های تصویر، از نظر بالینی مفید نبودند.

این خطاها تنها چند روش را نشان می دهد که یادگیری ماشینی می تواند منجر به ادعاهای گمراه کننده در تحقیقات شود. محققان ابراز نگرانی می کنند که استفاده بی رویه از نرم افزار هوش مصنوعی باعث تولید مقالاتی با ادعاهایی می شود که قابل تکرار نیستند، نادرست هستند یا عملاً بی فایده هستند. علیرغم عدم برآورد سیستماتیک از گستردگی این مشکل، محققان توافق دارند که مقالات هوش مصنوعی حاوی خطا در بسیاری از جوامع علمی که روش‌های یادگیری ماشینی را اتخاذ می‌کنند، فراگیر است.

یادگیری ماشینی و هوش مصنوعی، ابزارهای آماری قدرتمند، با کشف الگوهایی در داده‌هایی که اغلب برای محققان انسانی غیرقابل درک است، زمینه‌های علمی مختلف را به‌طور قابل توجهی پیشرفت داده‌اند. با این حال، نگرانی فزاینده ای وجود دارد که استفاده نادرست از نرم افزار هوش مصنوعی منجر به بحران تکرارپذیری می شود.

سیستم‌های هوش مصنوعی، از جمله الگوریتم‌های یادگیری ماشین، می‌توانند به‌طور ناخواسته به محققانی که به دنبال نتایج خاص هستند اجازه دهند داده‌ها و پارامترها را دستکاری کنند تا زمانی که نتایج با انتظارات آنها هماهنگ شود. این انعطاف‌پذیری، همراه با عدم دقت در توسعه مدل‌های هوش مصنوعی، فضای قابل‌توجهی برای تفسیر نادرست و ادعاهای گمراه‌کننده ایجاد می‌کند.

نشت داده، یک مشکل رایج، زمانی اتفاق می‌افتد که تفکیک کافی بین داده‌های مورد استفاده برای آموزش یک سیستم هوش مصنوعی و داده‌های مورد استفاده برای آزمایش آن وجود نداشته باشد. کاپور و نارایانان نشت داده را به عنوان یک مسئله تکرارپذیری در ۱۷ زمینه شناسایی کردند که صدها مقاله را تحت تأثیر قرار داد. این مشکل زمانی به وجود می‌آید که زیرمجموعه‌ای از داده‌های آزمایشی از همان مجموعه داده‌های آموزشی استخراج می‌شود، که منجر به یادگیری سیستم هوش مصنوعی از همان مجموعه داده‌ای می‌شود که روی آن آموزش داده شده است.

این موضوع زمانی پیچیده تر می شود که مجموعه های آزمایشی به طور دقیق تغییرات داده های دنیای واقعی را منعکس نمی کنند. این عدم تطابق می‌تواند منجر به عملکرد خوب مدل‌های هوش مصنوعی در داده‌های آزمایشی شود، اما در سناریوهای دنیای واقعی، جایی که تغییرات مهم‌تر هستند، آن نتایج را بازتولید نکنند.

تلاش برای اصلاح عدم تعادل در آموزش یا مجموعه داده های آزمایشی می تواند مشکلات خود را ایجاد کند. به عنوان مثال، استفاده از الگوریتم‌های متعادل‌سازی مجدد برای رسیدگی به مجموعه‌های داده نامتعادل ممکن است منجر به تخمین‌های عملکرد بیش از حد خوش‌بینانه شود، زیرا داده‌های مصنوعی تولید شده توسط این الگوریتم‌ها ممکن است سوگیری‌های ذاتی در داده‌های اصلی ایجاد کند.

حتی متخصصان نیز می توانند با این چالش ها دست و پنجه نرم کنند. در چالش ایجاد الگوریتم‌هایی برای تشخیص دقیق اختلال طیف اوتیسم از داده‌های MRI، برخی از الگوریتم‌های با عملکرد برتر نتوانستند به خوبی به یک مجموعه داده خصوصی که در طول چالش فاش نشده است تعمیم دهند. این امر بر موضوع بیش از حد برازش تأکید می کند یعنی تمرکز بیش از حد روی الگوهای خاص در داده های آموزشی، که منجر به عدم کلیت می شود.

حل چالش های هوش مصنوعی

برای رسیدگی به این چالش ها، کاپور، نارایانان و دیگران چک لیستی از استانداردها را برای گزارش علم مبتنی بر هوش مصنوعی پیشنهاد کردند. این چک لیست شامل ۳۲ سوال است که عواملی مانند کیفیت داده ها، جزئیات مدل سازی و خطرات نشت داده ها را پوشش می دهد. در حالی که چک لیست ها چارچوب مفیدی را ارائه می دهند، نمی توانند همه مشکلات را حل کنند و تکرارپذیری کامل همچنان چالش برانگیز است، به خصوص در علوم محاسباتی مانند هوش مصنوعی.

پیچیدگی تحقیقات مبتنی بر هوش مصنوعی و فقدان شیوه های استاندارد شده به چالش های تضمین تکرارپذیری کمک می کند. بسیاری استدلال می کنند که محققان باید روش ها و داده های هوش مصنوعی خود را کاملاً باز کنند، اما این اغلب در علم محاسبات دشوار است. برخی از محققان بر این باورند که تغییر هنجارهای فرهنگی در مورد ارائه و گزارش داده ها برای رسیدگی به مسائل اساسی ضروری است.

نگرانی‌ها در مورد قابلیت اطمینان یافته‌های مبتنی بر هوش مصنوعی، درخواست‌هایی را برای همکاری بین‌رشته‌ای برانگیخته است. تحقیقات هوش مصنوعی شامل زیست‌شناسان و دانشمندان رایانه می‌تواند از ترکیبی از تخصص بهره‌مند شود و درک بهتری از هم‌چینی داده‌ها و هم پیچیدگی‌های تجربی را تضمین کند.

تغییر فرهنگی برای مقابله با چالش های هوش مصنوعی

در حالی که برخی از محققان بر این باورند که چالش‌های مرتبط با هوش مصنوعی به طور طبیعی در طول زمان حل می‌شوند، برخی دیگر نیاز به تغییر فرهنگی، بهبود شفافیت، و تغییرات در انگیزه‌های انتشار را برای رسیدگی به نگرانی‌های قابلیت اطمینان و تکرارپذیری مرتبط با تحقیقات مبتنی بر هوش مصنوعی برجسته می‌کنند. سوء استفاده احتمالی از سیستم‌های هوش مصنوعی مولد، مانند مدل‌های زبان بزرگ، نگرانی‌هایی را در مورد معرفی مصنوعات و یکپارچگی تصاویر علمی ایجاد می‌کند.

با وجود چالش ها و خطرات بالقوه، همه شاهد یک بحران قریب الوقوع در تحقیقات هوش مصنوعی نیستند. برخی از محققان بر این باورند که استفاده دقیق از تکنیک های هوش مصنوعی می تواند سوگیری ها را از بین ببرد و تکرارپذیری روش های علمی را بهبود بخشد. آنها استدلال می کنند که با گذشت زمان، جامعه علمی درک بهتری از نحوه استفاده موثر از هوش مصنوعی پیدا خواهد کرد، دقیقاً مانند بلوغ تجزیه و تحلیل های ژنتیکی در رابطه با بیماری های پیچیده.

منابع

nature.com