آن سوی تاریک علم را روشن کنید

مجله نیچر در گزارشی به بررسی موانع انتشار نتایج منفی و مشوق‌های جدید برای انتشار بیشتر این نتایج پرداخته است.

درخواست از پژوهشگران برای این‌که مطالعات شکست‌خورده خود را منتشر کنند، موضوع جدیدی نیست و سال ۱۹۷۹ توسط «رابرت روزنتال»؛ روانشناس توصیف شد. این مشکل که از آن با نام مشکل «کشوی پرونده» یاد می‌شود، به انبوهی از نتایج منتشرنشده و منفی اشاره دارد که پژوهشگران آن‌ها را جمع‌آوری می‌کنند. به گفته روزنتال؛ منتشر نکردن نتایج منفی منجر به سوگیری در سابقه علمی می‌شود. این شکاف ناشی از حذف نتایج ناموفق، سبب می‌شود بر نتایج مثبتی که منتشر شده‌اند بیش از حد تاکید شود.

«ساراهان فیلد» سردبیر مجله Journal of Trial & Error (مجله آزمون و خطا) و گروه همکارانش به دنبال برجسته کردن سمت «زشت علم» هستند؛ همان بخشی از فرآیند علم که اشتباه پیش رفته است. این مجله از سال ۲۰۲۰ منتشر می‌شود و سردبیر و هیأت تحریریه این مجله تاکید می‌کنند که به مقالاتی علاقه‌مندند که علی‌رغم روش‌شناسی درست، نتیجه‌ای غیرمنتظره داشته‌اند. فیلد؛ سردبیر این مجله که پژوهشگر علوم با دسترسی باز در دانشگاه گرونیگن هلند است، توضیح می‌دهد: این نوع نتایج که فرضیه‌ای را ثابت نمی‌کنند یا می‌توانند نتایج غیر قابل توضیحی داشته باشند، اغلب توسط نشریات به سادگی منتشر نمی‌شوند. او و «استفان گیلارد»، یکی از بنیان‌گذران مجله، امیدوارند که این وضعیت را تغییر دهند.

در ۳۰ سال گذشته نسبت انتشار نتایج منفی کمتر نیز شده است. یک مطالعه در سال ۲۰۱۲ نشان داد که از سال ۱۹۹۰ تا ۲۰۰۷ نتیجه‌گیری مثبت در مقالات ۲۲ درصد افزایش یافته است و تا سال ۲۰۰۷، ۸۵ درصد از مقالات منتشرشده، نتایج مثبت داشته‌اند. فیلد می‌گوید پژوهشگران در گزارش دادن نتایج منفی موفق نیستند؛ زیرا می‌دانند که این مقالات منتشر نمی‌شوند و زمانی که آن‌ها تلاش می‌کنند نتایج منفی مطالعات خود را منتشر کنند، این مقالات رد می‌شوند. یک نظرسنجی از پژوهشگران شیمی، فیزیک، مهندسی و علوم محیطی فرانسوی در سال ۲۰۲۲ نشان داد که اگرچه ۸۱ درصد از این پژوهشگران در طول کار خود به نتایج منفی نیز دست یافته بودند و ۷۵ درصد از آن‌ها تمایل به انتشار این نتایج داشتند، ولی تنها ۱۲ درصد از آن‌ها فرصت انجام این کار را به دست آورده بودند.

پژوهشگران در گزارش دادن نتایج منفی موفق نیستند؛ زیرا می‌دانند که این مقالات منتشر نمی‌شوند و زمانی که آن‌ها تلاش می‌کنند نتایج منفی مطالعات خود را منتشر کنند، این مقالات رد می‌شوند.منتشر نکردن یافته‌های منفی فرآیند یادگیری ماشین را مختل می‌کند

یکی از عواملی که برخی از پژوهشگران را به سمت این مشکل سوق می‌دهد، این است که در بسیاری از رشته‌ها و زمینه‌های علمی استفاده از روش «مدل‌سازی پیش‌بینی‌کننده» با استفاده از ابزارهای یادگیری ماشین به صورت رو به رشد افزایش یافته است. ابزارهای یادگیری ماشین با استفاده از مجموعه داده‌های بزرگی که اغلب شامل مطالعات منتشرشده هستند، آموزش داده می‌شوند. به همین دلیل دانشمندان دریافته‌اند که نبود ِ داده‌های منفی در ادبیات و پیشینه تحقیق‌ها فرآیند یادگیری ماشین را مختل می‌کند. بنابراین نیاز است که برای انتشار نتایج منفی بیشتر یک تلاش هماهنگ انجام شود. در صورتی که انتشار نتایج منفی بیشتر نشود و هوش مصنوعی نتواند از داده‌های آن برای فرآیند یادگیری ماشین استفاده کند، وعده‌هایی که در رابطه با این فناوری مطرح می‌شود، محقق نمی‌شود.

«کیسوکه تاکاهاشی» شیمیدان دانشگاه هوکایدو ژاپن این موضوع را در مطالعات مربوط به یافتن کاتالیزورها مورد توجه قرار داده است و می‌گوید: یادگیری ماشین نحوه تفکر ما را در مورد داده‌ها تغییر می‌دهد. دانشمندان این زمینه علمی در آزمایش‌های خود برای یافتن یک کاتالیزور جدید معمولاً به ترکیبی از آزمون و خطا و یافته اتفاقی تکیه دارند؛ اما این امید وجود دارد که هوش مصنوعی بتواند مسیر جدیدی برای کشف کاتالیزور جدید فراهم کند. تاکاهاشی و همکارانش برای پیش‌بینی بهترین کاتالیزور برای واکنش بین متان و اکسیژن برای تشکیل اتان و اتیلن که هر دو از مواد شیمیایی مهم مورد استفاده در صنعت هستند، از داده‌های ۱۸۶۶ مطالعه و پتنت قبلی استفاده کردند تا بتوانند یک مدل یادگیری ماشین را آموزش دهند. اما این پژوهشگر می‌گوید: در طول سال‌ها پژوهشگران فقط داده‌های خوب را گردآوری کرده‌اند و شکست‌های خود را گزارش نداده‌اند. این موضوع به ایجاد یک مدل تحریف‌شده منجر شده است که در برخی موارد به جای این‌که خواص یک ماده را به‌طور واقعی ارزیابی کند، عملکرد پیش‌بینی شده آن ماده را افزایش داده است.

در طول سال‌ها پژوهشگران فقط داده‌های خوب را گردآوری کرده‌اند و شکست‌های خود را گزارش نداده‌اند، همین سبب شده پژوهش‌های مبتنی بر مدل‌سازی با مشکل مواجه شوند.

سمت «آشفته علم» چگونه هوش مصنوعی را گیج می‌کند؟

یکی دیگر از دانشمندان شیمی آلی سنتتیک نیز هنگام استفاده از روش‌های مبتنی بر داده برای بهینه کردن بازده برخی واکنش‌های شیمیایی دارویی با سوگیری نتایج مثبت مواجه شده است. او به دنبال ایجاد مدل‌هایی بود که بتواند پیش‌بینی کند کدام واکنش‌دهنده‌ها و چه شرایطی می‌توانند بازده را به حداکثر برسانند. برای این کار ابتدا او برای آموزش هوش مصنوعی خود از داده‌هایی که آزمایش‌های با توان عملیات بالا که در آزمایشگاه تولید کرده بود، استفاده کرد. این داده‌ها شامل نتایج واکنش‌های با بازده بالا و هم بازده پایین بودند. در گام بعدی همین کار را با استفاده از داده‌های تحقیقات قبلی و پیشینه پژوهش انجام داد. اما وقتی او از داده‌های واقعی موجود در پایگاه داده در فرآیند آموزش هوش مصنوعی استفاده کرد، مشخص شد که این داده‌ها کار نمی‌کنند. دلیل این خطاها نبود واکنش‌های کم‌بازده بوده است. داده‌های موجود در پیشینه تحقیقات، به طور میانگین بین ۶۰ تا ۸۰ درصد بازدهی دارند و زمانی که آزمایش‌های ناموفق و شکست‌خورده در بین داده‌های واقعی وجود نداشته باشد، هوش مصنوعی نمی‌تواند نتایج واکنش‌های واقعی را مدل‌سازی کند.

هوش مصنوعی این پتانسیل را دارد که روابط داده‌های پیچیده که ممکن است پژوهشگر آن‌ها را نبیند، شناسایی کند ولی پژوهشگران و افرادی که آزمایش‌ها را انجام می‌دهند با مواجهه با نتایج منفی یک حس و شهود درونی پیدا می‌کنند. زمانی که هوش مصنوعی تنها با داده‌های موفق آموزش می‌بینند، این شهود انسانی را ندارند. بر همین اساس پژوهشگران به دنبال آن هستند که چیزی شبیه به این شهود انسانی را در یک مدل هوش مصنوعی قرار دهند.

با آموزش دادن هوش مصنوعی بر اساس داده‌های موفق و شکست‌خورده تا حدودی می‌توان این کار را انجام داد. ولی مدل‌های هوش مصنوعی در حال حاضر دچار محدودیت هستند چرا که داده‌های موجود، تمام دانش را منعکس نمی‌کنند. برخی پژوهشگران به دنبال راه‌حل‌های آماری برای پر کردن شکاف داده‌های منفی هستند. برای مثال با استفاده از نمونه‌برداری بیش از حد و تکمیل داده‌ها با چندین نسخه از داده‌های منفی و یا ایجاد داده‌های ساختگی است. اما این نوع رویکردها نیز می‌توانند سوگیری‌های خاص خود را داشته باشند.

به همین دلیل برای برخی پژوهشگران جمع‌آوری داده‌های منفی بیشتر اولویت دارد و به زیرساختی برای اشتراک‌گذاری آزادانه داده نیاز دارند. تاکاهاشی و گروه او وب‌سایتی برای اشتراک‌گذاری داده‌های تجربی برای واکنش‌های کاتالیزوری ایجاد کرده‌اند و سازمان‌های دیگری نیز در تلاش برای جمع‌آوری و انتشار داده هستند. اما این اقدامات هنوز هماهنگ نیستند و فرمت داده‌های آن‌ها نیز یکسان نیست.

استقبال نیچر از مطالعات تکراری و پوچ علمی!

در رشته‌های دیگر همچنان بر مجلات معتبری که نتایج منفی را منتشر می‌کنند تأکید می‌شود. گیلارد دانشجوی دکترای مطالعات علوم در دانشگاه رادبود در نایمگن هلند، پس از شرکت در گفتگوها در مورد این‌که علم را چگونه می‌توان در دسترس‌تر کرد، مجله Journal of Trial & Error (آزمون و خطا) را بنیان کرد. گیلارد می‌گوید که اگرچه همه‌کسانی که با آن‌ها تماس گرفته‌اند ایده مجله را پسندیده‌اند؛ اما هیچ‌کس در ابتدا نمی‌خواست مقاله ارسال کند. او و گروه تحریریه مؤسس کمپینی را آغاز کردند و در کنفرانس‌های علمی آزاد تبلیغات کردند. او می‌گوید: آهسته‌آهسته ما شروع به دریافت اولین مقاله‌ها کردیم. اکنون بدون این‌که از افراد خواسته شود، کارهای خود را ارسال می‌کنند. اکثر سال‌ها مجله یک شماره شامل حدود ۸ تا ۱۴ مقاله منتشر می‌کند و مابقی مقالات را در شماره‌های ویژه منتشر می‌کند. این مجله عمدتاً بر روی علوم زیستی و علوم اجتماعی مبتنی بر داده تمرکز دارد.

برخی نشریات ترجیح خود را برای انتشار نتایج منفی تغییر داده‌اند و به‌صراحت اشاره کردند که نتایج منفی را نیز منتشر می‌کنند. نیچر نیز از ارسال مطالعات تکراری و آن‌هایی که شامل نتایج پوچ هستند، استقبال می‌کند.

در سال ۲۰۰۸ دیوید آلکانترا دانشجوی دکترای شیمی در دانشگاه سویل اسپانیا که در آن زمان از نبود بستری برای اشتراک‌گذاری نتایج منفی ناامید شده بود، مجلات The All Results را راه‌اندازی کرد که هدف آن انتشار نتایج بدون توجه به نتیجه بود. از چهار رشته‌ای که در زمان راه‌اندازی گنجانده‌شده بود، فقط مجله زیست‌شناسی در حال انتشار است. آلکانترا که اکنون رئیس سازمان مشاوره و آموزش انجمن بهبود علم در سویل است، می‌گوید: جذب آثار ارسالی همیشه یک چالش بوده است. اما آلکانترا فکر می‌کند که تغییری در نگرش‌ها صورت گرفته است: مجله‌های معتبرتر به‌طور فزاینده‌ای برای انتشار نتایج منفی در دسترس قرار می‌گیرند. گیلارد موافق است و می‌گوید: من مجلات بیشتری مانند PLoS ONE را دیده‌ام که به‌صراحت اشاره کردند که نتایج منفی را نیز منتشر می‌کنند. نیچر نیز از ارسال مطالعات تکراری و آن‌هایی که شامل نتایج پوچ هستند، استقبال می‌کند.

ممکن است مجلات ترجیحات انتشار خود را تغییر دهند اما بازهم بازدارنده‌های قابل‌توجهی وجود دارد و پژوهشگران را از انتشار نتایج منفی و پوچ باز می‌دارد. سیستم دانشگاهی کنونی برای پیشرفت شغلی، اختصاص کمک‌هزینه‌ها و جذب، اغلب نشریات پرتاثیر و اکتشافات پیشگامانه را در اولویت قرار می‌دهند و نتایج منفی کمک چندانی به این تلاش‌ها تلقی نمی‌شود. به‌علاوه هنوز هر گونه شکست ممکن است برای پژوهشگر یک ننگ باشد. همچنین مردم می‌ترسند که این موضوع در رزومه آن‌ها منفی به نظر برسد. به علاوه گزارش آزمایش‌های ناموفق می‌تواند یک موقعیت بدون بُرد برای دانشگاهیان باشد. انتشار نتایج منفی منجر به کار بیشتر برای پژوهشگران می‌شود؛ در حالی که در کوتاه‌مدت چیزی در ازای این اقدامات دریافت نمی‌کنند.

در نهایت بیشتر پژوهشگران به این نتیجه می‌رسند که انتشار مطالعات ناموفق و داده‌های منفی ارزش صرف وقت و تلاش را ندارد و شواهدی وجود دارد که نشان می‌دهد آن‌ها پژوهش‌های منفی دیگران را سخت‌تر از نتایج مثبت قضاوت می‌کنند. در مطالعه‌ای که در ماه آگوست منتشر شده است، ۵۰۰ پژوهشگر از بخش‌های برتر اقتصاد در سراسر جهان به‌طور تصادفی در دو گروه قرار گرفتند و از آن‌ها خواسته شد تا یک مقاله پژوهشی فرضی را داوری کنند. به نیمی از شرکت‌کنندگان گفته شد که این مطالعه نتیجه باطل دارد و به نیمی دیگر گفته شد که نتایج به‌طور قابل‌توجهی مهم و معنی‌دار است. احتمال انتشار مقالاتی که به داوران گفته شده بود، نتایج باطل دارند ۲۵ درصد کم‌تر از مطالعاتی بود که گفته شده بود دارای یافته‌های آماری قابل توجهی هستند.

برخی از پژوهشگران در مورد به اشتراک‌گذاشتن یافته‌های ناموفق خود، تجربیات مثبتی داشتند. برای مثال در سال ۲۰۲۱ روان‌شناسی به نام «وندی رأس» در دانشگاه متروپلیتن لندن نتایج منفی خود را در مورد آزمایش فرضیهای در مورد حل مسئله انسانی در مجله آزمون و خطا منتشر کرد و می‌گوید که این مقاله بهترین مقاله‌ای بود که من تا به امروز منتشر کرده‌ام. درک دلایل نتایج باطل واقعاً می‌تواند درک نظری ما را محک بزند و آن را گسترش دهد.

راه‌حل‌هایی برای افزایش انتشار داده‌های منفی

رشته روان‌شناسی یک نوآوری را معرفی کرده است که می‌تواند سوگیری نشر را تغییر دهد. این نوآوری انتشار گزارش‌های ثبت‌شده (registered reports یا RRs) است که برای اولین بار در سال ۲۰۱۴ و عمدتاً در پاسخ به بحران تکرارپذیری در مطالعات روان‌شناسی به وجود آمد.

گزارش‌های ثبت‌شده روش‌شناسی یک مطالعه را قبل از مشخص شدن نتایج تعیین می‌کنند تا از گزارش دادن انتخابی نتایج مثبت جلوگیری کنند. در این گزارش‌ها ابتدا، روش‌ها و تحلیل‌های پیشنهادی قبل از جمع‌آوری و تجزیه و تحلیل داده‌ها توسط داوران بررسی می‌شوند و به طور موقت منتشر می‌شوند. پس از جمع‌آوری نتایج سپس نویسندگان مقاله را نهایی می‌کنند تا نتایج و بحث را در بر گیرد و نسخه کامل نیز مجدداً مورد بازبینی قرار می‌گیرد. این گزارش‌ها برای کاهش سوگیری انتشار و اشکال مختلف سوگیری گزارش‌دهی طراحی شده‌اند. دنیل لِیکنز که در دانشگاه فناوری آیندهوون هلند، ساختار پاداش علم را مطالعه می‌کند، می‌گوید شواهدی وجود دارد که «گزارش‌های ثبت‌شده»، نسبت نتایج منفی را در پیشنیه مطالعات روان‌شناسی افزایش می‌دهد.

در مطالعات سال ۲۰۲۱ لِیکنز نسبت گزارش‌های ثبت‌شده منتشر شده‌ای که در آن‌ها نتایج در نهایت از فرضیه اولیه پشتیبانی می‌کردند را تحلیل کرد. در یک نمونه تصادفی از مطالعات آزمون-فرضیه از پیشینه روان‌شناسی استاندارد، ۹۶ درصد از نتایج مثبت بود ولی در گزارش‌های ثبت‌شده این میزان به ۴۴ درصد کاهش یافت. لِیکنز می‌گوید این مطالعه نشان می‌دهد که اگر این را به عنوان یک گزینه پیشنهاد دهید، نتایج باطل بیشتری وارد ادبیات علمی می‌شود و این موضوع امری مطلوب است». حداقل ۳۰۰ مجله شامل نیچر، گزارش‌های ثبت‌شده را می‌پذیرند و این قالب به مجلات زیست‌شناسی، پزشکی و برخی زمینه‌های علوم اجتماعی در حال گسترش است.

با این حال رویکرد دیگری از رشته «رایانش فراگیر»؛ مطالعه نحوه ادغام سیستم‌های کامپیوتری با محیط فیزیکی و زندگی روزمره در حال ظهور است. الا پلتونن از دانشگاه اولو فنلاند می‌گوید: حدود چهار سال پیش، اعضای این جامعه شروع به بحث در مورد تکرارپذیری کردند. پلوتنن می‌گوید: پژوهشگران دریافتند که برای جلوگیری از تکرار اشتباهات، در مورد مشکلات عملی با مطالعات و نتایج ناموفق که منتشر نمی‌شود، بحث وجود دارد. بنابراین پلتونن و همکارانش اولین کارگاه بین‌المللی در مورد نتایج منفی در رایانش فراگیر را با نام PerFail به همراه کنفرانس سالانه این رشته با عنوان کنفرانس بین‌المللی رایانش و ارتباطات فراگیر برگزار کردند.

تلاش مداوم برای متقاعد کردن دانشمندان برای به اشتراک‌گذاشتن تمام نتایج خود باید در درازمدت با سیاست‌های آژانس‌های تأمین مالی و نشریاتی که به شفافیت کامل پاداش می‌دهند، همراه باشد.پلتونن توضیح می‌دهد که سخنرانان PerFail نتایج منفی خود را ارائه می‌کنند و سپس در مورد آن گفتگو می‌شود. در طی آن شرکت‌کنندگان می‌گویند که چگونه مطالعات ناموفق می‌تواند به کارهای آینده کمک کند. او می‌افزاید: این گفتگوها جامعه را تشویق می‌کند تا نشان دهد که کارها نیازمند آزمون و خطا هستند و این ارزشمند است. این کارگاه اکنون یک رویداد سالانه است و برگزارکنندگان آن از دانشجویان دعوت می‌کنند تا در آن شرکت کنند تا ببینند شکست بخشی از فرآیند پژوهش است.

انتشار داده‌های منفی علم رو به افزایش است

با این وجود باید توجه داشت که تلاش مداوم برای متقاعد کردن دانشمندان برای به اشتراک‌گذاشتن تمام نتایج خود باید در درازمدت با سیاست‌های آژانس‌های تأمین مالی و نشریاتی که به شفافیت کامل پاداش می‌دهند، همراه باشد. شاخص‌ها برای تخصیص کمک هزینه‌ها، ترفیع و جذب، باید ارزش انتشار پژوهش‌های جامع شامل شکست‌ها و پیامدهای منفی را بشناسد. سرمایه‌گذاران نیز می‌توانند کلیدی برای تقویت «گزارش‌های ثبت‌شده» باشند. سرمایه‌گذاران باید بگویند: ما می‌خواهیم پژوهش‌هایی که بودجه‌شان را تأمین می‌کنیم، بدون توجه به اهمیت یافته‌ها در پیشینه تحقیقات ظاهر شوند.

در حال حاضر نشانه‌هایی مثبت در تغییر اشتراک‌گذاری داده‌های منفی نیز وجود دارد. پژوهشگران تازه‌کار و به‌ویژه نسل بعدی دانشمندان پذیرای این ایده هستند. علاقه پژوهشگران به انتشار مقالاتشان در مجله Journal of Trial & Error (مجله آزمون و خطا) به ویژه در رشته پزشکی در حال افزایش است. البته که این فرآیند کند است اما باید توجه داشت که علم به طور کل کمی کند است.