تکنیک اعتبار سنجی می تواند به دانشمندان کمک کند تا پیش بینی های دقیق تری داشته باشند | اخبار MIT

آیا باید قبل از بیرون رفتن از در چتر خود را بردارید؟ بررسی پیش بینی آب و هوا فقط در صورت دقیق بودن این پیش بینی مفید خواهد بود.

مشکلات پیش بینی مکانی ، مانند پیش بینی آب و هوا یا ارزیابی آلودگی هوا ، شامل پیش بینی مقدار یک متغیر در یک مکان جدید بر اساس مقادیر شناخته شده در مکان های دیگر است. دانشمندان معمولاً از روشهای اعتبار سنجی آزمایش شده و آزمایش شده برای تعیین میزان اعتماد به این پیش بینی ها استفاده می کنند.

اما محققان MIT نشان داده اند که این روشهای اعتبار سنجی محبوب می توانند برای کارهای پیش بینی مکانی بسیار بد باشند. این می تواند باعث شود کسی باور کند که پیش آگهی دقیق است یا اینکه روش جدیدی برای پیش بینی در صورت عدم وجود واقعاً مؤثر است.

محققان تکنیکی را برای ارزیابی روشهای پیش بینی پیش بینی تدوین کرده اند و از آن استفاده کرده اند تا ثابت کنند که دو روش کلاسیک اساساً با مشکلات مکانی اشتباه است. آنها سپس تعیین کردند که چرا این روش ها می توانند شکست بخورند و یک روش جدید را برای پردازش انواع داده های مورد استفاده برای پیش بینی های مکانی ایجاد کنند.

در آزمایش داده های واقعی و شبیه سازی شده ، روش جدید آنها اعتبار سنجی دقیق تری نسبت به دو روش متداول ارائه می دهد. محققان هر روش را با استفاده از مشکلات مکانی واقع بینانه ، از جمله پیش بینی سرعت باد در فرودگاه شیکاگو OHHH ارزیابی کرده و دمای هوا را در پنج صندلی مترو در ایالات متحده پیش بینی کرده اند.

روش اعتبار سنجی آنها می تواند برای تعدادی از مشکلات اعمال شود – از کمک به آب و هوای دانشمندان برای پیش بینی دمای سطح دریایی برای کمک به اپیدمیولوژیست ها در ارزیابی اثرات آلودگی هوا بر برخی بیماری ها.

تامارا برودریک ، استادیار گروه مهندسی برق و علوم رایانه ای MIT می گوید: “ما امیدواریم که این امر منجر به ارزیابی های مطمئن تر شود که افراد با روش های جدید پیش بینی و درک بهتر این روش ها ارائه شوند.” (EEC) (EEC) ، عضو آزمایشگاه اطلاعات و راه حل ها و انستیتوی داده ها ، سیستم ها و جامعه و شعبه آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL).

Broderick توسط نویسنده اصلی و MIT Postdoc David R. Burt و فارغ التحصیل EECS Yuny Shen به روزنامه می پیوندد. این مطالعه در کنفرانس بین المللی اطلاعات و آمار مصنوعی ارائه خواهد شد.

ارزیابی اعتبار سنجی

به تازگی ، گروه Broderick با اقیانوس شناسی و دانشمندان جوی همکاری کرده است تا مدل هایی را برای یادگیری ماشین ایجاد کند که می تواند برای مشکلات با یک مؤلفه مکانی قوی استفاده شود.

از طریق این کار ، آنها متوجه شدند که روش های اعتبار سنجی سنتی می تواند در تنظیمات مکانی نادرست باشد. این روشها حاوی مقدار کمی از داده های آموزشی به نام داده های اعتبار سنجی هستند و از آن برای ارزیابی صحت پیش بینی استفاده می کنند.

برای یافتن ریشه مشکل ، آنها یک تجزیه و تحلیل کامل انجام دادند و مشخص کردند که روش های سنتی فرضیاتی را ایجاد می کنند که برای داده های مکانی نامناسب هستند. روشهای ارزیابی به فرضیات مربوط به چگونگی داده های اعتبار سنجی و داده هایی که فرد می خواهد پیش بینی کند ، به نام داده های آزمون ، مرتبط هستند ، متکی هستند.

روشهای سنتی نشان می دهد که داده های اعتبار سنجی و داده های آزمون مستقل و یکسان توزیع می شوند ، به این معنی که مقدار هر نقطه از داده ها به سایر نقاط داده بستگی ندارد. اما در کاربرد مکانی ، این اغلب اینگونه نیست.

به عنوان مثال ، یک دانشمند ممکن است از داده های اعتبار سنجی از سنسورهای آلودگی هوا EPA برای آزمایش صحت روشی که آلودگی هوا در مناطق حفاظت را پیش بینی می کند ، استفاده کند. با این حال ، سنسورهای EPA مستقل نیستند – آنها بر اساس محل سنسورهای دیگر قرار داشتند.

علاوه بر این ، داده های اعتبار سنجی ممکن است از سنسورهای EPA در نزدیکی شهرها باشد ، در حالی که سایت های حفاظت در مناطق روستایی هستند. از آنجا که این داده ها از مکان های مختلف هستند ، آنها احتمالاً دارای خواص آماری متفاوتی هستند به طوری که به طور یکسان توزیع نشوند.

برودریک می گوید: “آزمایش های ما نشان داده است که شما در مورد مکانی ، پاسخ های واقعاً اشتباهی می گیرید ، هنگامی که این فرضیات توسط روش اعتبار سنجی از بین می روند.”

محققان مجبور بودند فرض جدیدی را ارائه دهند.

مکانی

آنها به طور خاص در مورد یک زمینه فضایی که داده ها از مکان های مختلف جمع آوری می شود ، فکر می کنند ، آنها روشی را طراحی کردند که داده های اعتبار سنجی را می پذیرد و داده های آزمایش در فضا متفاوت است.

به عنوان مثال ، سطح آلودگی هوا بعید است بین دو خانه مجاور به طور چشمگیری تغییر کند.

“این فرض منظم برای بسیاری از فرآیندهای مکانی مناسب است و به ما امکان می دهد راهی برای ارزیابی پیش بینی های مکانی در منطقه مکانی ایجاد کنیم. به بهترین دانش ما ، هیچ کس ارزیابی نظری سیستماتیک از آنچه اشتباه پیش آمده است برای دستیابی به یک رویکرد بهتر انجام نداده است. “

به منظور استفاده از تکنیک ارزیابی آنها ، پیش بینی خود را ، مکان هایی که می خواهند پیش بینی کنند و داده های اعتبار سنجی را معرفی می کنند ، معرفی می کند ، سپس به طور خودکار بقیه را انجام می دهد. در پایان ، محاسبه می کند که پیش بینی مکان مورد نظر چقدر دقیق خواهد بود. با این حال ، ارزیابی مؤثر از تکنیک اعتبارسنجی آنها یک چالش است.

“ما از یک روش قدردانی نمی کنیم ، در عوض ارزیابی را ارزیابی می کنیم. بنابراین ، ما مجبور شدیم به عقب برگردیم ، با دقت فکر کنیم و خلاقیت را برای آزمایش های درستی که می توانیم استفاده کنیم ، نشان دهیم. “

اول ، آنها چندین آزمایش را با استفاده از داده های شبیه سازی شده که دارای جنبه های غیرواقعی هستند ، طراحی کردند ، اما به آنها اجازه دادند تا پارامترهای کلیدی را با دقت کنترل کنند. آنها سپس با تغییر داده های واقعی ، داده های واقع بینانه تر و نیمه متناسب تر ایجاد کردند. سرانجام ، آنها برای چندین آزمایش از داده های واقعی استفاده کردند.

استفاده از سه نوع داده از مشکلات واقع بینانه ، مانند پیش بینی قیمت یک آپارتمان در انگلیس بر اساس موقعیت مکانی و پیش بینی سرعت باد ، به آنها اجازه می دهد تا ارزیابی کاملی انجام دهند. در بیشتر آزمایشات ، تکنیک آنها دقیق تر از هر روش سنتی است که آنها را با آن مقایسه می کنند.

در آینده ، محققان قصد دارند از این تکنیک ها برای بهبود تعیین کمی عدم اطمینان در شرایط مکانی استفاده کنند. آنها همچنین می خواهند زمینه های دیگری را پیدا کنند که فرض منظم می تواند باعث افزایش بهره وری پیش بینی ها ، مانند داده های سری زمانی شود.

این مطالعه تا حدودی توسط بنیاد ملی علمی و سرویس تحقیقات نیروی دریایی تأمین می شود.