هوش مصنوعی | متن کامل رایگان | چشم انداز کامپیوتر برای مدیریت ایمنی در صنعت فولاد

دقت، فراخوان، امتیاز F-1، و نتایج mAP

برای اطمینان از ارزیابی قوی از عملکرد مدل‌ها، یک رویکرد اعتبارسنجی متقابل پنج برابری به کار گرفته شد. این روش امکان ارزیابی جامع توانایی مدل‌ها برای تعمیم داده‌های دیده نشده را فراهم می‌کند و تخمین مطمئن‌تری از عملکرد دنیای واقعی آنها ارائه می‌کند. سه نوع پیشرفته YOLO-YOLOv5m، YOLOv8m، و YOLOv9c بر روی یک مجموعه داده کارخانه فولاد شامل ۷۰۳ تصویر برچسب‌گذاری شده ارزیابی شدند.

ارزیابی شامل تقسیم مجموعه داده به پنج زیرمجموعه با اندازه مساوی بود که در آن هر زیر مجموعه یک بار به عنوان یک مجموعه آزمایشی عمل می کرد در حالی که زیر مجموعه های باقی مانده برای آموزش استفاده می شد. این فرآیند پنج بار تکرار شد و اطمینان حاصل شد که هر تصویر هم برای آموزش و هم برای اعتبارسنجی استفاده می‌شود. معیارهای عملکرد برای هر طبقه به‌منظور ارائه یک تخمین کلی از اثربخشی مدل‌ها، میانگین‌گیری شد. یک مقایسه بصری از پیش‌بینی‌های مدل‌ها در برابر برچسب‌های حقیقت پایه در یک نمونه در شکل ۸ نشان داده شده است. نتایج تشخیص برای هر مدل مواردی از کارگرانی را که کلاه سخت (“in_hardhat”)، کلاه سخت نپوشیده (“no_hardhat”) و مواردی که کارگران قابل مشاهده نیستند (“نامرئی”) برجسته می‌کند. نمرات اطمینان بالایی در مدل های مختلف در این موارد مشاهده می شود که منعکس کننده قابلیت های پیش بینی مدل ها است.

جدول ۱۰ خلاصه ای جامع از نتایج اعتبارسنجی متقابل برای هر مدل را در چهار معیار عملکرد کلیدی ارائه می دهد: دقت، یادآوری، امتیاز F1، و میانگین دقت متوسط (mAP). این معیارها بینش دقیقی از اثربخشی مدل‌ها در تشخیص انطباق و نقض ایمنی ارائه می‌دهند. دقت بالا نشان‌دهنده توانایی مدل‌ها در شناسایی دقیق کارگران ناسازگار، به حداقل رساندن موارد مثبت کاذب است. یادآوری بالا تضمین می‌کند که بیشتر موارد ناسازگار شناسایی می‌شوند و منفی‌های کاذب را به حداقل می‌رسانند. امتیاز F1 تعادلی بین دقت و یادآوری ایجاد می‌کند که منعکس‌کننده اثربخشی کلی مدل‌ها است. میانگین دقت متوسط (mAP) عملکرد مدل‌ها را در سطوح مختلف فراخوانی ارزیابی می‌کند، و معیار جامعی از جدول دقت ارائه می‌دهد که نتایج اعتبارسنجی متقاطع K-fold را برای سه مدل مختلف YOLO، YOLOv5m، YOLOv8m، و YOLOv9c نشان می‌دهد و عملکرد آنها را برجسته می‌کند. از نظر میانگین دقت، یادآوری، امتیاز F1، و میانگین دقت متوسط (mAP) در پنج برابر. YOLOv5m دقت متوسط ۰٫۹۷۶ را با مقادیر تا شدن فردی از ۰٫۹۶ تا ۰٫۹۸ نشان داد. فراخوان آن به طور مداوم بالا بود، به طور متوسط ۰٫۹۷۴، که نشان می دهد که مدل به طور موثر موارد مثبت واقعی را شناسایی می کند. با این حال، امتیاز F1 آن تغییراتی را با میانگین ۰٫۹۵۶ نشان می‌دهد که نوساناتی را در تعادل بین دقت و یادآوری نشان می‌دهد. mAP برای YOLOv5m به طور متوسط ۰٫۹۴۰ بود که قابلیت های قوی تشخیص اشیاء را در کلاس های مختلف علیرغم برخی تغییرات نشان می دهد.

از طرف دیگر، YOLOv8m، ثبات برتر را در تمام معیارها نشان داد. دقت متوسط آن ۰٫۹۷۸ بود، با تغییرات کمی در بین چین‌ها. میانگین فراخوان ۰٫۹۷۴، مطابق با YOLOv5m، اما با تنوع کمتر، نشان دهنده عملکرد قابل اعتمادتر است. امتیاز F1 برای YOLOv8m به طور مداوم بالا بود، با میانگین ۰٫۹۷۸، که نشان دهنده توانایی قوی آن در تعادل دقت و یادآوری است. mAP برای YOLOv8m به طور متوسط ۰٫۹۳۸ بود که نشان دهنده توانایی آن در تشخیص دقیق اشیاء در کلاس های مختلف با تغییرات جزئی است اما همچنان عملکرد بالا را حفظ می کند.

YOLOv9c مقادیر دقت و یادآوری بالایی را مشابه YOLOv8m با میانگین ۰٫۹۷۴ و ۰٫۹۷۶ نشان داد. امتیاز F1 آن با میانگین ۰٫۹۸۲ بالاترین امتیاز را در بین سه مدل داشت که نشان‌دهنده بهترین تعادل بین دقت و فراخوان است. mAP YOLOv9c با میانگین ۰٫۹۴۴ بالاترین میزان را داشت که عملکرد برتر خود را در تشخیص اجسام در تمام کلاس ها به طور مداوم نشان می داد.

به طور کلی، عملکرد بالا در همه مدل‌ها (با تمام معیارهای بالاتر از ۰٫۹۳) قابلیت استفاده از این گونه‌های YOLO را برای تشخیص کلاه سخت در محیط‌های تولید فولاد نشان می‌دهد. نمرات یادآوری ثابت به‌دست‌آمده به‌ویژه برای کاربردهای ایمنی مهم است، زیرا نشان‌دهنده احتمال کم مواردی است که در آن کارگران کلاه سختی به سر نمی‌برند. با این حال، تغییرات جزئی در معیارهای عملکرد، اهمیت انتخاب مدل بر اساس الزامات مورد استفاده خاص را برجسته می‌کند. به عنوان مثال، اگر به حداقل رساندن آلارم های کاذب در اولویت است، YOLOv8m ممکن است به دلیل دقت بالا و ثابت آن ترجیح داده شود. اگر سازگاری با سناریوهای مختلف بسیار مهم است، YOLOv9c با توجه به mAP برتر آن می‌تواند انتخاب بهتری باشد.

نمودارهای جعبه در شکل ۹ نمایشی بصری از عملکرد سه مدل YOLO (YOLOv5m، YOLOv8m، و YOLOv9c) در چندین معیار: دقت، یادآوری، امتیاز F1، و میانگین دقت متوسط (mAP) ارائه می‌دهند. نمودار دقیق نشان می‌دهد که YOLOv5m در مقایسه با YOLOv8m و YOLOv9c گسترش بیشتری دارد، که نشان‌دهنده تنوع بیشتر در دقت آن در چین‌های مختلف است. دقت متوسط YOLOv5m کمی کمتر از YOLOv8m و YOLOv9c است، که مقادیر دقت بسیار مشابه و ثابتی دارند، همانطور که با محدوده بین چارکی باریک و نقاط پرت کمی مشهود است.

در نمودار فراخوان، YOLOv5m تنوع بیشتری را در مقایسه با دو مدل دیگر نشان می‌دهد. مقادیر فراخوان برای YOLOv8m و YOLOv9c بسیار سازگار است، با میانه‌ها و محدوده‌های بین ربعی آنها تقریباً یکسان است، که قابلیت اطمینان آنها را در شناسایی موارد مثبت واقعی در چین‌های مختلف برجسته می‌کند. نمودار امتیاز F1 نشان می‌دهد که YOLOv5m دارای محدوده بین‌چارکی وسیع‌تر و چندین نقطه پرت است، که نشان‌دهنده نوسانات در دقت تعادل و یادآوری بین چین‌ها است. در مقابل، YOLOv8m و YOLOv9c امتیازهای F1 بسیار پایداری را با دامنه‌های بین چارکی باریک و نقاط پرت کمی نشان می‌دهند که عملکرد قوی و ثابت آنها را منعکس می‌کند. نمودار mAP نشان می‌دهد که YOLOv5m در مقایسه با YOLOv8m و YOLOv9c کمی گسترده‌تر است، اما میانگین mAP آن با دو مدل دیگر قابل مقایسه است. YOLOv8m یک تغییر قابل توجه در mAP نشان می دهد، که نشان دهنده ناهماهنگی در تشخیص اشیاء در کلاس های مختلف است. با این حال، YOLOv9c یک mAP بالا و ثابت را حفظ می کند، همانطور که با محدوده بین چارکی باریک و عدم وجود نقاط پرت مشخص می شود.

عملکرد بالا در تمام مدل‌ها (با تمام معیارها به طور مداوم بالای ۰٫۹۳) امکان استفاده از این گونه‌های YOLO را برای تشخیص کلاه سخت در محیط‌های تولید فولاد تأیید می‌کند. نمرات فراخوان دائمی بالا به ویژه برای برنامه های ایمنی بسیار مهم است، زیرا آنها نشان دهنده احتمال کم مواردی هستند که در آن کارگران کلاه سختی به سر نمی برند. با این حال، تغییرات جزئی در معیارهای عملکرد، اهمیت انتخاب مدل بر اساس الزامات مورد استفاده خاص را برجسته می‌کند: برای مناطقی که به حداقل رساندن آلارم‌های کاذب حیاتی است، YOLOv8m ممکن است به دلیل دقت بالا و ثابت و امتیاز F1 ترجیح داده شود. برای برنامه‌هایی که نیاز به سازگاری با سناریوهای مختلف دارند یا در مواردی که عملکرد تشخیص کلی مهم است، YOLOv9c با توجه به mAP برتر آن می‌تواند انتخاب بهینه باشد. در سناریوهایی که منابع محاسباتی محدود هستند یا تعادل بین عملکرد و پیچیدگی مدل مورد نیاز است، YOLOv5m یک گزینه قابل دوام باقی می ماند.

ویژگی و نتایج AUC

تجزیه و تحلیل AUC و ویژگی در شکل ۱۰، تفاوت‌های عملکردی متفاوتی را بین YOLOv5m، YOLOv8m، و YOLOv9c برای تشخیص کلاه سخت، با چالش دیگری که توسط ماهیت مقیاس خاکستری ویدیوهای منبع ارائه می‌شود، نشان داد. برای کلاس “in_hardhat”، همه مدل‌ها مقادیر AUC بالایی (> ۰٫۷) نشان دادند، با YOLOv9c کمی بهتر از سایرین (AUC ≈ ۰٫۷۵)، که نشان دهنده توانایی تشخیص قوی برای استفاده از کلاه سخت حتی در غیاب اطلاعات رنگ است. با این حال، کلاس “no_hardhat” چالش‌های قابل‌توجهی را ارائه کرد، با نمرات AUC پایین‌تر در همه مدل‌ها، به ویژه برای YOLOv5m (AUC ≈ ۰٫۳۸)، در حالی که YOLOv9c بهترین عملکرد را نشان داد (AUC ≈ ۰٫۶). این نابرابری عملکرد احتمالاً از عدم تعادل طبقاتی در داده‌های آموزشی، محدودیت‌های افزایش داده‌های مصنوعی و کاهش فضای ویژگی ذاتی تصاویر در مقیاس خاکستری ناشی می‌شود. فرمت خاکستری به طور بالقوه مشکلات را در تشخیص تضادهای ظریف بین کلاه های سخت و پس زمینه یا دیگر لباس های سر، به ویژه در مناطق کم نور کارخانه فولاد تشدید می کند.

تجزیه و تحلیل ویژگی بیشتر این روندها را روشن کرد، با YOLOv8m بالاترین ویژگی را برای کلاس “in_hardhat” (≈۰٫۵۴) نشان داد، که نشان دهنده کاهش مثبت کاذب برتر حتی در شرایط مقیاس خاکستری است. برای کلاس “no_hardhat”، YOLOv9c بالاترین ویژگی (≈۰٫۵۵) را نشان داد، البته با تنوع بیشتر در بین چین‌ها. این نتایج بر نیاز به بهبودهای هدفمند در معماری مدل و استراتژی‌های آموزشی، با توجه ویژه به افزایش عملکرد در ورودی‌های مقیاس خاکستری تأکید می‌کند. کار آینده باید بر روی پرداختن به عدم تعادل طبقاتی از طریق تکنیک‌های پیچیده‌تر افزایش داده، توسعه ویژگی‌های تغییرناپذیر روشنایی، و به طور بالقوه کاوش رویکردهای چند وجهی که می‌تواند اطلاعات محدود در تصاویر مقیاس خاکستری را تکمیل کند، تمرکز کند. در حالی که YOLOv9c بیشترین امید را برای استقرار در دنیای واقعی در نظارت بر ایمنی تولید فولاد نشان می‌دهد، به ویژه برای شناسایی موارد نقض ایمنی، برای بهبود قابلیت اطمینان تشخیص “no_hardhat” در سناریوهای چالش برانگیز مقیاس خاکستری معمولی محیط‌های تولید فولاد، اصلاحات بیشتری لازم است.

منبع: https://www.mdpi.com/2673-2688/5/3/58

دقت، فراخوان، امتیاز F-1، و نتایج mAP

ویژگی و نتایج AUC

دیدگاهتان را بنویسید لغو پاسخ