هوش مصنوعی | متن کامل رایگان | MultiWave-Net: یک شبکه فضایی-زمانی بهینه شده برای تشخیص عملکرد غیرعادی با استفاده از تقویت کانال مبتنی بر موجک

شکل ۱٫
مروری بر روش پیشنهادی

شکل ۲٫
تکنیک های مختلف تبدیل موجک

شکل ۳٫
طراحی لایه های MobileNetV2.

شکل ۴٫
ساختار ConvLSTM.

شکل ۵٫
بلوک ISCA مبتنی بر موجک دلخواه: (آ) لایه تبدیل موجک دلخواه. (ب) لایه آستانه دلخواه. (ج) لایه تبدیل موجک معکوس مربوطه.

شکل ۶٫
معماری پیشنهادی بر اساس بلوک ISCA، MobileNetV2 و ConvLSTM است. (آ) استفاده از بلوک های مختلف ISCA برای انجام تکنیک افزایش کانال. (ب) استخراج ویژگی های فضایی با استفاده از ستون فقرات CNN بر اساس معماری MobileNetV2. (ج) استخراج ویژگی زمانی با استفاده از ConvLSTM و طبقه بندی با استفاده از نورون های کاملاً متصل.

شکل ۷٫
بلوک ISCA مبتنی بر DWT پیشنهادی.

شکل ۸٫
بلوک ISCA مبتنی بر DTCWT پیشنهادی.

شکل ۹٫
بلوک ISCA مبتنی بر DMWT پیشنهادی.

شکل ۱۰٫
بلوک ISCA مبتنی بر چند موج پیشنهادی.

شکل ۱۱٫
توزیع مجموعه داده HWID.

شکل ۱۲٫
مجموعه داده HWID.

شکل ۱۳٫
مجموعه داده RLVS.

شکل ۱۴٫
نمونه ای از مجموعه داده های فیلم و هاکی.

شکل ۱۵٫
مقایسه بصری بین دو روش ارزیابی.

شکل ۱۶٫
عملکرد مدل در طول آموزش در RLVS.

شکل ۱۷٫
عملکرد مدل در طول آموزش در HWID.

شکل ۱۸٫
عملکرد مدل در حین آموزش مجموعه داده های مبارزات هاکی و مبارزات فیلم.

شکل ۱۹٫
دقت اعتبارسنجی در مجموعه داده RLVS. (آ) عملکرد DWT را در تقسیمات مختلف داده مسدود می کند. (ب) DMWT عملکرد را در تقسیمات مختلف داده مسدود می کند. (ج) DTCWT عملکرد را در تقسیمات مختلف داده مسدود می کند. (د) عملکرد MultiWave را در تقسیمات مختلف داده مسدود می کند.

شکل ۲۰٫
دقت اعتبارسنجی در مجموعه داده HWID. (آ) عملکرد DWT را در تقسیمات مختلف داده مسدود می کند. (ب) DMWT عملکرد را در تقسیمات مختلف داده مسدود می کند. (ج) DTCWT عملکرد را در تقسیمات مختلف داده مسدود می کند. (د) عملکرد MultiWave را در تقسیمات مختلف داده مسدود می کند.

شکل ۲۱٫
دقت اعتبارسنجی در مجموعه داده هاکی مبارزه (آ) عملکرد DWT را در تقسیمات مختلف داده مسدود می کند. (ب) DMWT عملکرد را در تقسیمات مختلف داده مسدود می کند. (ج) DTCWT عملکرد را در تقسیمات مختلف داده مسدود می کند. (د) عملکرد MultiWave را در تقسیمات مختلف داده مسدود می کند.

شکل ۲۲٫
دقت اعتبارسنجی در مجموعه داده Movie Fights. (آ) عملکرد DWT را در تقسیمات مختلف داده مسدود می کند. (ب) DMWT عملکرد را در تقسیمات مختلف داده مسدود می کند. (ج) DTCWT عملکرد را در تقسیمات مختلف داده مسدود می کند. (د) عملکرد MultiWave را در تقسیمات مختلف داده مسدود می کند.

میز ۱٫
نکات برجسته اصلی رویکردهای فعلی در ادبیات.

مواد و روش ها	منابع)	نقاط قوت	نقاط ضعف
پردازش تصویر و یادگیری ماشین	[۳۸]	از نظر محاسباتی سبک، بسته به پیچیدگی الگوریتم مورد استفاده.	قابلیت تعمیم ضعیف بسته به کاربرد و سناریوهای مورد بررسی.
CNN و مدل های توالی	[۳۹]	آنها می توانند دقت طبقه بندی خوبی داشته باشند و بسته به تعداد لایه های مورد استفاده می توانند از نظر محاسباتی سبک باشند. آنها همچنین می توانند با داده های جدید سازگار شوند.	اگر طول توالی مورد استفاده برای تمرین زیاد باشد، می‌توانند برای تمرین به حافظه نیاز داشته باشند. آنها به راحتی می توانند داده ها را در حین تمرین بسته به تنظیمات تمرینی مورد استفاده قرار دهند.
سی ان ان سه بعدی فضایی و زمانی	[۴۰]	دقت طبقه بندی خوب، و می تواند با داده های جدید سازگار شود.	برخی از معماری ها از نظر محاسباتی گسترده هستند، در حالی که برخی دیگر فاقد نمایش موثر هستند.
مبدل ها	[۴۱]	دقت طبقه بندی خوب است و می تواند با داده های جدید سازگار شود.	از نظر محاسباتی گسترده است، به دلیل تعداد زیاد پارامترهای قابل آموزش، و مکانیسم توجه به خود که توالی های طولانی از داده ها را یکباره پردازش می کند.

جدول ۲٫
شرح لایه های مدل کامل پیشنهادی.

لایه (نوع)	شکل خروجی	مولفه های
طعمه	(۱۶، ۱۰۰، ۱۰۰، ۳)	۰
MobileNetV2	(۱۶، ۳، ۳، ۱۲۸۰)	۲,۲۵۷,۹۸۴
ConvLSTM	(۳، ۳، ۶۴)	۳,۰۹۶,۸۳۲
BN	(۳، ۳، ۶۴)	۲۵۶
Conv2D	(۳، ۳، ۱۶)	۹۲۳۲
ترک تحصیل	(۳، ۳، ۱۶)	۰
میانگین جهانی استخر	(۱۶)	۰
نورون های کاملاً متصل	(۲۵۶)	۴۳۵۲
ترک تحصیل	(۲۵۶)	۰
نورون های کاملاً متصل	(۲)	۵۱۴

جدول ۳٫
مروری بر مجموعه داده های مورد استفاده

مجموعه داده	تعداد ویدیوها	تعداد ویدیوهای معمولی	تعداد ویدیوهای غیر عادی	مدت (ها)	وضوح	FPS
RLVS	۲۰۰۰	۱۰۰۰	۱۰۰۰	۳-۷	بالا	۱۰٫۵-۳۷
HWID	۲۴۱۰	۱۱۱۰	۱۳۰۰	۳-۸	بالا	۳۰
مبارزات هاکی	۱۰۰۰	۵۰۰	۵۰۰	۱٫۶-۱٫۹۶	کم	۲۵
فیلم دعوا	۲۰۰	۱۰۰	۱۰۰	۱٫۶۶-۲٫۰۴	کم	۲۵-۳۰

جدول ۴٫
ماتریس های سردرگمی بلوک های مختلف ISCA در RLVS.

نوع بلوک ISCA	TP	FP	FN	TN
DWT	۸۵	۱۴	۶	۹۵
DMWT	۹۱	۸	۱۰	۹۱
DTCWT	۹۲	۷	۵	۹۶
MultiWave	۹۶	۳	۵	۹۶

جدول ۵٫
ماتریس های سردرگمی بلوک های مختلف ISCA در HWID.

نوع بلوک ISCA	TP	FP	FN	TN
DWT	۳۲۰	۱۵	۱۸	۳۷۰
DMWT	۳۳۱	۴	۱۹	۳۶۹
DTCWT	۳۲۶	۹	۹	۳۷۹
MultiWave	۳۸۷	۹	۴	۳۲۳

جدول ۶٫
ماتریس های سردرگمی بلوک های مختلف ISCA در هاکی.

نوع بلوک ISCA	TP	FP	FN	TN
DWT	۸۷	۹	۸	۹۶
DMWT	۹۵	۵	۱۲	۸۸
DTCWT	۹۱	۵	۱۱	۹۳
MultiWave	۸۸	۸	۸	۹۶

جدول ۷٫
ماتریس های سردرگمی بلوک های مختلف ISCA در فیلم ها.

نوع بلوک ISCA	TP	FP	FN	TN
DWT	۱۸	۲	۰	۲۰
DMWT	۱۹	۱	۰	۲۰
DTCWT	۱۹	۱	۰	۲۰
MultiWave	۲۰	۰	۰	۲۰

جدول ۸٫
عملکرد بلوک های مختلف ISCA در مجموعه داده های مختلف.

نوع بلوک ISCA	RLVS	HWID	مبارزات هاکی	فیلم دعوا
DWT	۹۰٫۰۰	۹۵٫۴۴	۹۱٫۵۰	۹۵
DMWT	۹۱٫۰۰	۹۷٫۰۰	۹۱٫۵۰	۹۷٫۵۰
DTCWT	۹۴	۹۷٫۵۱	۹۲٫۰۰	۹۷٫۵۰
MultiWave	۹۶	۹۸٫۲۰	۹۲٫۰۰	۱۰۰

جدول ۹٫
عملکرد بلوک های مختلف ISCA در تقسیم های مختلف داده RLVS.

نوع بلوک ISCA	تقسیم ۱	تقسیم ۲	تقسیم ۳	تقسیم ۴	تقسیم ۵	دقت متوسط
DWT	۹۰٫۵	۹۱٫۵	۸۸٫۴	۸۷	۹۱	۸۹٫۷۳
DMWT	۸۹	۹۲٫۵	۹۱	۹۱	۹۴٫۵	۹۱٫۵۰
DTCWT	۹۳	۹۶	۹۲	۸۹٫۵	۹۴٫۵	۹۳٫۱۶
MultiWave	۹۲	۹۴٫۵	۹۲	۹۳	۹۲	۹۳٫۲۵

جدول ۱۰٫
ارزیابی مدل بلوک های ISCA پیشنهادی در RLVS.

متریک	DWT	DMWT	DTCWT	MultiWave
دقت، درستی	۰٫۹۱۰	۰٫۹۲۰	۰٫۹۳۴	۰٫۹۳۰
به خاطر آوردن	۰٫۹۱۸	۰٫۹۱۶	۰٫۹۳۲	۰٫۹۳۰
امتیاز F1	۰٫۹۱۶	۰٫۹۱۴	۰٫۹۲۸	۰٫۹۳۰

جدول ۱۱٫
عملکرد بلوک های مختلف ISCA در تقسیم داده های مختلف HWID.

نوع بلوک ISCA	تقسیم ۱	تقسیم ۲	تقسیم ۳	تقسیم ۴	تقسیم ۵	دقت متوسط
DWT	۹۵٫۴۴	۹۷٫۰۰	۹۷٫۰۹	۹۷٫۳۷	۹۷٫۹۰	۹۶٫۷۰
DMWT	۹۵٫۱۵	۹۴٫۸۸	۹۶٫۸۲	۹۶٫۴۰	۹۷٫۷۹	۹۶٫۳۴
DTCWT	۹۸٫۰۶	۹۶٫۹۵	۹۶٫۹۶	۹۵٫۷۱	۹۷٫۷۹	۹۷٫۱۶
MultiWave	۹۶٫۸۲	۹۷٫۶۵	۹۶٫۵۴	۹۷٫۳۷	۹۶٫۶۹	۹۷٫۲۱

جدول ۱۲٫
ارزیابی مدل بلوک‌های ISCA پیشنهادی در HWID.

متریک	DWT	DMWT	DTCWT	MultiWave
دقت، درستی	۰٫۹۶۸	۰٫۹۶۲	۰٫۹۷۲	۰٫۹۷۲
به خاطر آوردن	۰٫۹۶۸	۰٫۹۶۲	۰٫۹۷۲	۰٫۹۷۲
امتیاز F1	۰٫۹۶۸	۰٫۹۶۲	۰٫۹۷۲	۰٫۹۷۲

جدول ۱۳٫
اجرای بلوک های مختلف ISCA بر روی تقسیم داده های مبارزات هاکی مختلف.

نوع بلوک ISCA	تقسیم ۱	تقسیم ۲	تقسیم ۳	تقسیم ۴	تقسیم ۵	دقت متوسط
DWT	۹۱٫۵۰	۸۹٫۹۰	۹۳٫۰۰	۹۴٫۵۰	۹۰٫۵۰	۹۱٫۷۰
DMWT	۹۱٫۵۰	۹۳٫۰۰	۹۵٫۵۰	۹۱٫۵۰	۹۴٫۵۰	۹۳٫۰۰
DTCWT	۹۲٫۰۰	۹۱٫۰۰	۹۲٫۵۰	۹۵٫۰۰	۹۴٫۰۰	۹۲٫۷۵
MultiWave	۹۰٫۵۰	۹۲٫۰۰	۹۳٫۰۰	۹۲٫۰۰	۹۲٫۰۰	۹۱٫۹۱

جدول ۱۴٫
ارزیابی مدل بلوک های پیشنهادی ISCA در مبارزات هاکی

متریک	DWT	DMWT	DTCWT	MultiWave
دقت، درستی	۰٫۹۲۲	۰٫۹۳۶	۰٫۹۳۰	۰٫۹۲۰
به خاطر آوردن	۰٫۹۲۰	۰٫۹۳۲	۰٫۹۳۰	۰٫۹۲۰
امتیاز F1	۰٫۹۱۶	۰٫۹۲۸	۰٫۹۲۸	۰٫۹۱۸

جدول ۱۵٫
اجرای بلوک های مختلف ISCA در فیلم های مختلف جداسازی داده ها مبارزه می کند.

نوع بلوک ISCA	تقسیم ۱	تقسیم ۲	تقسیم ۳	تقسیم ۴	تقسیم ۵	دقت متوسط
DWT	۹۵٫۰۰	۹۵٫۰۰	۱۰۰٫۰۰	۹۵٫۰۰	۹۵٫۰۰	۹۵٫۸۳
DMWT	۹۷٫۵۰	۹۵٫۰۰	۱۰۰٫۰۰	۹۷٫۵۰	۱۰۰٫۰۰	۹۸٫۰۰
DTCWT	۹۷٫۵۰	۹۲٫۵۰	۹۵٫۰۰	۹۷٫۵۰	۹۵٫۰۰	۹۵٫۸۳
MultiWave	۹۷٫۵۰	۹۲٫۵۰	۱۰۰٫۰۰	۱۰۰٫۰۰	۹۵٫۰۰	۹۷٫۵۰

جدول ۱۶٫
ارزیابی مدل بلوک‌های پیشنهادی ISCA در مبارزات فیلم

متریک	DWT	DMWT	DTCWT	MultiWave
دقت، درستی	۰٫۹۶۰	۰٫۹۸۲	۰٫۹۵۸	۰٫۹۷۲
به خاطر آوردن	۰٫۹۶۰	۰٫۹۷۸	۰٫۹۵۴	۰٫۹۷۰
امتیاز F1	۰٫۹۶۰	۰٫۹۷۸	۰٫۹۵۲	۰٫۹۷۰

جدول ۱۷٫
تجزیه و تحلیل زمانی بلوک های ISCA مبتنی بر موجک.

مسدود کردن	حداقل زمان استنتاج (ms)	حداکثر زمان استنتاج (ms)	انحراف معیار	میانگین زمان استنتاج (ms)
DWT	۸۲	۱۰۱٫۶۶	۳٫۶۲	۸۸٫۱۹
DMWT	۸۷٫۷	۱۳۷۱٫۲۷	۱۳۷٫۷۸	۱۰۸٫۹۷
DTCWT	۸۸٫۷	۲۸۸۱٫۱۹	۳۰۰٫۳۶	۱۲۸٫۹۵
MultiWave	۷۶	۱۱۰٫۲۳	۵٫۸۸	۹۰٫۴۴

جدول ۱۸٫
مشاهدات در ارزیابی مدل.

مسدود کردن	عملکرد آموزشی قابل اعتماد	تعمیم قابل اعتماد در داده های آزمون	مناسب برای زمان واقعی
DWT	آره	خیر	آره
DMWT	آره	آره	خیر
DTCWT	آره	آره	خیر
MultiWave	آره	آره	آره

جدول ۱۹٫
تاثیر طول دنباله بر دقت

طول دنباله	دقت
۴	۹۲٫۵۰
۸	۹۳٫۵۰
۱۲	۹۴٫۵۰
۱۶	۹۶٫۰۰

جدول ۲۰٫
تاثیر اندازه ورودی بر دقت

اندازه ورودی	دقت
$۵۰ ایکس ۵۰$	۷۹٫۰۰
$۷۰ ایکس ۷۰$	۸۶٫۰۰
$۱۰۰ ایکس ۱۰۰$	۹۶٫۰۰

جدول ۲۱٫
عملکرد بلوک MultiWave ISCA و ConvLSTM با ستون فقرات مختلف CNN.

ستون فقرات	زمان استنتاج ستون فقرات (ms)	کل پارامترهای مدل	دقت
ResNet-50 [63]	۵۸٫۲	۲۸,۴۶۸,۳۷۰	۷۶
Inception-V3 [64]	۴۲٫۲	۲۶,۶۸۳,۴۴۲	۸۹
DenseNet-121 [65]	۷۷٫۱	۹,۵۵۸,۸۶۶	۹۴
EfficientNetB5 [66]	۵۷۹٫۲	۷,۱۶۰,۷۵۷	۶۲
MobileNet-V2 [48]	۲۵٫۹	۵,۳۶۹,۱۷۰	۹۶

جدول ۲۲٫
عملکرد بلوک MultiWave ISCA و MobileNetV2 با واحدهای زمانی مختلف.

واحد زمانی	کل پارامترهای مدل	دقت
GRU [67]	۲,۵۳۳,۵۷۰	۹۴
LSTM [68]	۲,۶۱۹,۴۵۸	۹۴
Bi-LSTM [69]	۲,۹۸۰,۱۶۲	۹۲
ConvLSTM [49]	۵,۳۶۹,۱۷۰	۹۶

جدول ۲۳٫
مقایسه با روش های دیگر در مجموعه داده RLVS.

روش	دقت	بهره وری
۲D-Convolution + LSTM [29]	۹۲%	≈۴٫۶ متر
جریان شبه نوری ViolenceNet [27]	۹۴٫۱۰٪	$۴٫۵$ متر
ResNet18 مبتنی بر کی فریم [۷۰]	۹۴٫۶۰٪	≈۱۱٫۶ متر
U-NET + LSTM [71]	۹۴%	≈۴ متر
VGG-16 + LSTM [57]	۸۸٫۲٪	≈۱۴۰ متر
MobileNetV2 [72]	۹۴%	≈۳٫۲ متر
ویژگی های حرکت + Inception-ResNet [73]	۸۶٫۷۸٪	≈۵۹٫۶ متر
مدل پیشنهادی	۹۶%	$O (ن)$ برای تبدیل موجک، $۵٫۳$ متر

جدول ۲۴٫
مقایسه با روش های دیگر در مجموعه داده های مبارزات فیلم و هاکی.

جدول ۲۴٫
مقایسه با روش‌های دیگر در مجموعه داده‌های Movie Fights و Hockey Fights.

روش	فیلم ها	هاکی	بهره وری
ViF + SVM [74]	–	۸۲٫۹۰٪	سریع، اما نه قوی.
ConvLSTM [75]	۹۵%	۹۱%	≈۶۲٫۵ کیلو
۳D-CNN [76]	–	۹۶%	≈۷۸ متر
Multistream-VGG16 [77]	۱۰۰%	۸۹٫۱۰٪	≈۱۳۸ متر $ایکس ۴$
ResNet50 + ConvLSTM [78]	۸۸٫۷۴٪	۸۳٫۱۹٪	≈۲۴٫۷ متر
تبدیل رادون [۷۹]	۹۸%	۹۰٫۰۱٪	سریع، اما نه قوی.
ویژگی های حرکت + Inception-ResNetV2 [73]	۱۰۰%	۹۳٫۳۳٪	≈۵۹٫۶ متر
مدل پیشنهادی	۹۹٫۵٪	۹۲%	$O (ن)$ برای تبدیل موجک، $۵٫۳$ متر

منبع: https://www.mdpi.com/2673-2688/5/1/14

دیدگاهتان را بنویسید لغو پاسخ