۱٫ مقدمه
صنعت ۴٫۰ ، که به عنوان چهارمین انقلاب صنعتی نیز شناخته می شود ، از طریق ادغام جدیدترین فن آوری های دیجیتال ، تغییر پارادایم در تولید و فرآیندهای صنعتی را گزارش می کند. این انقلاب اینترنت اشیاء (IoT) ، هوش مصنوعی ، یادگیری ماشین ، روباتیک ، محاسبات ابری ، محاسبات لبه و تجزیه و تحلیل داده های بزرگ را برای ایجاد بسیار خودکار و intertoneteed جمع می کند. [۱,۲]بشر صنعت ۴٫۰ از این فناوری ها برای فعال کردن نظارت در زمان واقعی ، پیش بینی نگهداری و بهینه سازی خود فرآیندها استفاده می کند و منجر به صرفه جویی بیشتر ، انعطاف پذیری و صرفه جویی در هزینه می شود. یک نوآوری وجود دارد که ماشین ها و سیستم ها را قادر به برقراری ارتباط با یکدیگر ، جمع آوری و تجزیه و تحلیل مقادیر گسترده ای از داده های زمان واقعی ، تصمیم گیری های خودمختار و سازگاری پویا با شرایط تغییر می دهند. این همگرایی فن آوری های فیزیکی و دیجیتال ، صنایع سنتی ، زنجیره های تأمین Reshan ، تقویت تولید و تقویت بخش های نوآوری مانند تولید دستی ، تدارکات ، بهداشت و درمان را تغییر می دهد [۱,۳]بشر نتیجه یک محیط محصول کارآمدتر ، انعطاف پذیر و تطبیقی تر است که در آن خرابی به حداقل می رسد و به حداکثر می رسد.
هوش مصنوعی (AI) با استفاده از اتوماسیون ، بهینه سازی و فرآیندهای تصمیم گیری با کارخانه های هوشمند و سیستم های صنعتی نقش مهمی در صنعت ۴٫۰ بازی می کند [۴,۵]بشر فن آوری های هوش مصنوعی ، مانند یادگیری ماشین ، شبکه های عصبی و بینایی رایانه ، دستگاه ها را قادر می سازند تا حجم زیادی از داده های تولید شده توسط سنسورها ، دستگاه های IoT و سایر سیستم ها را تجزیه و تحلیل کنند. این امر باعث می شود نظارت بر روی آن ، نگهداری پیش بینی کننده و تنظیمات خودمختار در خطوط تولید ، که باعث بهبود چشمگیر و کاهش خرابی می شود. هوش مصنوعی همچنین با تشخیص نقص ، تجزیه و تحلیل الگوهای و حتی پیشنهاد پیشرفت با مداخله انسان ، از کنترل کیفیت پشتیبانی می کند. علاوه بر این ، سیستم های دارای قدرت AI با پیش بینی تقاضا ، بهینه سازی سطح موجودی و ساده سازی تدارکات ، مدیریت زنجیره تأمین را افزایش می دهند. دستگاه های کوچک (مانند دستگاه های IoT) به شدت مورد استفاده قرار می گیرند تا کارهای یادگیری ماشین را انجام دهند. حتی اگر دستگاه های دارای منابع محاسباتی و حافظه محدودی داشته باشند ، آنها در آموزش یادگیری ماشین از طریق تکنیک هایی مانند محاسبات لبه ، یادگیری فدرال شده و فشرده سازی مدل قرار می گیرند [۶,۷]بشر
Fedrated Learning (FL) ، که به خوبی ترین رویکرد برای سیستم های غیرقانونی توزیع قابل توزیع است ، مزایای قابل توجهی را برای افزایش حریم خصوصی داده ها و کاهش انتقال داده ها ارائه می دهد [۸]بشر با این حال ، تعدیل سازگاری مدل در دستگاه های دارای قابلیت محاسباتی رایانه ای مختلف یک چالش است. برای افزودن این موضوع ، به روزرسانی های ناهمزمان و الگوریتم های آراوینگ فدرال شده مورد استفاده قرار می گیرند و به دستگاه ها امکان می دهند با سرعت خود به مدل جهانی کمک کنند [۹]بشر یکی از چالش های مهم ناهمگونی داده ها است ، جایی که داده ها در دستگاه ها و مکان های مختلف توزیع می شوند ممکن است در کیفیت ، قالب و توزیع متفاوت باشند و منجر به تفاوت در آموزش آموزش و مودل های دقیق می شوند [۹,۱۰,۱۱]بشر روشهای SEERAL برای رسیدگی به این چالش ، از جمله تکنیک های یادگیری فدرال و شخصی سازی شده ، تولید شده است [۱۲]که در حالی که استل در مدل جهانی کمک می کند ، به سرگرمی های محلی خاص می پردازد. چالش دیگر محاسبات مدل و سربار ارتباطات است ، زیرا دستگاه ها باید به طور کامل به روزرسانی های مدل را تبادل کنند ، Whicles می تواند منابع شبکه را تحت فشار قرار داده و باعث کاهش چشمگیر شود. راه حل هایی مانند مجهزات مدل و تکنیک های فشرده سازی ، میزان تبادل داده بین دستگاه ها و سرور مرکزی را می دهد [۱۳,۱۴]بشر با این حال ، اجرای فشرده سازی و پراکندگی ، تأخیرها و سربار اضافی را به ویژه برای دستگاه های محدود شده از منابع و برنامه های زمان واقعی معرفی می کند.
در این مقالات ، ما یک رویکرد یادگیری فدراسیون خوشه ای معمولی را پیشنهاد کردیم که از اشتراک پارامتر بازنمایی استفاده می کند و از پارامترهای قبل از پیشرو ضبط شده استفاده می کند تا عملکرد و منابع را برای رنگ آمیزی هندوستان ارائه دهد. سرور با توزیع یک مدل اولیه به دستگاه های لبه متصل ، آموزش را آغاز می کند. پس از آموزش محلی ، دستگاه های Edge پارامترهای به روز شده و منابع محاسباتی را به سرور ارسال می کنند. هنگامی که سرور به روزرسانی از تمام دستگاه های Edge را دریافت کرد ، آنها را بر اساس توزیع داده های خود خوشه می کند و پارامترهای به روز شده را برای دورهای آموزش آینده ثبت می کند. برای کاهش هزینه های ارتباطی غیر ضروری ، فقط یک دستگاه قدرتمند از هر خوشه می تواند به روزرسانی ها را به سرور ارسال کند زیرا توزیع پارامتر در خوشه مشابه است. از این رو ، سرور بر اساس منابع محاسباتی ، عملکرد و تأخیر در ارتباط ، دو سر خوشه را در هر گروه ، یک نسخه پشتیبان فعال و یک نسخه پشتیبان انتخاب می کند ، در حالی که مسئولیت رسیدگی به ارتباطات را بر عهده دارد. علاوه بر این ، نمونه های پارامترهای جمع شده پیش از این از طریق Arafing وزنی در آگریچست گنجانیده می شوند ، با پارامترهای جدیدتر نسبت بالایی به پاراگراف پیش بینی ایده آل داده می شود. به بهترین دانش نویسنده ، به اشتراک گذاری پارامتر با یک سر خوشه ای فعال و یک پشتیبان ، به عنوان استفاده از نمونه های پارامتر Previvault ، Hasae در حداقل سن و افزایش عملکرد در صنعت ۴٫۰ کوچک خاموش نشده است.
بقیه این مطالعه به شرح زیر ارائه شده است. بخش ۲ ادبیات مرتبط در این زمینه را شرح می دهد و بخش ۳ روش رویکرد رویکرد را با شبه کد ، معادلات و ارقام شرح می دهد. بخش ۴ ارزیابی تجربی روش پیشنهادی را با وضعیت موجود هنر ارائه می دهد. نتیجه گیری و کار آینده در بخش ۵ ارائه شده است.
۳٫ روش شناسی
بخش apphodology رویکرد اتخاذ شده در این مطالعه را تشریح می کند ، که به پنج زیر مجموعه ساخته شده است: بخش ۳٫۱: نمای کلی از چارچوب پیشنهادی ، توصیف طراحی سیستم. بخش ۳٫۲: اولیه سازی مدل ، جزئیات تنظیم پارامتر اولیه. بخش ۳٫۳: آموزش دستگاه لبه ، توضیح فرآیندهای آموزش محلی. بخش ۳٫۴: خوشه بندی و انتخاب سر خوشه ای ، تشریح رویکرد خوشه بندی و معیارهای انتخاب. و بخش ۳٫۵: استفاده از پارامترهای جمع شده Previvault ، بحث در مورد استفاده از گذشته مانند داده های Ago برای افزایش عملکرد.
۳٫۱ نمای کلی از چارچوب پیشنهادی
در این مطالعه ، یک چارچوب تقسیم پارامترهای مبتنی بر نماینده برای یادگیری فدرال فدرال ارائه شده است. همانطور که در شکل ۱ نشان داده شده است ، فرایند آموزش ابتکار عمل توسط سرور است ، که مدل اولیه را به کلیه دستگاه های Edge متصل توزیع می کند. پس از دریافت مدل اولیه در دور اول ، دستگاه های Edge با استفاده از داده های جمع آوری شده موجود ، آموزش را شروع می کنند. متعاقباً ، آنها پارامترهای به روز شده و منابع محاسباتی را به سرور منتقل می کنند. پارامترهای به روز شده و قابلیت های محاسبات دستگاه های Edge ، سرور مسئول خوشه بندی ، انتخاب سرهای خوشه ای و در نهایت توزیع سرهای Clengators است.
اگر توزیع پارامتر دستگاههای لبه مشابه باشد ، گرفتن پارامترها از ALLM در این دور ضروری نیست. در نتیجه ، یکی از قدرتمندترین دستگاه های لبه از نظر منابع و عملکرد پیش بینی کننده با هر گروه می تواند پارامترهایی را به سرور ارسال کند. از این رو ، سرور تمام پارامترها را جمع می کند ، خوشه بندی را انجام می دهد و دو نامزد سر خوشه را انتخاب می کند. دو سر خوشه بر اساس منابع ، عملکرد و تأخیر ظریف هستند. دستگاه Edge رده بالا ، با برچسب سبز در شکل ۱ ، پارامترها را به سرور ارسال می کند ، در حالی که دستگاه بازیابی دوم ، با برچسب زرد در شکل ۱ ، به عنوان سر خوشه پشتیبان عمل می کند. الگوریتم خوشه بندی از پارامترهای دستگاه لبه و توزیع داده برای گروه بندی استفاده می کند. همان ، سرور پیامی را برای دستگاه های منتخب ارسال می کند ، یعنی آنها به عنوان سر خوشه یا سرهای خوشه پشتیبان انتخاب می شوند. این رویکرد هزینه های ارتباطی ، هزینه های محاسبه در سرور و انتقال پارامترها را در دستگاه های Edge حفظ می کند و در حالی که از افزونگی ها استفاده می کند ، تأخیر می کند.
تمام پارامترهای جمع شده در سرور ذخیره می شوند. برای افزایش عملکرد ، ما از سامرهایی که پارامترهای جمع شده آن را در فرآیند جمع آوری فعلی ذخیره می کنیم ، اهرم می کنیم. روش پیشنهادی به طور تصادفی برخی از پارامترهای ذخیره شده ذخیره شده را انتخاب می کند و با توجه به مقدار Aggaled فعلی ، انتقام وزنی را اعمال می کند. مقدار جمع شده فعلی نسبت بالاتری اختصاص داده می شود ، در حالی که پارامترهای باقیمانده نسبت کمتری را دریافت می کنند. نسبت پارامترهای ذخیره شده به سن بستگی دارد ، با پارامترهای جدید نسبت بالایی دریافت می کنند و ONS قدیمی تر نسبت کمتری دریافت می کند.
۳٫۲ اولیه سازی مدل
سرور مرکزی با ایجاد یک مدل جهانی اولیه ، که به عنوان مشخص شده است ، فرایند آموزش را آغاز می کند
بشر الگوریتم ۱ عملکرد سمت سرور را نشان می دهد ، از جمله اولیه سازی پارامتر ، خوشه بندی ، انتخاب سر خوشه ، تجمع پارامتر و استفاده مجدد از پارامترهای جمع شده Previvault. این مدل اولیه به عنوان نقطه شروع برای کلیه دستگاه های لبه که در فرآیند یادگیری فدرال شده است ، خدمت می کند. سرور توزیع می کند
به همه دستگاه های لبه متصل به طور همزمان. این دستگاه های لبه ، در حالی که به طور معمول در موقعیت جغرافیایی difeent و توزیع داده های محلی متمایز می شوند ، پارامترهای حالت اولیه را دریافت می کنند. این گروه توزیع اولیه که دستگاه Edge همیشه فرایند آموزش را از همان مدل پایه شروع می کند ، تسهیل یک فرآیند آموزش هماهنگ تر و هماهنگ تر فرآیند فرآیند آموزش شبکه. با ارائه یک مدل اولیه یکپارچه ، سرور زمینه مشترکی را برای تکرارهای فرعی تنظیم می کند و به دستگاه های Edge اجازه می دهد تا ترامترهای محلی خود را شروع کنند. این مرحله برای یکنواختی اصلی بسیار مهم است و این مسئله را بیان می کند که به عنوان تجمع پارامترها در مراحل بعدی معنی دار و مؤثر است ، محاصره نهایی به تثبیت و همگرایی سیستم یادگیری فدراسیون.
الگوریتم ۱ آموزش سمت سرور |
- ۱:
-
ورودی:
- ۲:
-
خروجی:
- ۳:
-
پارامترهای مدل را اولیه کنید
- ۴:
-
اگر گرد پس
- ۵:
-
توزیع کردن به همه دستگاه های لبه
- ۶:
-
- ۷:
-
توزیع داده های دستگاه های لبه را دریافت کنید () ، عملکرد و منابع دستگاههای لبه
- ۸:
-
▹ سرور خوشه بندی را انجام می دهد
- ۹:
-
برای هر خوشه در خوشه ها انجام دادن
- ۱۰:
-
▹ ۲ دستگاه برتر را بر اساس منابع ، عملکرد و تأخیر انتخاب کنید
- ۱۱:
-
- ۱۲:
-
پایان دادن
- ۱۳:
-
▹ تجمع پارامترها در سرور
- ۱۴:
-
- ۱۵:
-
▹ پارامترهای جمع شده را ذخیره کنید
- ۱۶:
-
پارامترهای جمع شده پخش شده () و وضعیت سر خوشه (وضعیت CH)
- ۱۷:
-
دیگر
- ۱۸:
-
▹ سرور پارامترهایی را از سرهای خوشه دریافت می کند
- ۱۹:
-
- ۲۰:
-
▹ به طور تصادفی انتخاب کنید در میان پارامترهای کشاورزی
- ۲۱:
-
- ۲۲:
-
مقادیر وزن را به مجموعه پارامترهای ذخیره شده انتخاب شده اختصاص دهید
- ۲۳:
-
- ۲۴:
-
▹ تجمع پارامترهای فعلی در سرور
- ۲۵:
-
- ۲۶:
-
update به روزرسانی پارامتر فعلی با پارامترهای ذخیره شده
- ۲۷:
-
▹ پارامترهای جمع شده را ذخیره کنید
- ۲۸:
-
- ۲۹:
-
پارامترهای جمع شده پخش شده ()
- ۳۰:
-
پایان اگر
|
۳٫۳ آموزش دستگاه لبه
همانطور که در الگوریتم ۲ نشان داده شده است ، دستگاه های Edge پس از دریافت پارامترهای مدل جهانی اولیه ، آموزش را شروع می کنند
از سرور مرکزی. با استفاده از پارامترهای Inteitial ، هر دستگاه برای آموزش مدل بر روی مجموعه داده محلی خود درآمد کسب می کند
بشر این شامل اجرای چندین تکرار از یک الگوریتم آموزشی است. فرآیند محاسبه شیب ضرر با محل اقامت به پارامترهای مدل ، به روزرسانی پارامترهای accstingly و تکرار این کار در چندین دوره تا همگرایی. از طریق این آموزش بومی سازی شده ، هر دستگاه لبه مدل را اصلاح می کند تا داده های خاص خود را بهتر متناسب کند و در نتیجه پارامترهای به روز شده باشد
این الگوهای داده caapture. آموزش محلی به هر دستگاه لبه اجازه می دهد تا بینش های منحصر به فردی از داده های خود را با به اشتراک گذاشتن مضامین داده ، حفظ حریم خصوصی حفظ کند. با پایان هر دور از آموزش ، تمام دستگاه های Edge نسخه های بهینه سازی شده محلی از پارامترهای مدل را دارند که آماده هستند که توسط سرور مرکزی جمع شوند. این رویکرد غیرمتمرکز نه تنها با ترکیب توزیع های متنوع توزیع ، عملکرد و استحکام کلی مدل را تقویت می کند بلکه با نگه داشتن داده های Lucal در هر دستگاه نیز حفظ می شود.
دستگاه لبه دریافت کردن و اطلاعات محلی خود را به روز می کند و قطار (د) یک روش آموزشی را نشان می دهد که پارامترهای مدل را به روز می کند با استفاده از مجموعه داده D.
الگوریتم ۲ آموزش سمت مشتری |
- ۱:
-
ورودی:
- ۲:
-
خروجی:
- ۳:
-
اگر گرد پس
- ۴:
-
دستگاه لبه مدل اولیه را از سرور دریافت می کند
- ۵:
-
▹ با داده های موجود آموزش انجام دهید
- ۶:
-
ارسال کردن توزیع داده ها عملکرد و منابع به سرور
- ۷:
-
دیگر
- ۸:
-
پارامترهای جمع شده را دریافت می کند و وضعیت ch ch از سرور
- ۹:
-
- ۱۰:
-
اگر وضعیت CH = 1 پس
- ۱۱:
-
ارسال پارامترها به سرور
- ۱۲:
-
پایان اگر
- ۱۳:
-
پایان اگر
|
پس از اتمام هر دستگاه لبه ، پارامترهای مدل به روز شده خود را منتقل می کند بازگشت به سرور مرکزی. در کنار این پارامترها ، دستگاه های Edge همچنین اطلاعاتی در مورد منابع محاسبه ، توزیع داده ها و معیارهای عملکرد خود ارسال می کنند. این اطلاعات اطلاعاتی افزودنی شامل SOCH به عنوان قدرت پردازش ، در دسترس بودن حافظه ، پهنای باند شبکه و راندمان آموزش است ، در حالی که برای SERVERYS ، CAPAILITY و RELLABLITY ENSEVICE را ارزیابی می کند. این انتقال همه -برای جمع آوری یک مجموعه داده سازگار که شامل پارامترهای به روز شده از کلیه دستگاه های ذرات است ، به عنوان Insights بینش منابع و عملکرد هر دستگاه را نشان می دهد. این اطلاعات برای دنباله مراحل بسیار مهم است ، جایی که این سرویس خوشه بندی را انجام می دهد و سرهای خوشه ای را انتخاب می کند که بر روی همان مطالب هدر می روند تا بهینه سازی فرایند یادگیری فدرال شده باشد. هدف این است که مدیریت ارتباط سربار و بار محاسبات را انجام دهیم در حالی که آن مدل را به روش منبع و منبع بهبود می بخشد.
۳٫۴ خوشه بندی و انتخاب سر خوشه ای
هنگامی که سرور مرکزی پارامترهای مدل به روز شده را دریافت می کند
و معیارهای منبع از تمام دستگاه های Edge ، بر اساس شباهت توزیع پارامتر و ویژگی های داده ، ترزا را به خوشه ها تبدیل می کند. هدف ایجاد خوشه (C1 ، C2 ، … ، CK) به گونه ای است که دستگاه هایی با خوشه SAM دارای به روزرسانی پارامتر مشابه هستند و این نشان می دهد که آنها از داده های مشابه Pattarens استفاده می کنند. این گروه بندی با کاهش انتقال پارامترهای مشابه و تمرکز روی به روزرسانی های جمهوری ، به بهینه سازی فرایند یادگیری فدراسیون کمک می کند. در نتیجه ، هزینه های ارتباطی به حداقل می رسد زیرا اعضای خوشه انتقال پارامترهای به روز شده به سرور را متوقف می کنند. سرور با اعمال استفاده از Similaaries بومی دستگاه ها ، می تواند مشترک و جمع آوری کارآمد را انجام دهد و در نهایت باعث بهبود کارآیی کلی و عملکرد مدل می شود.
جایی که K تعداد خوشه ها است.
پس از مرحله خوشه بندی ، سرور برای انتخاب دو کاندیدای سر خوشه ای از هر خوشه K. ، نامزدهای موضوع بر اساس ترکیبی از عوامل ، از جمله منابع محاسبه آنها ، عملکرد پیش بینی کننده و تأخیر در ارتباط ، انتخاب می شوند. سرور هر دستگاه را با یک خوشه ارزیابی می کند و آنها را به طور کلی رتبه بندی می کند. دستگاه درجه بالا ، که به عنوان سر خوشه اصلی تعیین شده است
وظیفه ارسال پارامترهای به روز شده خود را بر عهده دارد
به سرور دستگاه های ضبط شده دوم ،
به عنوان سر خوشه پشتیبان خدمت کنید. پشتیبان گیری تم استحکام در سیستم ؛ اگر سر خوشه اولیه از بین برود یا مشکلات خود را برطرف کند ، نسخه پشتیبان تهیه می کند. سرور با دیدن سرهای خوشه ای مبتنی بر در دسترس بودن منابع و عملکرد ، فرایند جمع آوری پارامتر را بهینه می کند ، ارتباط سربار را به حداقل می رساند و قابلیت اطمینان و مقیاس پذیری Fedrated League Framwe را افزایش می دهد. این انتخاب استراتژیک تضمین می کند که از توانایی و کاربرد دستگاه ها برای سرکوب هر خوشه استفاده می شود ، در اقتصاد فرآیند آموزش مدل کمک می کند.
جایی که WC ، WM ، WP ، WD به ترتیب وزن CPU ، حافظه ، عملکرد و تأخیر دارند
برای انتخاب سرهای خوشه ای ، ما از یک رویکرد تصمیم گیری چند معیار استفاده کردیم ، همانطور که در معادلات (۳)-(۸) و الگوریتم ۳ ارائه شده است. با استفاده از معیارهای ورودی برای هر دستگاه IoT ، از جمله ظرفیت CPU ، ظرفیت حافظه ، پیش بینی شروع می شود. عملکرد و تأخیر در ارتباطات ، همراه با وزن اختصاص داده شده برای هر معیار. این معیارهای مخفی را به یک مقیاس مشترک عادی می کند ، جایی که مقادیر بالاتر عملکرد بهتر را سرکوب می کنند (به جز تأخیر مشترک ، جایی که مقادیر پایین تر بهتر هستند). ما برای جلوگیری از تعصب ، وزن مساوی را برای همه معیارها اختصاص می دهیم ، زیرا اولویت بندی هر معیار به سناریوهای برنامه مشخصات و تصمیمات متخصص بستگی دارد. در مرحله بعد ، با استفاده از مبلغ وزنی مقادیر عادی ، نمره کل را برای هر دستگاه رایانه می کند. سرانجام ، دستگاه با بالاترین امتیاز کل به عنوان سر خوشه انتخاب می شود.
الگوریتم ۳ رویکرد تصمیم گیری چند معیار برای انتخاب سر خوشه |
- ۱:
-
ورودی: عملکرد (کامل) ، تأخیر ارتباطات (تأخیر) ، منابع (CPU ، MEM) دستگاه های Edge
- ۲:
-
خروجی: سرهای خوشه ای انتخاب شده (با )
- ۳:
-
سرور عملکرد (PER) ، تأخیر ارتباطات (تأخیر) و منابع (CPU ، MEM) دستگاه های Edge را دریافت می کند
- ۴:
-
وزن ها را به طور یکنواخت اولیه کنید (با با با برای CPU ، حافظه ، عملکرد و تأخیر احترام)
▹ معیارها را عادی کنید
- ۵:
-
برای هر دستگاه لبه انجام دادن
- ۶:
-
- ۷:
-
- ۸:
-
- ۹:
-
- ۱۰:
-
پایان دادن
▹ نمره را برای هر دستگاه لبه محاسبه کنید
- ۱۱:
-
برای هر دستگاه لبه انجام دادن
- ۱۲:
-
- ۱۳:
-
پایان دادن
- ۱۴:
-
▹ دستگاه های ۲ لبه برتر را با بالاترین امتیاز انتخاب کنید
- ۱۵:
-
|
۳٫۵ استفاده از پارامترهای جمع شده Previvault
سرور به طور مداوم خروجی پارامترهای جمع شده را از هر دور ثبت می کند. در این مرحله ، سرور مرکز تاریخچه پارامترهای مدل جمع شده گذشته برای تقویت فرآیندهای جمع آوری آینده است. با حفظ این مخزن ، سرور می تواند از تنوع و استحکام پارامترهای تاریخی استفاده کند. پارامترهای ذخیره شده ذخیره شده ، مراحل مختلفی از آموزش مدل را تحت تأثیر قرار می دهد که توسط زیر مجموعه های مختلف دستگاه ها و توزیع داده های محلی آنها تأثیر می گذارد ، بنابراین توانایی سرور را در تولید یک قدیمی تر تر غنی می کند. این حالت از یک اقدام استراتژیک برای جلوگیری از از دست دادن اطلاعات مفید و بهبود مداوم مدل با ادغام دانش از ادعاهای گذشته. مجموعه های تم پارامترهای ذخیره شده را می توان به عنوان مشخص کرد
جایی که t تعداد دور فعلی است ، و S مجموعه ای از فروشگاه های پارامترهای جمع شده است
سرور از پارامترهای جمع شده Previvault استفاده می کند و از میانگین وزنی استفاده می کند تا آنها را در جمع بندی فعلی ترکیب کند. هنگامی که سرور پارامترهای دور فعلی را دریافت کرد
از سرهای خوشه ای انتخاب شده ، یک وزن وزنی از همان پارامترها را با یک زیر مجموعه به طور تصادفی انتخاب شده از پارامترها انجام می دهد
بشر مجموعه اخیر پارامترهای جمع شده وزن بالاتری اختصاص داده شده است
به آخرین به روزرسانی های آموزشی تأثیر تأثیر مشخصی بر مدل جهانی دارند. پارامترهای ذخیره شده وزن اختصاص داده شده است
بر اساس سن آنها ، با پارامترهای ذخیره شده NewR وزن بالاتری نسبت به نمونه های مسن دریافت کرده است. معادله برای averafing وزنی به صورت تدوین شده است
کجا وزن پارامترهای جمع شده فعلی است ، وزن برای پارامترهای جمع شده () خروجی تجمع فعلی ، S 'مجموعه پارامترهای انتخاب شده است با مجموعه ای از انتخاب شده دوباره ذخیره شده است.
این روش به منظور باد کردن تأثیرگذار به روزرسانی های عقل با دانش تاریخی که در دورهای Previvault ضبط شده است ، ترویج یک مدل پایدار و Robus طراحی شده است. با ادغام گذشته و پارامترها ، سرور توانایی تعمیم در توزیع های متنوع و قوی غیر ID را از دستگاه های مختلف لبه افزایش می دهد. این رویکرد وزنی وزنی به کاهش اثرات سر و صدا و دور از دسترس در هر دور واحد کمک می کند و منجر به یک روند ثبات تر و فرآیند یادگیری فدراسیون قابل اعتماد تر می شود.
۴٫ نتایج
در این بخش ، ما نتایج به دست آمده از ارزیابی تجربی را به عنوان کمک به عملکرد رویکرد پیشنهادی در مقایسه با روشهای موجود ، آماده و تجزیه و تحلیل می کنیم. این آزمایش بر روی دستگاه با ۶۴ گیگابایت رم و پردازنده “Nvidia Geforce RTX 4060 Ti” (سانتا کلارا ، کالیفرنیا ، ایالات متحده) انجام شد و با سرعت پایه ۳٫۲ گیگاهرتز کار کرد. الگوریتم پیشنهادی با استفاده از پایتون با چارچوب TensorFlow اجرا شد. ما واحدهای مکرر GATTED (GRUS) را برای کاشته شده رویکرد پیشنهادی به دلیل توانایی IT در رسیدگی به داده های سریال زمانی پیچیده انتخاب کردیم. GRUS در وابستگی های Captur مؤثر است در حالی که شبکه های مکرر Nealal مکرر از نظر محاسباتی سبک تر است ، در حالی که ساخت مناسب برای دستگاه های دارای منابع است. معماری سبک وزن آنها سریعتر آموزش و استنباط ، که برای برنامه های کاربردی در دستگاه هایی با قدرت و حافظه پردازش محدود بسیار مهم است.
ما از یک رویکرد چندگانه برای شبیه سازی اجرای معماری مشتری-سرور استفاده می کنیم [۳۶,۳۷]بشر برنامه های سرور روی موضوع اصلی عمل می کنند ، در حالی که موضوعات جداگانه برای هر کار که روی گره های لبه اجرا می شود اختصاص می یابد. وظایف از جمله اولیه سازی مدل ، ضبط پارامتر ، خوشه بندی ، انتخاب سر خوشه و تجمع در موضوع اصلی اجرا می شود. در کنترل ، وظایف موجود در الگوریتم ۱ برای دستگاه های Edge ، که شامل آموزش محلی و منابع و به اشتراک گذاری پارامتر است ، در زیرگروه ها پردازش می شوند.
باقیمانده این بخش به شرح زیر است: بخش ۴٫۱: مجموعه داده ها و معیارهای ارزیابی داده های مورد استفاده و معیارهای ارزیابی را توصیف می کند. بخش ۴٫۲: روشهای پایه رویکردهای مقایسه را تشریح می کند. بخش ۴٫۳: تجزیه و تحلیل پیچیدگی زمان ، محاسبات را تحقیر می کند. و بخش ۴٫۴: نتایج شبیه سازی ، ارائه و تفسیر پیامدهای آزمایشات.
۴٫۱ معیارهای مجموعه داده و ارزیابی
در این آزمایش با استفاده از مجموعه داده های آزمایش شده Ton-ioT منبع منبع تغذیه ای نیو ساوت ولز ، با تمرکز بر زیر مجموعه های ورزشی در بین هفت مجموعه داده سنسور [۳۸]بشر به طور خاص ، مجموعه داده های آب و هوا و ترموستات ، که شامل Bout Attacked و Catgories معمولی است ، در بین هفت زیر مجموعه مجموعه داده های Ton-iot برای ترور تأثیر پیشنهادی روش شناسی مورد استفاده قرار گرفت. دلیل منطقی برای زیر مجموعه آب و هوا تأثیر قابل توجهی در تخریب فرآیندها ، مانند سیستم های خنک کننده و شنوایی است ، در حالی که Substat سیستم کنترل بین المللی کنترل را برای محیط های محکم نگهدارنده سرکوب می کند. زیر مجموعه آب و هوا شامل ۶۵۰،۲۴۲ رکورد است که ۱۴ ٪ از آنها مورد حمله قرار می گیرند ، در حالی که زیر مجموعه TheterMostat دارای ۴۴۲٫۲۲۸ رکورد است که ۱۳ ٪ از آنها مورد حمله قرار می گیرند. مجموعه داده های Entimete برای شبیه سازی یادگیری فدرال به طور مساوی به ۴۰ دور تقسیم شد ، با ۷۰ ٪ از داده های مورد استفاده برای آموزش مدل و ۳۰ ٪ برای آزمایش رزرو شده است.
یک تجزیه و تحلیل قابل مقایسه سازگار بین روش پیشنهادی و روشهای انتخابی انتخاب شده قابل هراس بود. انواع مختلفی از معیارهای مورد استفاده در این ارزیابی ، حساب اطلاعات ، دقت ، فراخوان ، میانگین هارمونیک اول دقت و فراخوان (نمره F1) ، تجزیه و تحلیل پیچیدگی زمان و زمان فرآیند. تجزیه و تحلیل پیچیدگی زمان پردازش و زمان برای ارزیابی هزینه محاسباتی و همزمان مرتبط با غرفه روشهای پیشنهادی و پایه استفاده شد. علاوه بر این ، ما انحراف استاندارد را محاسبه کردیم () از صحت به تغییر در نتایج در طول دور. این بینش در مورد قوام عملکرد مدل را فراهم می کند ، با مقادیر کمتری که نشان دهنده دقت پایدار و مقادیر بالاتر است که نشان دهنده فلوپورت های بیشتر است. جدول ۱ تنظیمات پارامتر به کار رفته در طول آزمایش.
۴٫۲ روشهای پایه
روش پیشنهادی به طور دقیق در برابر انتقام فدرال و انتقام فدرال (Fed-AVG) مورد بررسی قرار گرفت ، در حالی [۳۳,۳۶]بشر این تجزیه و تحلیل قابل مقایسه با هدف نشان دادن مزایا و کارآیی رویکرد ، به ویژه در شرایط عملکرد پیش بینی و راندمان محاسبه آن است. این مطالعه با تقابل روش پیشنهادی با Araffred و Clusted Fed-AVG ، با هدف نشان دادن نحوه ارائه آدرس های روش محدودیت های مرتبط با روش های Learping Fedrated Fedrated ارائه شده است. این مقایسه بینش های ارزشمندی را ارائه می دهد و برنامه های بالقوه و کمک های خود را در پیشرفت شیوه های یادگیری فدرال شده در صنعت ۴٫۰ ارائه می دهد.
۴٫۳ تجزیه و تحلیل پیچیدگی زمانی
هر دو ارزیابی نظری و زمان اجرا برای ASSS اثرات رویکرد پیشنهادی قابل تشخیص بودند. تجزیه و تحلیل پیچیدگی زمان برای ارزیابی سربار محاسباتی انجام شد. همانطور که در الگوریتم ۱ نشان داده شده است ، دستگاه های Edge فقط باید پارامترهای به روز شده را در دور اول ارسال کنند ، در حالی که منابع اضافی مورد نیاز برای ارسال آنها را ذخیره می کند. برای دور بعدی ، فقط سرهای خوشه ای برای ارسال پارامترهای به روز شده لازم است. از این رو ، اجازه دهید د ابعاد پارامتر باشد و حرف تعداد دور باشد ؛ سپس ، پیچیدگی زمانی برای ارسال پارامترها O (1) است و دریافت پارامترها است بشر با این حال ، پیچیدگی زمانی انتقام فدرال و فدرال فدرال فدرال برای ارسال و دریافت است از آنجا که آنها باید از همه دستگاه های Edge عضو ارسال و دریافت کنند. پیچیدگی زمانی تجمیع پارامتر برای روش پیشنهادی است همانطور که سرور پارامترهای به روز شده را فقط از هر سر خوشه دریافت می کند: جایی که C تعداد خوشه ها است. در مقابل ، برای فدرال فدرال و فدرال فدرال Fed-AVG ، پیچیدگی زمان است جایی که n تعداد کل دستگاه های لبه. سرور همچنین باید خوشه بندی ، انتخاب سر خوشه ای و نمونه گیری از پارامترهای جمع شده را انجام دهد. برای فرآیند انتخاب سر خوشه ، خطوط ۵ تا ۱۳ الگوریتم ۳ شامل دو حلقه مستقل است که در نتیجه پیچیدگی زمانی از بشر پیچیدگی زمان خوشه بندی و نمونه برداری به روشهای خاص مورد استفاده بستگی دارد.
به طور خلاصه ، اعضای خوشه می توانند برای ارسال پارامترهای به روز شده در مقایسه با انتقام فدرال و FED-AVG ، مورد نیاز برای ارسال پارامترهای به روز شده استفاده کنند. سرهای خوشه ای باید پارامترهای به روز شده را ارسال کنند ، اما می تواند این کار را مدیریت کند تا منابع بهتری نسبت به سایر اعضای خوشه داشته باشد. اگرچه سرور برای ذخیره پارامترهای جمع شده ، خوشه بندی ، انتخاب سر خوشه ای و نمونه گیری از پارامترهای Agredated ، مقداری از سربار اضافی را متحمل می شود ، اما فقط پارامترهای ارسال شده ارسال شده را کوچکتر می کند.
۴٫۴ نتایج شبیه سازی
شکل ۲A ، B به ترتیب مقایسه زمان تمرین برای آب و هوا و آنهایی را به دست می آورد. ارقام تم به وضوح نشان می دهد که مدل پیشنهادی به طور قابل توجهی زمان آموزش را در مقایسه با انتقام فدرال و FED-AVG Clusted کاهش می دهد. کاهش زمان تمرینی که از دور آموزش دوم قابل توجه است. این پیشرفت قابل توجه در درجه اول به دلیل توانایی مدل تولید شده در خوشه بندی دستگاه های لبه و تمرکز بر روی آموزش فقط داده های خوشه ها بعد از دور اول است. این مدل با محدود کردن آموزش به بیشترین داده های بازنمایی از سرهای خوشه ، از پردازش زائد جلوگیری می کند و در نتیجه یک روند آموزش تأثیر بیشتر می شود.
جدول ۲ و جدول ۳ ، پیامدهای تجربی را به عنوان اطمینان از عملکرد رویکرد پیشنهادی در مجموعه داده های آب و هوا و ترموستات ، مربوطه نشان می دهد. نتایج نشان می دهد که روش propeed به پیشرفت های قابل توجه نسبت به رویکردهای پایه دست می یابد. به طور خاص ، این توانایی مدل را در طبقه بندی نقاط داده با برچسب های اقامت خود تقویت می کند. این سوء استفاده از سیستمی از استراتژی های سیستماتیک به کار رفته در روش پیشنهادی تأکید می کند. به طور خاص ، استفاده از پارامترهای Asgregated Previvault در جریان در دور ، همراه با گروه بندی دستگاه های Edge توسط توزیع های مشابه برای تجمع ، به طور قابل توجهی در نتایج بهبود یافته کمک می کند.
۵٫ نتیجه گیری
این مطالعه یک رویکرد یادگیری فدرال شده با قلاب پیشرفته را با استفاده از پارامتر بازنمایی مبتنی بر بازنمایی جمهوری و استفاده از پارامترهای جمع آوری شده Previvault برای بهینه سازی منابع و بهبود توسط دستگاه های لبه خوشه بندی استراتژیک بر اساس پارامتر و توزیع داده های خود ، معرفی می کند ، روش پیشنهادی انتقال پارامتر از همه دستگاه های لبه جیوه ، بنابراین هزینه های ارتباطی و محاسبه را به حداقل می رساند. استفاده از سرهای خوشه ای که در دسترس بودن منابع ، عملکرد و تأخیر انتخاب می شود ، با اجازه دادن به دستگاه های توانمند برای انتقال پارامترهای به روز شده ، باعث افزایش کارآیی می شود. علاوه بر این ، میانگین وزنه برداری پارامترهای جمع شده ذخیره شده با مقادیر جدید ، عملکرد مدل را در طول زمان بهبود می بخشد ، با یک برج تعصب داده های اخیر. نتایج ارزیابی آزمایشی از نظر بهینه سازی منابع و عملکرد پیش بینی امیدوار کننده است.
در روش پیشنهادی ، وزن مساوی برای معیارهای انتخاب سر خوشه اعمال شده است. با این حال ، پیشخوان آینده بر اساس اهمیت نسبی معیارهای مربوط به مشخصات Scenios ، به تکالیف وزن Biaight می پردازد. با توجه به محدودیت منابع ، این آزمایش با استفاده از شبیه سازی نخ و دو زیر مجموعه از مجموعه داده های Ton-iot ، مجتمع بود. از این رو ، کارهای آینده تمرکز بر منابع اضافی امنیتی برای فعال کردن اجرای عملی و آزمایش روش پیشنهادی در مجموعه داده های بیشتر است.
منبع: https://www.mdpi.com/2673-2688/6/2/30