هوش مصنوعی | متن کامل رایگان | علم داده های تولید داخلی: بررسی وظایف اصلی دانشمندان داده در محیط های تولید

۳٫۱٫ پیش مطالعه

برخی از مراحل مانند استقرار حذف شدند، در حالی که مراحل دیگر بر اساس بازخوردی که در عمل تشخیص آنها دشوار بود جمع‌آوری شدند (مثلاً مراحل تفسیر و ارتباط). با توجه به مقدار زمان (گزینه های هر مرحله در نظرسنجی)، یک سیستم افزایشی، با شروع $\mathrm{۵}\%$ محدوده برای کارهای جزئی و محدوده بزرگتر تا $\mathrm{۳۰}\%$ برای کارهای غالب تر استفاده شد.

۳٫۲٫ نظرسنجی اصلی

سومین سوال اصلی به بررسی عمیق وظایف پاکسازی و سازماندهی داده ها، همانطور که در لیست بالا ارائه شده است، می پردازد. در این سؤال، از دانشمندان داده خواسته شد تا مشخص کنند که کدام یک از این وظایف در یک طرح ۵ مرحله‌ای از «کمترین/بدون زمان» تا «بیشترین/زیاد زمان» زمان‌برتر هستند. مجدداً به کاربران این فرصت داده شد تا وظایف دیگری از جمله نشان دادن آنها را در اینجا اضافه کنند.

در بخش آخر نظرسنجی، از پاسخ دهندگان به طور کلی در مورد رضایت آنها از طرح ۵ ستاره و آنچه که برای رضایت بیشتر نیاز دارند (متن آزاد) سؤال شد. آخرین سوال مربوط به حوزه ای بود که کاربران در آن علم داده را انجام می دادند. از این سوال برای فیلتر کردن پاسخ‌هایی استفاده شد که با مخاطبان اصلی مطالعه، یعنی دانشمندان داده‌های حوزه تولید، همسو نبودند. از آنجایی که افراد ممکن است از داده های پیوند شده از دامنه ها استفاده کنند، این سوال امکان پاسخ های چند گزینه ای را فراهم می کند.

۴٫۱٫ وظایف علم داده

برای وظیفه آتا اکتساب، ۴۵٫۷ درصد این وظیفه را از ۰ تا کمتر از ۵ درصد از سهم کاری خود عنوان کردند. دو پاسخ حاکی از سهم قابل توجهی تا ۴۰ درصد از کار آنها بود. برای جمع آوری مجموعه داده ها۴۸٫۱% این وظیفه را تا ۱۰ درصد از کار خود و یک پاسخگو این وظیفه را تا ۴۰ درصد از کار خود نام بردند. بیشترین تعداد پاسخ (۳۷٪) برای ساخت خطوط لوله داده این وظیفه را مسئول ۶ تا ۱۰ درصد از زمان کار خود نامیدند. هیچ کس نامی نبرد تمیز کردن و سازماندهی داده ها این وظیفه کمتر از ۱۱ درصد از زمان کار خود بود، در حالی که ۴۴٫۴ درصد این وظیفه را بیش از ۴۰ درصد از زمان کار خود نام بردند. همچنین ۶۱٫۷ درصد از پاسخ‌ها به این نام اشاره کردند جستجوی الگو به عنوان اینکه ۶ تا ۱۵ درصد از زمان کار خود را می گیرند. ۷۶٫۶۹ درصد از پاسخ‌ها، سهم کاری مشابهی را نام بردند ایجاد و آموزش مدل ها. مدل های پالایش و بازآموزی بر اساس ۴۸٫۱ درصد از پاسخ ها، سهم کاری تا ۱۰ درصد را داشته است. ۴۲ درصد از پاسخ ها نام بردند پیاده سازی تجسم ها به عنوان مسئول ۶ تا ۱۰ درصد از زمان کار خود.

سه پاسخ علاوه بر درصدها به صورت متن آزاد وجود داشت. یکی از پاسخگویان به نام گسترش به عنوان یک وظیفه با سهم قابل توجهی از کار. یکی از پاسخ دهندگان نوشت که آنها “تقریباً ۴ روز کار روی مدیریت، تمیز کردن و تبدیل” در هفته انجام می دادند. آخرین نفر بدون توضیح بیشتر، “مصاحبه” را به عنوان سهم قابل توجهی از کار آنها تشکیل می دهد.

۴٫۲٫ لذت وظایف

هفت پاسخ اضافی به عنوان متن رایگان برای این سوال وجود داشت. یکی از پاسخ ها «استقرار» را به عنوان کم لذت ترین کار رتبه بندی کرد. یکی از پاسخ‌ها «تقویت داده‌ها با مهندسین و بچه‌ها در ماشین‌ها» را کمتر لذت‌بخش ارزیابی کرد (رتبه ۲). همان رتبه (۲) توسط پاسخ دهنده برای وظیفه “انتخاب سنسورها” داده شد. یکی از پاسخ دهندگان وظیفه “مصاحبه” را لذت بخش ترین کار می داند. یک نفر به “پیش پردازش و محاسبه ویژگی” رتبه خنثی داد. یکی دیگر از پاسخ‌دهندگان، کار «ایجاد گزارش» را کمترین لذت بخش می‌دانست. آخرین پاسخ دهنده «گزارش دهی و بوروکراسی» (به آلمانی «بوروکراسی») را به عنوان کم لذت ترین کار نام برد.

۴٫۳٫ تمیز کردن و سازماندهی داده های غواصی عمیق

شش پاسخ اضافی برای مراحل در کار تمیز کردن و سازماندهی وجود داشت. یکی از پاسخ‌دهندگان نوشت: «با آنچه در بخش‌های تولید اتفاق می‌افتد و داده‌ها به چه چیزی اشاره می‌کنند، بدانید». پاسخ دیگری فقط به نام “من مجبور شدم دیگران را بررسی کنم”، بدون اشاره یا توضیح بیشتر. دو پاسخ با مرحله برچسب گذاری داده های تصویر خاص سروکار دارند. پاسخ دهنده دیگری تبدیل فرمت فایل را نام برد و آخرین پاسخ دهنده وارد کردن CSV را به عنوان یک مرحله صریح مرتبط نام برد.

۴٫۴٫ رضایت

در مجموع ۱۹ پاسخ به متن رایگان برای الزامات افزایش رضایت داده شد. نیاز به بالاتر کیفیت داده (شامل برچسب زدن و مستندات) توسط هشت نفر از پاسخ دهندگان نام برده شد. سه پاسخ دهنده نیاز به بهتر را نام بردند استانداردها و نامگذاری از داده ها سه پاسخ با نیاز به داده های بیشتر برای انجام تجزیه و تحلیل دو نفر از پاسخ دهندگان نیاز به اطلاعات بیشتری را بیان کردند زمان برای علم داده و پیش پردازش کمتر به صراحت دو پاسخ به نام نیاز اطلاعات بیشتر یا تماس با تیم های تولید. علاوه بر این، دو پاسخ به نام مشکل از رابط ماشین و حسگر. پاسخ های بیشتر نیاز به الف را تشریح کردند پایگاه داده رابطه، پشتیبانی از داده های چند زبانهو گزارش کمتر.

۵٫۱٫ تفسیر نتایج

وقت صرف کردن. نظرسنجی چند مرحله‌ای که در بالا ارائه شد، بارهای کار واقعی، لذت بردن از آن‌ها، فرو رفتن عمیق در تمیز کردن و مدیریت داده‌ها و رضایت عمومی از حرفه علم داده را هدف قرار داد. پاسخ دهندگان برای دانشمندان داده حوزه تولید خاص فیلتر شدند. برای وقت گیرترین وظایف دانشمندان داده، وظیفه تمیز کردن و سازماندهی داده ها غالب بود. تقریباً نیمی از دانشمندان داده حداقل ۴۰ درصد از زمان خود را صرف این کار می کنند. از آنجایی که کمتر از ۵٪ کمتر از ۱۶٪ از زمان خود را صرف انجام این کار می کردند، این تسلط برای همه دانشمندان داده بسیار مهم بود.

لذت بردن. بسیاری از وظایف نشان داد که دانشمندان داده از آنها لذت می برند، در حالی که برخی دیگر از آنها لذت نمی برند. به طور قابل توجهی، وظایف مرتبط با لایه ساخت مدل بیشترین لذت را توسط دانشمندان داده، با میانگین امتیاز از $\mathrm{۳٫۵۲}$ به $\mathrm{۳٫۸۸}$. وظایف خارج از آن لایه با اختلاف زیادی در رتبه بندی عقب افتادند. وظیفه غالب، از نظر زمان صرف شده، تمیز کردن و سازماندهی داده ها، به مراتب کمترین لذت بخش ترین کار را رتبه بندی کرد (میانگین امتیاز $\mathrm{۱٫۸۵}$). همچنین فاصله زیادی با دومین کار لذت‌بخش پیاده‌سازی تجسم‌سازی‌ها (میانگین رتبه‌بندی) داشت $\mathrm{۲٫۶۷}$). این نتایج نشان می دهد که وظایف در لایه مرکزی علم داده مورد پسند بوده است، در حالی که وظایف خارج از آن کمتر مورد علاقه دانشمندان داده بوده است. به ویژه، کاری که بیشترین زمان برای آن صرف می شود، کم لذت ترین کار است. این بدان معناست که دانشمندان داده احتمالاً بیشتر وقت خود را با کارهایی می گذرانند که بیشتر از همه دوست ندارند. این نتیجه همچنین توسط پاسخ‌های متنی آزاد در سراسر نظرسنجی نشان داده شد که از آن به عنوان یک مشکل بزرگ نام برد.

رضایت. در مجموع، پاسخ دهندگان رضایت حرفه ای خود را کاملا مثبت ارزیابی کردند. این امر نتایج مربوط به زمان صرف شده در کارهای غیر لذت بخش را به چشم بدبینانه نمی رساند. با این حال، فضایی برای بهبود وجود دارد، که بر اساس پاسخ‌های متن آزاد می‌توان بر الزامات خاصی تمرکز کرد. موضوع کیفیت داده ها همراه با زمان ذکر شده صرف شده برای تمیز کردن، پتانسیل زیادی برای بهبود دارد. علاوه بر این، توضیحات و استانداردها چندین بار مطرح شد که نشان دهنده نیاز به بررسی بیشتر است.

۵٫۲٫ قرار دادن در زمینه

پاکسازی داخل داده ها، دو مرحله از زمان برترین مراحل، همگام سازی و پر کردن داده های از دست رفته، عمدتاً چالش های فنی هستند. ابزارها و روش های جدید از حوزه علم داده ممکن است برای حل و حمایت از این چالش ها در آینده قابل استفاده باشد. از سوی دیگر، زمان‌برترین مرحله، پرسیدن معنای نقاط داده از مردم، صرفاً یک چالش فنی نیست. برای انجام این مرحله، ارتباط با متخصصان نیز باید صورت گیرد و درک داده ها توسط دانشمندان داده مورد نیاز است. این منجر به چالش ها و راه حل های خاص دامنه می شود. راه حل های فنی مانند استانداردها، اسناد و فروشگاه های اطلاعات ممکن است نقش مهمی در حل این مشکل ایفا کنند. با این وجود، مهارت های خاص دامنه برای این کار مورد نیاز است. این نشان می‌دهد که پاکسازی داده‌ها، در نهایت، تنها می‌تواند تا حد معینی بدون دانش خاص دامنه انجام شود.

۶٫۱٫ خلاصه

در این مقاله، ما وظایف معمولی را برای دانشمندان داده‌ای که در ادبیات و نظرسنجی‌ها شناسایی شده‌اند نشان دادیم و این را با یک نظرسنجی خاص دامنه برای حوزه تولید به چالش کشیدیم. همانطور که توسط دیگران نشان داده شده است، موضوع وظایف پیش پردازش، بر خلاف وظایف واقعی مدل سازی و پس پردازش در حوزه تولید، غالب است. در عین حال، دانشمندان داده از این وظایف لذت نمی برند و عموماً در پیشنهادات شغلی آنلاین تبلیغ نمی شوند. این به طور بالقوه تصویری نادرست از دانشمندان داده در عمل ایجاد می کند. با این حال، این نظرسنجی رضایت شغلی بالایی را برای دانشمندان داده نشان داد.

برای تمیز کردن داده‌ها، متوجه شدیم که همگام‌سازی جریان داده، پر کردن مقادیر از دست رفته، و درخواست معنا از افراد مهم‌ترین مراحل هستند. اینها تا حدی مشکلات بین دامنه ای فنی هستند، اما تا حدی نیز مشکلاتی هستند که نیاز به راه حل های خاص دامنه دارند، نه تنها در سطح فنی. از سوی دیگر، به دلیل نوع داده هایی که در تولید رخ می دهد، مراحلی مانند پاک کردن متن عمدتا حذف می شوند.

سایر مطالعات و نظرسنجی ها در زمینه دانشمندان داده بر حوزه و طیف وسیعی از پاسخ دهندگان متمرکز شده اند. در مقابل، این نظرسنجی بر روی یک گروه خاص متمرکز شد تا نیازهای خاص این گروه را شناسایی کند. در مقایسه با سایر نظرسنجی‌ها، برتری در زمینه پاکسازی داده‌ها و همچنین مرزهای کمتر واضح با سایر مشاغل را نشان دادیم. این بینش‌های عمیق می‌توانند به پژوهش‌های بیشتر و اقدامات هدفمندی خاص برای دانشمندان داده در حوزه تولید اجازه دهند.

در نهایت، نتایج یک اهرم اصلی برای افزایش کارایی و کاهش هزینه‌ها با مقابله با وظایف و چالش‌های پیش پردازش در حوزه تولید برای دانشمندان داده را نشان می‌دهد.

۶٫۲٫ چشم انداز

با توجه به اهرم اصلی که در بالا توضیح داده شد، تحقیقات بیشتری برای کاهش حجم کار پاکسازی و سازماندهی داده ها مورد نیاز است. این بدان معناست که روش‌های جدیدی برای اطمینان از کیفیت داده و در دسترس بودن اطلاعات، مانند پایگاه‌داده علت- معلولی یا پارامتر، باید مورد توجه قرار گیرد. علاوه بر این، استانداردهای خاص برای صنعت پتانسیل بالایی برای کاهش حجم کاری واقعی وظایف پیش پردازش دارند.

برای محرک های اصلی وظایف پاکسازی داده ها، تحقیقات عمیق ویژه ای مورد نیاز است. عدم درک (پرسیدن از مردم برای معنی) در مورد داده ها را می توان با استفاده از استانداردها، رویکردهای نقشه برداری داده ها و استفاده بهتر از منابع داده از همان ابتدا برطرف کرد. برای داده‌های از دست رفته، راه‌حل‌های جدید شناسایی مقادیر از دست رفته و ارائه توصیه‌هایی در مورد نحوه پر کردن آن‌ها می‌تواند مفید باشد، به‌ویژه هنگام مقیاس‌گذاری تولید. همزمان سازی جریان های داده چندگانه با اضافه شدن هر منبع داده، پیچیدگی را افزایش می دهد. هنگام برخورد با تولیدات در مقیاس بزرگ، نیاز به راه حل های کارآمد (نیمه خودکار) برای انجام این کار بسیار مهم است و باید در تحقیقات بیشتر مورد توجه قرار گیرد.

این مطالعه همچنین کانون های مختلف دانشمندان داده را در عمل نشان داد. تحقیقات اضافی در مورد تعریف وظایف علم داده و نقش‌های اضافی احتمالی مانند افسران کیفیت داده، مهندسان داده یا دیگران باید انجام شود. یک جعبه ابزار اختصاصی برای وظایف پیش پردازش و روش هایی برای شناسایی سریع مشکلات کیفیت داده های معمولی ارتباط عملی بالایی دارد. معیارها از نظر هزینه‌های ناشی از عدم کیفیت داده یا سهم کار مدل‌سازی می‌توانند بیشتر امکان کمی کردن کارایی راه‌حل‌ها و ابزارهای جدید را فراهم کنند. در نهایت، از آنجایی که این تحقیق نشان داد که ارتقای موقعیت با سهم واقعی کار متفاوت است، انطباق شرح شغل و انتظارات می تواند برای شادی دانشمندان داده مفید باشد.

در مورد خود نظرسنجی، نظرسنجی بر حوزه تولید متمرکز بود. جالب است بدانیم که آیا این الزامات و وظایف خاص در حوزه های دیگر نیز به همین شکل یافت می شوند. علاوه بر این، تمرکز بیشتر بر حوزه‌های خاص در داخل تولید می‌تواند جالب باشد، با این فرض که حوزه‌هایی مانند فرزکاری و تولید سلول باتری منجر به وظایف و مراحل خاص متفاوتی می‌شوند. با توجه به روش‌های نمونه‌گیری مورد استفاده، انتظار می‌رفت که بیشتر پاسخ‌دهندگان به این نظرسنجی از آلمان و اروپا باشند، که تجزیه و تحلیل آماری را نسبتاً به منطقه اروپایی اختصاص می‌دهد. کار بیشتر می‌تواند بر حوزه‌های دیگر متمرکز شود یا یک گزینش پاسخ‌دهنده در مقیاس جهانی داشته باشد.

در نهایت، درک اطلاعاتی که دانشمندان از شغل خود و کار واقعی آنها انجام می دهند، می تواند برای بررسی بیشتر جالب باشد، در مورد اینکه آیا انتظارات و واقعیت با هم مطابقت دارند یا اینکه آیا مشکلات ناشی از عدم تطابق هستند.