تخصیص 80 درصد وزن به آموزش و 20 درصد وزن به ارزیابی در زمینه یادگیری ماشینی یک تصمیم استراتژیک بر اساس چندین عامل است. هدف این توزیع ایجاد تعادل بین بهینه سازی فرآیند یادگیری و اطمینان از ارزیابی دقیق عملکرد مدل است. در این پاسخ، دلایل این انتخاب را بررسی خواهیم کرد و ارزش آموزشی آن را بررسی خواهیم کرد.
برای درک منطق پشت تقسیم 80 درصد آموزش و 20 درصد ارزیابی، درک هفت مرحله یادگیری ماشین بسیار مهم است. این مراحل که شامل جمع آوری داده ها، آماده سازی داده ها، آموزش مدل، ارزیابی مدل، تنظیم مدل، استقرار مدل و نظارت بر مدل می شود، چارچوبی جامع برای ساخت مدل های یادگیری ماشینی تشکیل می دهد.
مرحله اولیه، جمع آوری داده ها، شامل جمع آوری داده های مرتبط برای آموزش مدل است. سپس این داده ها در مرحله آماده سازی داده ها پیش پردازش شده و آماده می شوند. هنگامی که داده ها آماده شدند، مرحله آموزش مدل آغاز می شود، جایی که مدل در معرض مجموعه داده های آموزشی قرار می گیرد تا الگوها و روابط را بیاموزد. سپس عملکرد مدل با استفاده از یک مجموعه داده جداگانه در مرحله ارزیابی مدل ارزیابی می شود.
تصمیم برای تخصیص 80 درصد وزن به تمرین و 20 درصد وزن به ارزیابی از این واقعیت ناشی می شود که آموزش مرحله اولیه ای است که مدل از داده ها یاد می گیرد. در طول آموزش، مدل پارامترهای داخلی خود را تنظیم می کند تا تفاوت بین خروجی های پیش بینی شده خود و خروجی های واقعی در مجموعه داده آموزشی را به حداقل برساند. این فرآیند شامل بهروزرسانی مکرر پارامترهای مدل با استفاده از الگوریتمهای بهینهسازی مانند نزول گرادیان است.
با اختصاص وزن بالاتر به تمرین، توانایی مدل برای یادگیری از داده ها و گرفتن الگوهای پیچیده را در اولویت قرار می دهیم. مرحله آموزش جایی است که مدل دانش خود را به دست می آورد و از مجموعه داده های آموزشی تعمیم می یابد تا داده های دیده نشده را پیش بینی کند. هر چه مدل در معرض داده های آموزشی بیشتری قرار گیرد، بهتر می تواند یاد بگیرد و تعمیم دهد. بنابراین، اختصاص بخش قابل توجهی از فرآیند ارزشیابی به آموزش، تضمین می کند که مدل به اندازه کافی در معرض داده های آموزشی برای یادگیری مؤثر است.
از سوی دیگر، مرحله ارزیابی نقش مهمی در ارزیابی عملکرد مدل بر روی داده های دیده نشده ایفا می کند. مجموعه داده ارزیابی، که جدا از مجموعه داده آموزشی است، به عنوان یک پروکسی برای سناریوهای دنیای واقعی عمل می کند. این به ما امکان می دهد اندازه گیری کنیم که مدل چقدر می تواند یادگیری خود را به نمونه های جدید و نادیده تعمیم دهد. ارزیابی عملکرد مدل برای اندازهگیری دقت، دقت، یادآوری یا هر معیار مرتبط دیگر، بسته به حوزه مشکل خاص، ضروری است.
وزن 20 درصدی که به ارزیابی داده می شود تضمین می کند که مدل به طور دقیق روی داده های دیده نشده آزمایش می شود و ارزیابی واقعی از قابلیت های آن ارائه می دهد. این مرحله ارزیابی به کشف هر گونه مسائل بالقوه مانند بیش از حد برازش، عدم تناسب یا سوگیری در پیش بینی های مدل کمک می کند. همچنین تنظیم دقیق هایپرپارامترها و معماری مدل را برای بهبود عملکرد امکان پذیر می کند.
برای نشان دادن این مفهوم، اجازه دهید یک مثال عملی را در نظر بگیریم. فرض کنید ما در حال آموزش یک مدل یادگیری ماشینی برای طبقه بندی تصاویر گربه ها و سگ ها هستیم. در طول مرحله آموزش، مدل یاد می گیرد که با تجزیه و تحلیل مجموعه داده بزرگی از تصاویر برچسب گذاری شده، بین ویژگی های گربه ها و سگ ها تمایز قائل شود. هر چه مدل بتواند بر روی تصاویر بیشتری آموزش ببیند، در تمایز بین دو کلاس بهتر می شود.
پس از تکمیل آموزش، مدل با استفاده از یک مجموعه داده جداگانه که حاوی تصاویری است که قبلا هرگز ندیده است، ارزیابی می شود. این مرحله ارزیابی توانایی مدل را برای تعمیم یادگیری و طبقه بندی دقیق تصاویر جدید و دیده نشده آزمایش می کند. با تخصیص 20 درصد وزن به ارزیابی، اطمینان حاصل می کنیم که عملکرد مدل به طور کامل بر روی داده های دیده نشده ارزیابی می شود و معیار قابل اعتمادی از اثربخشی آن ارائه می دهد.
توزیع 80 درصد وزن برای آموزش و 20 درصد وزن برای ارزیابی در یادگیری ماشینی یک انتخاب استراتژیک با هدف بهینه سازی فرآیند یادگیری و در عین حال اطمینان از ارزیابی دقیق عملکرد مدل است. با اختصاص بخش قابل توجهی از فرآیند ارزیابی به آموزش، توانایی مدل برای یادگیری از داده ها و گرفتن الگوهای پیچیده را در اولویت قرار می دهیم. به طور همزمان، مرحله ارزیابی مدل را بر روی دادههای دیده نشده آزمایش میکند و ارزیابی واقعی از قابلیتهای آن ارائه میکند.
سایر پرسش ها و پاسخ های اخیر در مورد EITC/AI/GCML Google Cloud Machine Learning:
- متن به گفتار (TTS) چیست و چگونه با هوش مصنوعی کار می کند؟
- محدودیت های کار با مجموعه داده های بزرگ در یادگیری ماشین چیست؟
- آیا یادگیری ماشینی می تواند کمک محاوره ای انجام دهد؟
- زمین بازی تنسورفلو چیست؟
- در واقع یک مجموعه داده بزرگتر به چه معناست؟
- چند نمونه از فراپارامترهای الگوریتم چیست؟
- یادگیری گروهی چیست؟
- اگر الگوریتم یادگیری ماشینی انتخاب شده مناسب نباشد چه میشود و چگونه میتوان از انتخاب درست آن مطمئن شد؟
- آیا یک مدل یادگیری ماشینی در طول آموزش نیاز به نظارت دارد؟
- پارامترهای کلیدی مورد استفاده در الگوریتم های مبتنی بر شبکه عصبی کدامند؟
سوالات و پاسخهای بیشتر را در EITC/AI/GCML Google Cloud Machine Learning مشاهده کنید