امتیاز BLEU یک معیار پرکاربرد برای ارزیابی عملکرد مدلهای ترجمه ماشینی است. شباهت بین یک ترجمه ماشینی و یک یا چند ترجمه مرجع را اندازه گیری می کند. در زمینه یک مدل ترجمه سفارشی آموزش دیده با AutoML Translation، امتیاز BLEU می تواند بینش ارزشمندی در مورد کیفیت و اثربخشی خروجی مدل ارائه دهد.
برای درک نحوه استفاده از امتیاز BLEU، مهم است که ابتدا مفاهیم اساسی را درک کنید. BLEU مخفف عبارت Bilingual Evaluation Understudy است و به عنوان راهی برای ارزیابی خودکار کیفیت ترجمههای ماشینی با مقایسه آنها با ترجمههای مرجع تولید شده توسط انسان ایجاد شده است. امتیاز از 0 تا 1 متغیر است که نمره بالاتر نشان دهنده ترجمه بهتر است.
AutoML Translation یک ابزار قدرتمند ارائه شده توسط Google Cloud AI Platform است که به کاربران اجازه می دهد تا با استفاده از داده های خود مدل های ترجمه سفارشی را آموزش دهند. هنگامی که مدل آموزش داده شد، می توان از آن برای تولید ترجمه برای متن ورودی جدید استفاده کرد. سپس از امتیاز BLEU می توان برای ارزیابی کیفیت این ترجمه ها استفاده کرد.
برای محاسبه امتیاز BLEU، ترجمه های تولید شده توسط مدل با یک یا چند ترجمه مرجع مقایسه می شوند. این مقایسه بر اساس n-گرم است که دنباله های پیوسته ای از n کلمه هستند. امتیاز BLEU نه تنها دقت n-گرم را در ترجمه تولید شده توسط مدل، بلکه حضور آنها در ترجمه های مرجع را نیز در نظر می گیرد. این کمک می کند تا هم کفایت و هم روان بودن ترجمه ها را به تصویر بکشید.
اجازه دهید این موضوع را با یک مثال توضیح دهیم. فرض کنید ترجمه مرجعی داریم: «گربه روی تشک نشسته است». و مدل ترجمه زیر را ایجاد می کند: "گربه روی تشک می نشیند." میتوانیم این جملات را به n گرم تقسیم کنیم:
مرجع: ["گربه"، "هست"، "نشسته"، "روی"، "حصیر"] مدل: ["گربه"، "sits"، "روی"، "حصیر"]
در این مورد، مدل اکثر n-gram ها را به درستی ترجمه می کند، اما زمان فعل را از دست می دهد ("is" در مقابل "sits"). امتیاز BLEU این را با اختصاص نمره کمتر به ترجمه منعکس می کند.
امتیاز BLEU را می توان با استفاده از روش های مختلفی مانند دقت اصلاح شده و جریمه مختصر محاسبه کرد. دقت اصلاحشده این واقعیت را توضیح میدهد که یک ترجمه میتواند شامل چندین اتفاق از یک n-گرم باشد، در حالی که جریمه اختصاری ترجمههایی را که بهطور قابلتوجهی کوتاهتر از ترجمههای مرجع هستند جریمه میکند.
با ارزیابی امتیاز BLEU یک مدل ترجمه سفارشی آموزش دیده با AutoML Translation، کاربران می توانند بینشی در مورد عملکرد مدل به دست آورند و زمینه های بهبود را شناسایی کنند. آنها می توانند امتیازات BLEU مدل ها یا تکرارهای مختلف را برای پیگیری پیشرفت و تصمیم گیری آگاهانه در مورد انتخاب مدل یا تنظیم دقیق مقایسه کنند.
امتیاز BLEU یک معیار ارزشمند برای ارزیابی عملکرد مدل های ترجمه سفارشی آموزش دیده با AutoML Translation است. این یک معیار کمی از کیفیت ترجمه های تولید شده توسط ماشین با مقایسه آنها با ترجمه های مرجع ارائه می دهد. با تجزیه و تحلیل امتیاز BLEU، کاربران می توانند اثربخشی مدل های خود را ارزیابی کنند و تصمیمات مبتنی بر داده را برای افزایش کیفیت ترجمه اتخاذ کنند.
سایر پرسش ها و پاسخ های اخیر در مورد ترجمه خودکار:
- مراحل ایجاد یک مدل ترجمه سفارشی با ترجمه AutoML چیست؟
- ترجمه AutoML چگونه شکاف بین وظایف ترجمه عمومی و واژگان خاص را پر می کند؟
- نقش AutoML Translation در ایجاد مدل های ترجمه سفارشی برای دامنه های خاص چیست؟
- چگونه مدلهای ترجمه سفارشی میتوانند برای اصطلاحات و مفاهیم تخصصی در یادگیری ماشین و هوش مصنوعی مفید باشند؟