ကၠာဲဘာသာဗွဲမပြဟ်တုဲဒးရးရး

Neural Machine Translation (အၚ်္ဂလိက်: NMT) ဂှ် ဒှ်နဲကဲကၠာဲဘာသာ နကဵုစက် မသုင်စောဲ သၞောတ်အာရီုကောန်ကၞေင် (Artificial Neural Networks) သွက်ဂွံခါတ်ဒုင် (Predict) လၟေင်မအရေဝ် ပ္ဍဲဘာသာတၞဟ်ရ။ နဲကဲဏအ်ဝွံ တၟေင်ခြာဒၟံင်နူကဵု နဲကဲတြေံ (Statistical Machine Translation) ဟိုတ်နူဍေံမာန် ကတ်လ္ၚတ် (Learning) အလုံမွဲပိုဒ်လိက် (End-to-end) တုဲ ကဵုရလဒ်မနွံကဵု အရေဝ်အစှ်ေ (Fluency) သၠုဲဂၠိုင်ရ။

သၞောတ်သဇိုင် Encoder-Decoder

သၞောတ်အဓိက NMT ဝွံ ဒုင်သဇိုင်ကဵု နဲကဲ Sequence-to-Sequence (Seq2Seq) မနွံကဵုအစောံၜါအဆံင်:

Encoder (ညးစုတ်သင်္ချာ): ဍေံဗှ်မအရေဝ် နူဘာသာတမ် (Source) တုဲ ပြံင်လှာဲထောအ် ညံင်ဂွံဒှ် ဂၞင်သင်္ချာ (Fixed-length vector) ဟွံသေင်မ္ဂး Context vector ရ။ ဍေံပ္ကောံစွံအဓိပ္ပာယ်ဗွိုင် အလုံမွဲပိုဒ်လိက် ပ္ဍဲကဵုဒၞာဲဏအ်ရ။
Decoder (ညးပတိတ်ဘာသာ): ဍေံကေတ် Context vector နူ Encoder တုဲ ကလေင်ပြံင်လှာဲပတိတ် (Decode) မအရေဝ်မွဲမတုဲမွဲမ ညံင်ဂွံဒှ် ဘာသာပတိတ် (Target) ရ။

နဲကဲ Attention Mechanism

ပ္ဍဲကဵုသၞောတ် Seq2Seq ဓမ္မတာဂှ် ယဝ်ရပိုဒ်လိက်ဂၠိင်လောန်မ္ဂး အဓိပ္ပာယ်ဗွိုင် လီုလာ်မာန်ရ။ ဟိုတ်ဏအ်ရ နဲကဲ Attention Mechanism မံက်ဂတဝ်ကၠုင်ရ။

နဲကဲဏအ် ကဵုအစောံစရာဲ ကု Decoder ညံင်ဂွံစွံအာရီု (Focus) ပ္ဍဲဒၞာဲကိစ္စဇၞော်ဂမၠိုင် ပ္ဍဲပိုဒ်လိက်တမ် ကာလမကၠာဲမအရေဝ်မွဲမွဲမရ။
ဣဏအ်ဂှ် ဗိုင်ရီုကဵု ညံင်အဓိပ္ပာယ် သဒ္ဒါ ကေုာံ အစှ်ေဘာသာ ဂွံဒးရးသၠုဲအိုတ်ရ။

သၞောတ် Transformer Model

ပ္ဍဲကဵု ဂအုပ်ရုင် AI ခေတ်လၟုဟ် (နူသၞာံ ၂၀၁၇)၊ နဲကဲ Transformer ဂှ် ဒှ်အရာမသုင်စောဲဂၠိုင်အိုတ်ရ။ ဍေံဟွံသုင်စောဲ Recurrent Neural Networks (RNN) ရ၊ ဆဂး ဍေံသုင်စောဲ Self-attention သွက်ဂွံကၠောန်ကမၠောန် ဗွဲမပြဟ် (Parallel processing) ရ။ နဲကဲဏအ်ဂှ် ဒှ်သဇိုင်အဓိက သွက်:

ဂူဂလ် Translate
GPT (Generative Pre-trained Transformer)
Gemini

တင်ဒုင်စသိုင် ကေုာံ စကာသုင်စောဲ

သွက်ညးလ္ၚတ် AI တအ် မာန်စကာသုင်စောဲ NMT နကဵု Open-source Framework ဂမၠိုင်:

OpenNMT: နဲကဲမသုင်စောဲလောဲ သွက်ဂွံဗ္တောန် (Training) စက်ကၠာဲဘာသာ။
Fairseq (Facebook AI): သုင်စောဲ သွက်ဂွံသ္ၚေဝ်ဂၠေပ် နဲကဲ Transformer သၠုဲသၠုဲ။
Hugging Face Transformers: သုင်စောဲ Pre-trained models သွက်ဂွံကၠာဲဘာသာ ဗွဲမပြဟ်။

ရံင်အဏအ်

နိဿဲ