အရေဝ်ဘာသာဗေဒ သဘာဝ

အရေဝ်ဘာသာဗေဒ သဘာဝ
	Natural Language Processing (NLP)
ပရူပရာ သဇိုင်
သဘဴဓရ် အဓိက	လၟေင်ကမၠောန် သၞောတ်ဝ် AI; ပွမပါ်ကုတ် မအရေဝ် (Tokenization); လေက်ဇြိမ် ကေုာံ သဳမာန်တေတ် (Semantics)
ကဏ္ဍအပ္ဍဲဂမၠိုင်	သိပ္ပံ ကောန်ပျူတာ (Computer Science); အရေဝ်ဘာသာဗေဒ (Linguistics); ဉာဏ်ပညာ ဇန်ဗဒှ် (AI)
ဘာသာ မဆက်စပ်	ဉာဏ်ပညာ ဇန်ဗဒှ် ယေန်သၞာင် (Cultural AI)

အရေဝ်ဘာသာဗေဒ သဘာဝ (အၚ်္ဂလိက်: Natural Language Processing - NLP) ဝွံ ဍေံ ဒှ် ကဏ္ဍ ဘာသာရပ် မွဲ မပံင်နှဴ လဝ် အကြာ သိပ္ပံ ကောန်ပျူတာ၊ အရေဝ်ဘာသာဗေဒ ကေုာံ ဉာဏ်ပညာ ဇန်ဗဒှ် (AI) ရ။ တိုင်ရန်တၟအ် အဓိက ဍေံ ဂှ် သွက်ဂွံ ဗ္တောန် စက် ကောန်ပျူတာ တအ် ညံင် ဂွံ ဗှ်၊ ကၠိုဟ်စိုပ် ကေုာံ သ္ၚေဝ်ဂၠေပ် အဓိပ္ပါယ် အရေဝ်ဘာသာ မၞိဟ် တအ် ဗွဲမဍာံဇေတ် ရ။

လဒက်ပ္တန် အရေဝ်ဘာသာ ကောန်မၞိဟ် ဏအ် ဝွံ ဍေံ လှဲလး တုဲ ဍေံ တၞဟ်ခြာ နူကဵု ပရေင်ဆက်ဆောံ သတ်တအ် ပ္ဍဲကဵု သဘာဝ ဇဳဝဗေဒ ဗွဲမလောန် ရ။ အရေဝ် မၞိဟ် ဝွံ ဍေံ နွံ ကု သဒ္ဒါ မထုဲနှဴ ကေုာံ အဓိပ္ပါယ် စိတ်ကူး (Abstract Concepts) မဇြိုဟ်နက် တုဲ၊ သွက် စက် မွဲ ဂွံ ကၠိုဟ်စိုပ် ဂှ် ဍေံ ဒး သုင်စောဲ သၞောတ်ဝ် အလဂဝ်ရဳတမ် (Algorithms) အဆင့်ဆင့် ရ။

၁။ သဘဴဓဝ် သ္ဇိုင် ကေုာံ လၟေင်ကမၠောန် (Core Concepts and Pipeline)

သွက် စက် AI မွဲ ဂွံ ကၠိုဟ်စိုပ် ဝါကျ မွဲ ဂှ်၊ ဍေံ ဒး ကွာ် အာ အတိုင် လၟေင်ကမၠောန် သ္ဇိုင် (NLP Pipeline) အတိုင် ဗွဲသၟဝ် ဏအ် ရ -

ပွမပါ်ကုတ် မအရေဝ် (Tokenization): ဍေံ ပါ်ကုတ် ထောအ် ဝါကျ ဇမၠိင် ညံင် ဂွံ ဒှ် အာ ကုတ် တဝ်ကေန် ဍောတ်တ်။
ပွမစၟတ်သမ္တီ ဝါစင်္ဂ (POS Tagging): ဍေံ စၟတ်သမ္တီ ဒဒှ်ရ မအရေဝ် တအ် ဂှ် ဍေံ ဒှ် နာမ်၊ ကြိယာ ဟွံသေင်မ္ဂး နာမဝိသေသန လဵု ရော။
ပွမဂၠာဲ လေမ်မာ (Lemmatization): ဍေံ ပတိတ် ထောအ် အက္ခရ် သဒ္ဒါ မဆက်စပ် တအ် တုဲ ဍေံ ကလေင် ဂၠာဲ တမ်ရိုဟ် မအရေဝ် (Lemma) သွက် အဘိဓာန် ရ။
ပွမဆက်စၠောအ် လေက်ဇြိမ် (Lexeme Mapping): ဍေံ ဆက်စၠောအ် ဏာ ယၟု တမ် ဂှ် ဇရေင် လေက်ဇြိမ် လတူ ကွန်ရက် (ဥပမာ - ဝဳကဳဒေတာ) သွက်ဂွံ ကၠိုဟ် အဓိပ္ပါယ် ဇေတ်တ် ရ။

၂။ ပြသၞာ သွက် အရေဝ်ဘာသာ အာရှ ကေုာံ ပွမပြုပြေင် (Challenges and Proactive Preparation)

သ္ၚေဝ်ဂၠေပ်ရံင် နကဵု လညာတ် ဉာဏ်ပညာ ဇန်ဗဒှ် ယေန်သၞာင် (Cultural AI) မ္ဂး၊ လၟေင်ကမၠောန် NLP ဝွံ ဍေံ ဒှ် ပြသၞာ ဇၞော်အိုတ် သွက် အရေဝ်ဘာသာ ရးအာရှ (ဥပမာ - မန်၊ ဗၟာ၊ သေံ) တအ် ရ -

ဟွံမွဲ ကု ဒၞာဲသၠး (No Word Boundaries): ပ္ဍဲ လိက် မန် ဂှ် မအရေဝ် ဇၟာပ် မ ဍေံ ဆက် ဒၟံင် ရေင်သ္ကအ် တုဲ စက် တအ် ဍေံ ပါ်ကုတ် (Tokenize) ဝါတ်ဂါတ် ဗွဲမလောန် ရ။
ဒေတာ သ္ဇိုင် အောန် (Low-Resource Languages): ဟိုတ်နူ တင်ဂၞင် အဘိဓာန် ပ္ဍဲ အေန်တာနက် ဍေံ အောန် ဒၟံင် ဂှ်ရ၊ ညးသုတေသန ကေုာံ တၠပညာ တအ် ဍေံတအ် ဒး ပြုပြေင် ပကောံပကေဝ် သြိုင်ခၞံ လဝ် ဒေတာသ္ဇိုင် သွက် လေမ်မာ ကေုာံ ဝါစင်္ဂ ညံင် ဂွံ ခိုင်ကၠိုက် ကိုပ်ကၠာ ရောၚ်။

၃။ NLP ကေုာံ လဒက်ပ္တန် ယေန်သၞာင်နာနာ (NLP and Multiculturalism)

ပ္ဍဲကဵု ခေတ်လၟုဟ်၊ အရေဝ်ဘာသာဗေဒ သဘာဝ ဝွံ ဍေံ ဟွံသေင် ဆ နဲပညာ သၟး ယျ။ ဍေံ ဒှ် လွဟ် အဓိက သွက်ဂွံ မင်မဲ ယေန်သၞာင် မအရေဝ် ရးဒေသ တအ် ရ။ နကဵု ပွမသုင်စောဲ လၟေင်ကမၠောန် ကၠာဲဘာသာ (Machine Translation) ကေုာံ ဝေပ် သဳမာန်တေတ် (Semantic Web) ဂှ်၊ NLP ဍေံ ဖန်ဗဒှ်ကဵု ညံင် လညာတ် ယေန်သၞာင်နာနာ (Strategic Hybridity) ဂွံ ဇၞော်မောဝ် အာ အလုံမွဲ ဂၠးကဝ် ဒဳဂျဳတေဝ် ဗွဲမပြဟ် မာန် ရ။

၄။ အနာဂတ် ဂၠးကဝ် ဒဳဂျဳတေဝ် ကေုာံ သၞောတ်ဝ် မဏ္ဍလ (Future in the Digital Mandala)

ယဝ်ရ ဂကူ မွဲ ဍေံ မိက်ဂွံ ပါလုပ် (Inclusion) ပ္ဍဲကဵု လဒက်ပ္တန် သၞောတ်ဝ် မဏ္ဍလ (Digital Mandala) ကေုာံ ဍုင် စိတ်ကူး (Imagined Communities) လတူ အေန်တာနက် မ္ဂး၊ ဂကူ ဂှ် ဍေံ ဒး နွံ ကု သၞောတ်ဝ် NLP မဍိုက်ပေင် ရောၚ်။ နဲပညာ ဏအ် ဍေံ ဖန်ဗဒှ်ကဵု ညံင် စက် တအ် ဂွံ "ကၠိုဟ်" စိုတ်ဝိညာဏ် ဂကူမၞိဟ် တအ် တုဲ ဍေံ မင်မဲ လဝ် ညံင် ယေန်သၞာင် ကေုာံ သဘာဝ အရေဝ်ဘာသာ မိမ ပိုယ် ညံင် ဟွံဂွံ ကၠေအ်ကၠက် အာ လၟိုန် ရောၚ်။

ဆက်ဗှ်ညိ

နိဿဲ

Jurafsky, D., & Martin, J. H. (2021). Speech and Language Processing. Pearson.
Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.
Chomsky, N. (1957). Syntactic Structures. Mouton.