myPOS
# myPOS myPOS Corpus (Myanmar Part-of-Speech Corpus) for Myanmar language NLP Research and Developments Latest Version: [myPOS (Version 3.0)](https://github.com/ye-kyaw-thu/myPOS/tree/master/corpus-ver-3.0) ## Lincense Creative Commons Attribution-NonCommercial-Share Alike 4.0 International (CC BY-NC-SA 4.0) License [Details Info of License](https://creativecommons.org/licenses/by-nc-sa/4.0/) ## Introduction The myPOS Corpus (Myanmar POS Corpus) is a 11,000 sentences (264,920 words or 242,865 words if we consider compound words) manually word segmented and POS tagged corpus developed for Myanmar language NLP research and developments. We collected Myanmar sentences from Wikipedia that include various area such as economics, history, news, politics and philosophy. The average number of words per sentence in the whole corpus is 21.78. The longest sentence contained 423 words and shortest sentence contained 2 words as follows (here, line number : Myanamr sentence): Longest sentence : 423 words 2201 : လူ ခပ်သိမ်း ၏ မျိုးရိုး ဂုဏ်သိက္ခာ နှင့်တကွ လူ တိုင်း အညီအမျှ ခံစားခွင့် ရှိ သည့် အခွင့်အရေး များ ကို အသိအမှတ်ပြု ခြင်း သည် လူ ခပ်သိမ်း ၏ လွတ်လပ် မှု ၊ တရားမျှတ မှု ၊ ငြိမ်းချမ်း မှု တို့ ၏ အခြေခံ အုတ်မြစ် ဖြစ် သောကြောင့် လည်းကောင်း ၊ လူ့ အခွင့်ရေး များ ကို အရေးမထား မထီလေးစားပြု ခြင်း သည် လူ ခပ်သိမ်း ၏ အကျင့် သိက္ခာ ကို ချိုးဖောက် ဖျက်ဆီး တတ် သည့် ရက်စက် ကြမ်းကြုတ် သော အပြုအမူ များ ကို ဖြစ်ပေါ် စေ ခဲ့ သောကြောင့် လည်းကောင်း ၊ လွတ်လပ် စွာ ဖွင့်ဟ ပြောဆို နိုင် မှု လွတ်လပ် စွာ သက်ဝင် ယုံကြည် နိုင် မှု ၊ ကြောက်ရွံ့ ခြင်း ၊ ချို့ငဲ့ ခြင်း တို့ မှ ကင်းလွတ် စွာ အသက်မွေး နိုင် မှု တို့ ကို ခံစား ရယူ နိုင် စေ မည့် လောက တစ် ခု ပေါ်ပေါက် လာ ရန် အရေး ကို လူ ခပ်သိမ်း တို့ က မိမိ တို့ ၏ အထက်သန်ဆုံး သော လိုလား ချက် ဆန္ဒ ကြီး အဖြစ် ဖြင့် ကြွေးကြော် ကြေညာ ပြီး ဖြစ် သောကြောင့် လည်းကောင်း ၊ လူ ခပ်သိမ်း တို့ သည် ၊ တရားလက်လွတ် နှိပ်စက်ကလူပြု မှု ၊ အုပ်စိုး မှု နှင့် ဖိစီး ညှဉ်းပန်း မှု တို့ ကို နောက်ဆုံး မလွှဲသာမရှောင်သာ လက်နက် စွဲကိုင် ကာ တော်လှန် ခြင်း ၊ ပုန်ကန် ခြင်း မ ပြု စေရန် ၊ လူ့ အခွင့်ရေး များ ကို ဥပဒေ ဖြင့် ထိန်းသိမ်း ကာကွယ် ပေး ရ မည် ဖြစ် သောကြောင့် လည်းကောင်း ၊ နိုင်ငံ အချင်းချင်း ချစ်ခင် ရင်းနှီး စွာ ဆက်ဆံ ရေး ကို ပိုမို တိုးတက် စေရန် ကြံဆောင် ရ မည် ဖြစ် သောကြောင့် လည်းကောင်း ၊ ကမ္ဘာ့ ကုလသမဂ္ဂ အဖွဲ့ ဝင် တို့ သည် မူလ လူ့ အခွင့်အရေး များ ကို လည်းကောင်း ၊ လူ ၏ ဂုဏ်သိက္ခာ ကို လည်းကောင်း ၊ ယောက်ျား မိန်းမ တို့ ၏ တူညီ သည့် အခွင့်အရေး များ ကို လည်းကောင်း ၊ လေးစား ယုံကြည် ပါ သည် ဟု ကုလသမဂ္ဂ တွင် ထပ်မံ ၍ အတည်ပြု ပြီး သည့် ပြင် ၊ လူမှု ကြီးပွား တိုးတက် ရေး နှင့်တကွ ပိုမို လွတ်လပ် ကောင်းမွန် သော လူ့ ဘဝ အဆင့်အတန်း တို့ ကို မြှင့်တင် ရန် သန္နိဋ္ဌာန်ချ ပြီး ဖြစ် သောကြောင့် လည်းကောင်း ၊ ကမ္ဘာ့ ကုလသမဂ္ဂ အဖွဲ့ ဝင် နိုင်ငံ တို့ သည် ကုလသမဂ္ဂ အဖွဲ့ နှင့် ပူးပေါင်း ၍ လူ့ အခွင့်အရေး များ ကို လည်းကောင်း ၊ အခြေခံ လွတ်လပ်ခွင့် အခွင့်အရေး များ ကို လည်းကောင်း ၊ ကမ္ဘာ့ တစ်ဝန်း လုံး တွင် ရိုသေ လေးစား ကျင့်သုံး စောင့်စည်း ကြ ခြင်း ကို အားပေး မည် ဟု ကတိပြု ပြီး ဖြစ် သောကြောင့် လည်းကောင်း ၊ ထို ကြောင့် အထွေထွေညီလာခံ က အပြည်ပြည် ဆိုင်ရာ လူ့ အခွင့်အရေး ကြေညာစာတမ်း ကို လူ တိုင်း အဖွဲ့အစည်း တိုင်း သည် အစဉ် နှလုံးသွင်း လျက် ကမ္ဘာ တစ်ဝန်း လုံး တွင် အဆိုပါ အခွင့်အရေး များ နှင့် လွတ်လပ်ခွင့် များ ကို ရိုသေ လေးစား ကြ စေရန် ဆုံးမ သွန်သင် ခြင်း ဖြင့် အားထုတ် ကြ ရ မည် ဟု လည်းကောင်း ၊ ကုလသမဂ္ဂ အဖွဲ့ ဝင် နိုင်ငံ များ နှင့် ထို နိုင်ငံ တို့ ၏ အာဏာပိုင် အတွင်း ရှိ နယ်ပယ် ဆိုင်ရာ တိုင်းသူပြည်သား များ အား အဆိုပါ အခွင့်အရေး နှင့် လွတ်လပ်ခွင့် များ ကို ကျယ်ကျယ်ပြန့်ပြန့် ထိရောက် စွာ သိမှတ် ကျင့်သုံး စောင့်စည်း ကြ စေရန် ပြည်တွင်း ပြည်ပ ဆိုင်ရာ တိုးတက် သော ဆောင်ရွက် ချက် များ ဖြင့် အားထုတ် ကြ ရ မည် ဟု လည်းကောင်း ရည်ရွယ် ပြီးလျှင် လူ့ အခွင့်အရေး များ ဆိုင်ရာ အပြည်ပြည် ဆိုင်ရာ ကြေညာစာတမ်း ကို နိုင်ငံ ခပ်သိမ်း ၊ လူ ခပ်သိမ်း တို့ တပြေးညီ စွာ ဆောင်ရွက် နိုင် ကြ စိမ့်သောငှာ ယခု ထုတ်ပြန် ကြေညာ လိုက် သည် ။ total : 1 Shortest sentence : 2 word(s) 20 : သူခိုး ။ 1336 : အိုကေ ။ 2312 : ဒေးကတ်အာ ။ 2511 : ဗေကင်ဖရန်စစ် ။ 2568 : ဘာ ။ 3735 : ကျည်းကန်ရှင်ကြီး ။ 4842 : ဖယ် ။ 5320 : တဆိတ်လောက် ။ 5604 : ဆပင်နိုဇာဗီ ။ 6927 : ဒူးထောက် ။ 6982 : ကန့်အိုင် ။ 8239 : ကွန်ဖူးဇီး ။ 9918 : ဟုတ်ကဲ့ ။ 10196 : ဟေး ။ 10902 : အမလေး ။ total : 15 Average words per line : 21.78 ## Word Segmentation In Myanmar texts, words composed of single or multiple syllables are usually not separated by white space. Spaces are used for easier reading and generally put between phrases, but there are no clear rules for using spaces in Myanmar language. Therefore, word segmentation is a necessary prerequisite for POS tagging. In our myPOS corpus, we did manual word segmentation based on following six rules: 1. Myanmar word can usually be identified by the combination of root word, prefix and suffix. Unsegmented word: စားသည် (eat) Segmented word: စား/v သည်/ppm 2. Plural Nouns are identified by following the particle. Unsegmented word: ကျောင်းသားများ (students) Segmented word: ကျောင်းသား/n များ/part 3. Possessive words are identified by following post positional marker. Unsegmented word: ကျွန်တော်၏စာအုပ် (my book) Segmented word: ကျွန်တော်/n ၏/ppm စာအုပ်/n 4. Noun is identified with the combination of particle to the verb or the adjective. Unsegmented word: ဆက်သွယ်ရေး (communication), ရိုးသားမှု(honesty) Segmented word: ဆက်သွယ်/v ရေး/part, ရိုးသား/adj မှု/part 5. Particle state the type of noun , and used after number or text number. Unsegmented word: ၁၀ယောက် (10 people), ငါးခု (five pieces) Segmented word: ၁၀/num ယောက်/part, ငါး/tn ခု/part 6. We put breakpoints ("|", pipe character) for compound words. Unsegmented word:ခရမ်းမြို့နယ် (Khayan township) Segmented word: ခရမ်း/n|မြို့နယ်/n ## POS Tags 15 Myanmar POS are used in our tag set to meet the necessity of further NLP processing such as information extraction, semantic processing and machine translation. The definitions and descriptions of POS tags are presented in detail as follows: | POS Tag | Brief Definition | Examples | | ------------- |-------------|------| | abb | Abbreviation | အထက(Basic Education High School), လ.ဝ (Confidentiality) | | adj | Adjective | ရဲရင့် (brave), လှပ (beautiful), မွန်မြတ် (noble) | | adv | Adverb | ဖြေးဖြေး (slow), နည်းနည်း (less) | | conj | Conjunction | နှင့် (and), ထို့ကြောင့် (therefore), သို့မဟုတ် (or) | | fw | Foreign Word | 1, 2, 3, Myanmar, ミャンマー (Myanmar in Japanese), BBC, Google. 缅甸 (Myanmar in Chinese)| | int | Interjection | အမလေး (Oh My God!) | | n | Noun | ကျောင်း (school), စာအုပ် (book), ဒေါ်အောင်ဆန်းစုကြည် (Daw Aung San Suu Kyi), လွတ်လပ်ရေး (freedom) | | num | Number | ၁ (1), ၂ (2), ၃ (3), ၁၀ (10), ၁၀၀ (100), ၁၀၀၀ (1000) | | part | Particle | များ (used to form the plural nouns as "-s" , "-es"), ခဲ့ (the past tense "-ed"), သင့် (modal verb "shall"), လိမ့် (modal verb "will"), နိုင် (modal verb "can") | | ppm | Post-positional Marker | သည်, က, ကို, အား, သို့, မှာ, တွင် (at, on ,in, to) | | pron | Pronoun | ကျွန်တော် (I), ကျွန်မ (I), သင် (you), သူ (he), သူမ (she) | | punc | Punctuation | ။, ၊, (, ), \, _ , ', " | | sb | Symbol | ?, #, &, %, $, £, ¥, 𝜆, π, ÷, +, ×, @ | | tn | Text Number | တစ် (one), နှစ် (two), သုံး (three), တစ်ရာ (one hundred), တစ်ထောင် (one thousand) | | v | Verb | ကူညီ (help), လိုက်နာ (observe), အားပေး (encourage) | ## Files/Scripts Corpus-draft-ver-1.0/ (**_latest version_**) mypos-dver.1.0.txt : myPOS Corpus draft version 1.0, UTF-8 text file format mypos-dver.1.0.word.txt : print out word only (i.e. without POS tags) of myPOS Corpus draft version 1.0 mypos-dver.1.0.cword.txt : print out words and compound words of myPOS Corpus draft version 1.0 mypos-dver.1.0.lcw.txt : list of compound Myanmar words of myPOS draft version 1.0 (17,562 words) mypos-dver.1.0.lcw.uniq.txt : unique list of compound Myanmar words of myPOS draft version 1.0 (8,627 words) mypos-dver.1.0.tag.txt : print out POS-tagged only of myPOS draft version 1.0 **Scripts:** mk-wordtag.pl : Perl script for printing word only file, tag only file, listing compound-words etc. mk-pair.pl : Perl script for combining word file and tag file to word/tag format [how2run.txt](https://github.com/ye-kyaw-thu/myPOS/blob/master/corpus-draft-ver-1.0/how2run.txt) : Example usages of perl scripts **Data:** data/ : Data preparation folder for incremental POS-tagging models **Models:** 3gHMM/ : Incremental training (1,000 to 10,000 sentences) of 3-gram HMM (Hidden Markov Model) models with myPOS corpus. Running logfile: [note.txt](https://github.com/ye-kyaw-thu/myPOS/blob/master/corpus-draft-ver-1.0/model/3gHMM/note.txt) crf/ : Incremental training (1,000 to 10,000 sentences) of CRF POS-tagging models with myPOS corpus. Running logfile: [note.txt](https://github.com/ye-kyaw-thu/myPOS/blob/master/corpus-draft-ver-1.0/model/crf/note.txt) kytea/ : Incremental training (1,000 to 10,000 sentences) of L2 regularized SVM models with myPOS corpus. Running logfile: [note](https://github.com/ye-kyaw-thu/myPOS/blob/master/corpus-draft-ver-1.0/model/kytea/note.txt) low-resource-pos-tagging-2014/: Incremental training (1,000 to 10,000 sentences) of 2hours annotation approach models with myPOS corpus. Running logfile: [note.txt](https://github.com/ye-kyaw-thu/myPOS/blob/master/corpus-draft-ver-1.0/model/low-resource-pos-tagging-2014/2hours/note.txt) maxent/ : Incremental training (1,000 to 10,000 sentences) of Maximum Entrophy models with myPOS corpus. Running logfile: [note.txt](https://github.com/ye-kyaw-thu/myPOS/blob/master/corpus-draft-ver-1.0/model/maxent/note.txt) rdr/ : Incremental training (1,000 to 10,000 sentences) of RDR (Ripple Down Rule-based) models with myPOS corpus. Running logfile: [note.txt](https://github.com/ye-kyaw-thu/myPOS/blob/master/corpus-draft-ver-1.0/model/rdr/note.txt) ============================= Corpus-draft-ver-0.9/ mypos-dver.0.9.txt : myPOS Corpus draft version 0.9, UTF-8 text file format mypos-dver.0.9.word.txt : Tokenized Myanmar text without POS tags, UTF-8 text file format ## Development and Support Contributors **For myPOS draft version 1.0:** - Khin War War Htike (Most Tagging) - [Win Pa Pa](https://sites.google.com/site/winpapaucsy/) (Most Checking & Advising) - [Ye Kyaw Thu](https://sites.google.com/site/yekyawthunlp/) (Supervisor) **For myPOS version 2.0 and 3.0:** - Zar Zar Hlaing (King Mongkut's Institute of Technology Ladkrabang: KMITL, Bangkok, Thailand) - Ye Kyaw Thu (National Electronics and Computer Technology Center: NECTEC, Pathumthani, Thailand) - Myat Myo Nwe Wai (Myanmar Institute of Information Technology: MIIT, Mandalay, Myanmar) - Thepchai Supnithi (National Electronics and Computer Technology Center: NECTEC, Pathumthani, Thailand) - Ponrudee Netisopakul (King Mongkut's Institute of Technology Ladkrabang: KMITL, Bangkok, Thailand) ## Acknowledgements We would like to express our gratitude to Dr. Andrew Finch and Dr. Chenchen Ding for their valuable comments for myPOS draft version 0.8. ## Future Work We also plan to increase size of the myCorpus little by little. ## Publication The myPOS corpus (version 0.8) is being used for CICLING2017 Conference paper. [Draft version of CICLing2017 conference paper](https://github.com/ye-kyaw-thu/myPOS/blob/master/CICLING2017/myPOS-CICLing2017-paper.pdf) [Poster of CICLing2017 conference](https://github.com/ye-kyaw-thu/myPOS/blob/master/CICLING2017/10K-POS-tagging-CICLing2017.pdf) Important Note: We used myPOS corpus **(version 0.8 with 16 POS tags and no compound words)** for CICLing 2017 conference paper. The myPOS corpus (version 2.0) is being used for iSAI-NLP 2020 Conference paper. ## Citation If you want to use myPOS models or POS-tagged data in your research and we'd appreciate if you use the following two references: Khin War War Htike, Ye Kyaw Thu, Zuping Zhang, Win Pa Pa, Yoshinori Sagisaka and Naoto Iwahashi, "Comparison of Six POS Tagging Methods on 10K Sentences Myanmar Language (Burmese) POS Tagged Corpus", at 18th International Conference on Computational Linguistics and Intelligent Text Processing (CICLing 2017), April 17~23, 2017, Budapest, Hungary.[[Draft paper]](https://github.com/ye-kyaw-thu/myPOS/blob/master/CICLING2017/myPOS-CICLing2017-paper.pdf), [[Poster]](https://github.com/ye-kyaw-thu/myPOS/blob/master/CICLING2017/10K-POS-tagging-CICLing2017.pdf) Zar Zar Hlaing, Ye Kyaw Thu, Myat Myo Nwe Wai, Thepchai Supnithi, Ponrudee Netisopakul, "Myanmar POS resource extension effects on automatic tagging methods", In Proceedings of the 15th International Joint Symposium on Artificial Intelligence and Natural Language Processing (iSAI-NLP 2020), Nov 18 to Nov 20, 2020, Bangkok, Thailand, pp. 189-194. [[Paper]](https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9376835) ## Reference 1. San Lwin, Myanmar-English Dictionary (1993), Department of the Myanmar Language Commission, Ministry of Education, Union of Myanmar. 2. Myanmar Grammar (2005). Department of the Myanmar Language Commission, Ministry of Education, Union of Myanmar. ## FAQ Q1. Do I neeed to perform word segmentation for using your trained POS tagging models or myPOS taggers? Answer: Yes, we need to perform word segmentation before we can proceed part-of-speech (POS) tagging. Q2. CRF model training and testing is slow ... Answer: Try RDR POS Tagger. It is really fast for both training and testing. Q3. Should I follow your Myanmar word segmentation rules for using your pretrained myPOS models? Answer: Yes, please. FYI: We used this word segmentation scheme for all of our NLP experiments such as machine translation, automatic speech recognition, text to speech. Q4. I got following email relating to using RDR POS tagger. ``` ဆရာရှင့် ဖော်ပြထားတဲ့ model တွေအရ စမ်းကြည့်လို့ မရ ဖြစ်နေလို့ပါ။ ဆရာတင်ထားတာ ဖတ်ကြည့်တော့ rdr က performance ပိုကောင်းတယ်ဆိုတာကို ဖတ်ပြီး rdr model ကို စမ်းကြည့်ရင်း အဆင်မပြေနေလို့ပါရှင့်။ note.txt အရ လိုက်လုပ်ပါတယ်။ error ဖြစ်ပြီး run မရ ဖြစ်နေပါတယ်။ command prompt ကနေ run တာပါ။ ဘယ်ကနေ run ရင် အဆင်ပြေနိုင်ပါလဲရှင့်။ အဆင်ပြေနိုင်မယ့်နည်းလေးကို ပြောပြပေးစေချင်ပါတယ်ရှင့်။ ကျေးဇူးတင်ပါတယ်ရှင့် ``` Answer: [https://github.com/ye-kyaw-thu/error-overflow/blob/master/Demo-of-Running-RDRPOSTagger-with-myPOS-RDR-model.md](https://github.com/ye-kyaw-thu/error-overflow/blob/master/Demo-of-Running-RDRPOSTagger-with-myPOS-RDR-model.md)