°³¹æÀûÀÎ ÇüÅÂ¼Ò Çؼ®±â·Î¼ Juman, ChaSen ÇÏÁö¸¸ Á¸ÀçÇÑ´Ù. °¢°¢ÀÇ ±âº»ÀûÀÎ °³¹ß À̳äÀº ÀÌÇÏÀÌ´Ù
Juman ÀÌÀüÀÇ »ó¿ëÀûÀ¸·Î ¹èÆ÷µÇ°í ÀÖ´ø ÇüÅÂ¼Ò Çؼ®±â´Â, »çÀüÀ̳ª Ç°»ç ü°è ¿¬Á¢ ±ÔÄ¢Àº °ÅÀÇ °íÁ¤µÇ°í ÀÖ¾î, À¯Àú ÀڽŠÀÚÀ¯·Ó°Ô Á¤ÀÇÇÒ ¼ö ¾ø¾ú´Ù. Juman ÇÏ ÀÌ·¯ÇÑ Á¤ÀÇ ¸ðµÎ ¿ÜºÎ¿¡ ³» ÀÚÀ¯·Î¿î Á¤ÀÇ°¡ °¡´ÉÇÏ°Ô µÇ¾ú´Ù.
»çÀüÀº ºñ±³Àû ÀÔ¼öÇϱ⠽±Áö¸¸, ¿¬Á¢ ÄÚ½ºÆ®³ª ´Ü¾î ¹ß»ý ÄÚ½ºÆ®ÀÇ Á¤ÀÇ´Â Àϼտ¡ ÀÇÇؼ ½Ç½ÃÇÏÁö ¾ÊÀ» ¼ö ¾ø¾ú´Ù. Çؼ® ¹Ì½º¸¦ ¹ß°ßÇÒ ¶§¸¶´Ù ºÎÀÛ¿ëÀÌ ¾ø´Â ¹ü À§·Î ¿¬Á¢ ÄÚ½ºÆ®¸¦ ¼öÁ¤ÇÒ ÇÊ¿ä°¡ ÀÖ¾î, °³¹ßºñ°¡ Å©´Ù.
¶Ç, Juman (Àº)´Â ÀϺ»¾îÀÇ ÇüÅÂ¼Ò Çؼ®À¸·Î¼ °³¹ßµÇ°í ÀÖ¾úÀ¸¹Ç·Î, ¹ÌÁö¾î 󸮰¡ ÀϺ»¾î¿¡ Ưȵǰí ÀÖ¾î, ¹ÌÁö¾î ó¸®ÀÇ Á¤ÀǸ¦ ½º½º·Î ÁÙ ¼ö ¾ø´Ù. ¶Ç, Ç°»ç´Â2 °èÃþ±îÁö °íÁ¤µÇ°í ÀÖ¾î, Ç°»ç ü°è¿¡´Â ÀÏÁ¾ÀÇ Á¦ÇÑÀÌ ÀÖ´Ù.
ChaSen ÀÇ °øÇåÀÇ1 °³´Â, Åë°è ó¸® (HMM) ¿¡ ÀÇÇؼ ¿¬Á¢ ÄÚ½ºÆ®³ª ´Ü¾î ¹ß»ý ÄÚ½ºÆ®¸¦ ÃßÁ¤ÇÏ°Ô µÈ Á¡¿¡ ÀÖ´Ù. ÀÌ Ã³¸® ´öºÐ¿¡, Çؼ® ¹Ì½º¸¦ ÃàÀûÇÏ´Â °Í¸¸À¸·Î ÀÚµ¿ÀûÀ¸·Î ÄÚ½ºÆ®Ä¡¸¦ ÃßÁ¤ÇÒ ¼ö ÀÖ°Ô µÇ¾ú´Ù. ÇÑÃþ ´õ, Ç°»ç °èÃþµµ ¹«Á¦ÇÑÇÏ°Ô µÇ¾î, Ç°»ç ü°è¸¦ Æ÷ÇÔÇØ( ÁøÂ¥ Àǹ̷Î) ÀÚÀ¯·Ó°Ô Á¤ÀÇÇÒ ¼ö ÀÖ°Ô µÇ¾ú´Ù.
±×·¯³ª, º¹ÀâÇÑ Ç°»ç ü°è·Î Çϸé ÇÒ¼ö·Ï, µ¥ÀÌŸ½ºÆĽº³×½ºÀÇ ¹®Á¦°¡ ¹ß»ýÇÑ´Ù. HMM (À»)¸¦ »ç¿ëÇÏ´Â °æ¿ì, HMM ÀÇ ³»ºÎ »óÅÂ(Hidden Class) (À»)¸¦ 1 °³¿¡ °íÁ¤ÇÑ´Ù ÇÊ¿ä°¡ ÀÖ±â À§ÇØ, °¢ Ç°»ç·ÎºÎÅÍ ³»ºÎ »óÅ¿¡ÀÇ ¡¸º¯È¯¡¹ÀÌ ÇÊ¿äÇÏ´Ù. ´Ü¼øÇÏ°Ô´Â °¢ Ç°»ç¸¦1 °³ÀÇ ³»ºÎ »óÅ¿¡ ÇÒ´çÇϸé ÁÁÁö¸¸, È°¿ë±îÁö Æ÷ÇÔÇØ Ç°»ç¸¦ ¸ðµÎ Àü°³Çϸé, ±× ¼ö´Â 500 ¿¡µµ ¹ÌÃÄ, ÀúºóµµÀÇ Ç°»ç¿¡ ´ëÇØ ½Å·Úµµ°¡ ³ôÀº ÃßÁ¤·®À» ¾òÀ» ¼ö ¾ø´Ù. ¹Ý´ë·Î, ºóµµÀÇ ³ôÀº ¡¸Á¶»ç¡¹µîÀÇ Ç°»ç´Â ¾îÈÖµµ Æ÷ÇÔÇØ ³»ºÎ »óÅ·ΠÇÏÁö ¾ÊÀ¸¸é ³ôÀº Á¤µµ¸¦ ¾òÀ» ¼ö ¾ø´Ù. º¹ÀâÇÑ Ç°»ç ü°è·Î Çϸé ÇÒ¼ö·Ï, ³»ºÎ »óÅÂÀÇ Á¤ÀÇ°¡ °ï¶õÇÏ°Ô µÈ´Ù. Áï, Çö»óÀÇ( º¹ÀâÇÑ) Ç°»ç ü°è¸¦ Ãë±ÞÇÏ·Á¸é, HMM ±×·³ ¿ªºÎÁ·À̸ç, ±×°ÍÀ» º¸Á¶Çϱâ À§ÇÑ ÀÏ¼Õ ÄÚ½ºÆ®°¡ Ä¿Áö°í ÀÖ´Ù.
¶Ç, ChaSen ¿¡´Â ÄÚ½ºÆ®Ä¡ ÃßÁ¤ ¸ðµâÀÌ ºÎ¿©µÇ¾î ÀÖÁö ¾Ê´Ù. NAIST ÀÇ ³»ºÎ¿¡¼´Â ÀÌ¿ëÇÒ ¼ö ÀÖ´Â °Í °°Áö¸¸, »ó±âÀÇ ÀÌÀ¯·ÎºÎÅÍ ¼³Á¤ÇØ¾ß ÇÒ ÆĶó¹ÌÅÍ°¡ ¸¹ÀÌ, Àß ´Ù·ç´Â °ÍÀÌ °ï¶õÇÏ´Ù.
ÇÑÃþ ´õ, ChaSen µµ ¹ÌÁö¾î 󸮵µ Çϵå ÄÚµù µÇ°í ÀÖ¾î ÀÚÀ¯·Ó°Ô Á¤ÀÇÇÒ ¼ö ¾ø´Ù.
HMM ÇÏ, À¯ÀÏÇÑ ³»ºÎ »óŸ¦ Á¤ÀÇÇÒ ÇÊ¿ä°¡ ÀÖ¾ú´Ù. ÇÑÆí CRF (Àº)´Â ¿À¹Ù¶ô ÇÁ¸¦ Æ÷ÇÔÇÑ º¹¼öÀÇ ³»ºÎ »óŸ¦ Á¤ÀÇÇÏ´Â °ÍÀÌ °¡´ÉÇÏ´Ù. ÀÌ ±â´É¿¡ ÀÇÇØ, °¡´Â Ç°»ç °èÃþ°ú ¾û¼ºÇÑ Ç°»ç °èÃþÀÇ È®·üÄ¡¸¦ È¥ÇÕÇÑ´Ù°í Çß´Ù, ¡¸½º¹«µù¡¹ÀÌ ÀÚ¿¬½º·´°Ô ÇÑÆí ÀÚµ¿ÀûÀ¸·Î ½ÇÇöµÉ ¼ö ÀÖ´Ù. ÀÌ°ÍÀº, º¹ÀâÇÑ Ç°»ç ü°è¸¦ Ãë±ÞÇϴµ¥ ÀÖ¾î¼ Æí¸®ÇÑ ±â´ÉÀ̸ç, ÀÏ¼Õ Ã³¸®¸¦ Å«ÆøÀ¸·Î °£·«ÈÇÒ ¼ö ÀÖ´Ù.
CRF ÀÇ Ã¤¿ë¿¡ ÀÇÇØ, Ç°»ç ü°è, ´Ü¾îÀå, »çÀüÀÇ º¯°æ¿¡ ´ëÇØ À¯¿¬ÇÏ°Ô ÇÑÆí Àúºñ¿ëÀ¸·Î ´ëÀÀÇÒ ¼ö ÀÖ°Ô µÈ´Ù. ÇÑÃþ ´õ, CRF ÇÏ, HMM ÀÇ 1/3 Á¤µµÀÇ ÇнÀ ÄÚÆĽº·Î µ¿ÀÏÇÑ Á¤µµÀÇ ¼º´ÉÀ» ¾òÀ» ¼ö ÀÖ´Â °ÍÀ» ¾Ë°í ÀÖ´Ù. Áï, »õ·Î¿î µµ¸ÞÀο¡ÀÇ Àû¿ëÀ̶ó°í ÇÏ´Â °Í¿¡µµ Àúºñ¿ëÀ¸·Î ´ëóÇÒ ¼ö ÀÖÀ» °ÍÀÌ´Ù.
¶Ç, CRF ÇÏ, Áö±Ý±îÁöÀÇ ÃÖ¼Ò ÄÚ½ºÆ®¹ýÀ¸·Î¼ Á¤½ÄÈÇÒ ¼ö ÀÖ±â À§ÇØ, Çؼ® ¼ÓµµÀÇ ¿È´Â ¾ø´Ù.
MeCab 0.90 ÇÏ, ÄÚ½ºÆ® ÃßÁ¤ ÇÁ·Î±×·¥µµ Æ÷ÇÔ ¹èÆ÷ÇÑ´Ù. ÃÖ¼ÒÇÑÀÇ ¼³Á¤¿¡¼µµ ³ôÀº Á¤µµ¸¦ ¾òÀ» ¼ö ÀÖ´Â usability-¸¦ Á¦°øÇÑ´Ù.
Çؼ® °á°ú:
»ó Juman,
ÇÏ ChaSen
(ÀÌ)¶ó´Â ºñ±³.
seg:
¿ø½Â¸® ¾²±âÀÇ Á¤µµ, top:
Ç°
»ç±îÁö Æ÷ÇÔÇÑ´Ù, all:
È°¿ë±îÁö ¸ðµÎ Æ÷ÇÔÇÑ´Ù
E-HMMs
ÇÏÁö¸¸ Çö»óÀÇ MeCab/ChaSen
MeCab 0.90 ±×·³, À¯Àú°¡ ¹ÌÁö¾î ó¸®ÀÇ Àü·«À» ÀÚÀ¯·Ó°Ô Á¤ÀÇ °¡´ÉÇØÁø´Ù. ±âº»ÀûÀÎ Àü·«À¸·Î¼ ÀÚÁ¾¿¡ ±Ù°ÅÇØ¿ä ½Â¸® ¾²±â¸¦ ½Ç½ÃÇÑ´Ù. ÀÚÁ¾ ±× ÀÚüÀÇ Á¤ÀÇ( ¾î´À ¹®ÀÚ Äڵ尡 ¾î´À ÀÚÁ¾¿¡ ´ëÀÀÇÒ±î), °¢ ÀÚÁ¾¿¡ ´ëÇØ¿ä ½Â¸® ¾²±âÀÇ Á¤ÀÇ ( ±×·ìÈ ÇÒ±î, N ¹®ÀÚ¾¿ Á¤¸®ÇÑ´Ù Àΰ¡), ¿ø ÀÌ°Ü ½á µÈ °Í¿¡ ¾î¶°ÇÑ Ç°»ç¸¦ ÇÒ´çÇÒ±î. (ÀÌ)¶ó°í ÀÖ´ø °ÍÀÌ À¯Àú ÀÚ½ÅÀ¸·Î Á¤ÀÇÇÒ ¼ö ÀÖ´Ù.
ÀÚÁ¾À» Ç¥ÇöÇϱâ À§ÇÑ ³»ºÎ Äڵ忡 Unicode (À»)¸¦ ÀÌ¿ëÇÏ°í ÀÖ¾î, ¹ÌÁö¾î ó¸®ÀÇ ¾ð¾îºñÀÇÁ¸¼ºÀÌ( ºÎºÐÀûÀ¸·Î) ½ÇÇöµÉ ¼ö ÀÖ´Ù.
¶Ç, ¹ÌÁö¾î ó¸®ÀÇ ÆĶó¹ÌÅ͵µ CRF ¿¡ ÀÇÇØ ÃßÁ¤µÈ´Ù. ChaSen (ÀÌ)³ª Juman ¿¡ ºñÇϸé, ¹ÌÁö¾î¿¡ ´ëÇÑ´Ù Çؼ® Á¤µµÀÇ Çâ»óÀ» ±â´ëÇÒ ¼ö ÀÖ´Ù
Çؼ®¿¹
MeCab 0.81 ÀÇ Çؼ® °á°ú
È£¸®¿¡¸ó¾¾¸¦ ¸¸³µ´Ù. È£ ¸í»ç, ÀϹÝ,*,*,*,*, È£, È£, È£ ¸®¿¡ ¸í»ç, °íÀ¯ ¸í»ç, Àθí, ¸í,*,*, ¸®¿¡, ¸®¿¡, ¸®¿¡ ¸ó ¸í»ç, °íÀ¯ ¸í»ç, ÀϹÝ,*,*,*, ¸ó, ¸ó, ¸ó ¾¾ ¸í»ç, Á¢¹Ì, Àθí,*,*,*, ¾¾, ½Ã, ½Ã ¿¡ Á¶»ç, °ÝÁ¶»ç, ÀϹÝ,*,*,*, ¿¡, ´Ï, ´Ï ȸ µ¿»ç, ÀÚ¸³,*,*, 5´Ü¡¤¿ÍÇà ÃËÀ½Æí, ¿¬¿ëŸ Á¢¼Ó, ¸¸³´Ù, ¾Ç, ¾Ç Á¶µ¿»ç,*,*,*, Ư¼ö¡¤Å¸, ±âº»Çü, , Ÿ, Ÿ . ±âÈ£, ±¸µÎÁ¡,*,*,*,*, ., ., .
MeCab 0.90 ÀÇ Çؼ® °á°ú ( ÁÖº¯ÀÇ ¹®¸ÆÀ» °í·ÁÇÏ¸é¼ ¡¸È£¸®¿¡¸ó¡¹À» ¿Ã¹Ù¸£°Ô Çؼ®ÇÒ ¼ö ÀÖ´Ù)
È£¸®¿¡¸ó¾¾¸¦ ¸¸³µ´Ù. È£¸®¿¡¸ó ¸í»ç, °íÀ¯ ¸í»ç, Àθí, ÀϹÝ,*,*,* 0,10 ¾¾ ¸í»ç, Á¢¹Ì, Àθí,*,*,*, ¾¾, ½Ã, ½Ã 10,12 ¿¡ Á¶»ç, °ÝÁ¶»ç, ÀϹÝ,*,*,*, ¿¡, ´Ï, ´Ï 12,14 ȸ µ¿»ç, ÀÚ¸³,*,*, 5´Ü¡¤¿ÍÇà ÃËÀ½Æí, ¿¬¿ëŸ Á¢¼Ó, ¸¸³´Ù, ¾Ç, ¾Ç 14,18 Á¶µ¿»ç,*,*,*, Ư¼ö¡¤Å¸, ±âº»Çü, , Ÿ, Ÿ 18,20 . ±âÈ£, ±¸µÎÁ¡,*,*,*,*, ., ., . 20,22
ÇüÅÂ¼Ò Çؼ®±âÀÇ ÀÏÀº, Á¶ÀâÇÏ°Ô ¸»ÇÏ¸é ¡¸ÀԷ¹®À» Çüżҿ¡ ´Ü¶ôÁþ´Â´Ù¡¹¿Í (¿Í)°ú¿¡ ÀÖ´Ù. ±×·¯³ª ¡¸º»ºÎÀ塹°ú °°ÀÌ ´Üµ¶ÀÇ Çظ¦ ¾òÀ» ¼ö ¾ø´Â °æ¿ì°¡ ÀÖ´Ù. ( º»/ ºÎÀå or º»ºÎ/ Àå). ¶Ç ±ä º¹Çվ Á¤Àǵǰí ÀÖÀ» ¶§, ±× ±¸¼º¾î°¡ Ãâ·ÂµÇÁö ¾Ê´Â´Ù°í ÇÏ´Â ¹®Á¦µµ ÀÖ´Ù.
MeCab 0.90 ±×·³, ¡¸ÀԷ¹®À» Çüżҿ¡ ´Ü¶ôÁþ´Â´Ù¡¹¶ó°í ÇÏ´Â ±â´É°ú´Â ´Ù¸¥ ¡¸ÀԷ¹®À¸·ÎºÎÅÍ ÇüżҸ¦ ÃßÃâÇÑ´Ù¡¹¶ó°í ÇÏ´Â ±â´ÉÀ» Á¦°øÇÑ´Ù. ¡¸ÇüżҸ¦ ÃßÃâÇÑ´Ù¡¹±â´ÉÀ» ½ÇÇöÇÏ·Á¸é, ÀԷ¹®ÀÇ ¸ðµç ºÎºÐ ¹®ÀÚ¿ÀÇ ¡¸ÇüżÒÀÎ°Í °°À½¡¹À» »êÃâÇÒ ÇÊ¿ä°¡ ÀÖ´Ù. MeCab 0.90 ±×·³ ÀÌ ¡¸ÇüżÒÀÎ°Í °°À½¡¹À» ¡¸ÇüÅÂ¼Ò ÁÖº¯ È®·ü¡¹ ±×·¸´Ù°í ÇÏ´Â ÇüÅ·Π»êÃâÇÑ´Ù. ÀÚ¼¼ÇÑ °ÍÀº ¾ð¾î ó¸® ÇÐȸ 2005 ¿¡¼ ¹ßÇ¥ (ÀÌ)°¡ ³¡³ »óÅÂ
ÀÌÇÏ°¡ Çؼ®¿¹ÀÌ´Ù
º»ºÎÀå º»ºÎ ¸í»ç, °íÀ¯ ¸í»ç, Áö¿ª, ÀϹÝ,*,*, º»ºÎ, ¸ðÆ®ºê, ¸ðÆ®ºê 0.026441 º»ºÎ ¸í»ç, ÀϹÝ,*,*,*,*, º»ºÎ, È¥ºê, È¥ºê 0.619559 * º» ¸í»ç, °íÀ¯ ¸í»ç, Àθí, ¼º,*,*, º», ¸ðÆ®, ¸ðÆ® 0.010897 º» ¸í»ç, ÀϹÝ,*,*,*,*, º», Æù, Æù 0.046961 º» Á¢µÎ»ç, ¸í»ç Á¢¼Ó,*,*,*,*, º», Æù, Æù 0.292945 ºÎÀå ¸í»ç, ÀϹÝ,*,*,*,*, ºÎÀå, ºêÃÝ¿ì, ºêÃÝ 0.352623 Àå ¸í»ç, ÀϹÝ,*,*,*,*, Àå, ³ªºñ, Á¶- 0.013549 Àå ¸í»ç, Á¢¹Ì, ÀϹÝ,*,*,*, Àå, ³ªºñ, Á¶- 0.624362 *
* ÇÏÁö¸¸ ºÙÀº °ÍÀÌ ½ÇÁ¦ÀÇ Çؼ® °á°ú. ¡¸ÇüżÒÀÎ°Í °°À½( ÇüÅÂ¼Ò ÁÖº¯ È®·ü) ¡¹µµ µ¿½Ã¿¡ Ãâ·ÂµÈ´Ù
¡¸Çüżҵî ÇØµé ¡¹Àº ÀԷ¹®¿¡ ÀÇÇؼ ¹Ù²î´Â °Í¿¡ ÁÖÀÇ¹Þ°í ½Í´Ù.
¸¶Ã÷¸ðÅä¾¾¸¦ ¸¸³´Ù. ¸¶Ã÷¸ðÅä ¸í»ç, °íÀ¯ ¸í»ç, Àθí, ¼º,*,*, ¸¶Ã÷¸ðÅä, ¸¶Æ®¸ðÆ®, ¸¶Æ®¸ðÆ® 0.989497 * ¾¾ ¸í»ç, Á¢¹Ì, Àθí,*,*,*, ¾¾, »ê, »ê 0.998228 * ¿¡ Á¶»ç, °ÝÁ¶»ç, ÀϹÝ,*,*,*, ¿¡, ´Ï, ´Ï 0.990367 * ¸¸³´Ù µ¿»ç, ÀÚ¸³,*,*, 5´Ü¡¤¿ÍÇà ÃËÀ½Æí, ±âº»Çü, ¸¸³´Ù, ¾Æ¿ì, ¾Æ¿ì 0.999387 * . ±âÈ£, ±¸µÎÁ¡,*,*,*,*, ., ., . 0.999999 * EOS ¸¶Ã÷¸ðÅä½Ã¿¡ °£´Ù. ¸¶Ã÷¸ðÅä ¸í»ç, °íÀ¯ ¸í»ç, Áö¿ª, ÀϹÝ,*,*, ¸¶Ã÷¸ðÅä, ¸¶Æ®¸ðÆ®, ¸¶Æ®¸ðÆ® 0.919221 * ¸¶Ã÷¸ðÅä ¸í»ç, °íÀ¯ ¸í»ç, Àθí, ¼º,*,*, ¸¶Ã÷¸ðÅä, ¸¶Æ®¸ðÆ®, ¸¶Æ®¸ðÆ® 0.073882 ½Ã ¸í»ç, Á¢¹Ì, Áö¿ª,*,*,*, ½Ã, ½Ã, ½Ã 0.886151 * ½Ã ¸í»ç, ÀϹÝ,*,*,*,*, ½Ã, ½Ã, ½Ã 0.110607 ¿¡ Á¶»ç, ºÎ»çÈ,*,*,*,*, ¿¡, ´Ï, ´Ï 0.013169 ¿¡ Á¶»ç, °ÝÁ¶»ç, ÀϹÝ,*,*,*, ¿¡, ´Ï, ´Ï 0.986618 * °£´Ù µ¿»ç, ÀÚ¸³,*,*, 5´Ü¡¤Ä«Çà ÃËÀ½Æí, ±âº»Çü, °£´Ù, ÀÌÅ©, ÀÌÅ© 0.966972 * °£´Ù µ¿»ç, ÀÚ¸³,*,*, 5´Ü¡¤Ä«Çà ÃËÀ½Æí À¯Å©, ±âº»Çü, °£´Ù, À¯Å©, À¯Å© 0.030681 . ±âÈ£, ±¸µÎÁ¡,*,*,*,*, ., ., . 0.999997 * EOS
»ó±â¿Í °°ÀÌ ¡¸¸¶Ã÷¸ðÅ䡹ÀÇ ÇüżÒÀÎ°Í °°À½Àº ÁÖº¯ÀÇ ¹®¸ÆÀ¸·Î º¯ÈÇÑ´Ù
Çؼ®±â¿Í ÆĶó¹ÌÅÍ( »çÀü, ¿¬Á¢ ÄÚ½ºÆ®) ÇÏÁö¸¸ ¿ÏÀüÇÏ°Ô µ¶¸³¿¡ ¼³°èµÇ¹Ç·Î, ÀÌÇÏÀÇ »çÀü¿¡ ´ëÇÑ ÆĶó¹ÌÅ͸¦ °³º°ÀûÀ¸·Î ¹èÆ÷ÇÑ´Ù. ´Ù¸¸, ¶óÀ̼¾½º´Â °³°³ÀÇ »çÀü¿¡ ÁØÇÑ´Ù