http://www.kristalinfo.com 


UTF8 ¾îÀýºÐ¸®±â(tokenizer)

ÀÌ ÇÔ¼ö´Â ¹®¼­¿¡¼­ ¾îÀý ´ÜÀ§·Î ÅäÅ«(token)À» ÃßÃâÇÕ´Ï´Ù. ¾îÀýÀÇ Àǹ̸¦ ¾îµð±îÁö·Î Çؼ®ÇØ¾ß ÇÒ Áö´Â »ç¶÷¸¶´Ù ´Ù¸¦ ¼ö ÀÖÀ» °ÍÀÔ´Ï´Ù. ±×·¡¼­ ¾îÀýÀÇ ¼öÁØÀ» ¼Ò½ºÀÇ ´ÙÀ½ ºÎºÐ¿¡¼­ Á¶ÀýÇÒ ¼ö ÀÖ½À´Ï´Ù.

À§¿¡¼­´Â '+'´Â ÅäÅ«ÀÇ ±¸ºÐ¿¡ µé¾î°¡Áö ¾Ê°í ³ª¸ÓÁö ¸ðµç °ø¹é, »ó¡¹®ÀÚ, Á¦¾î¹®ÀÚ µîÀ» ÅäÅ«ÀÇ ±¸ºÐÀÚ·Î ÀÌ¿ëÇÕ´Ï´Ù. ¾îÀý ºÐ¸®±âÀÇ °á°ú¸¦ º¸½Ã·Á¸é ¿©±â¸¦ ´­·¯ÁÖ¼¼¿ä. ¼Ò½º ÄÚµå´Â UTF8token.cÀÔ´Ï´Ù.