메뉴 건너뛰기


Computer Science > Information Retrieval

문서 자동 요약 방법과 특징

2013.11.29 01:04

푸우 조회 수:4014

문서 자동 요약 방법과 특징

 

작성자조희창

 

데이터베이스나 인터넷파일시스템 상에 존재하는 문서들을 검색할 경우 제목이나 작성자파일의 크기 등과 같은 메타 정보만으로는 검색자의 관심 대상 데이터인지를 파악하기가 힘들고 데이터의 본문 내용을 모두 열람하여야 합니다검색 시 검색 결과리스트에 해당 데이터의 메타정보와 함께 요약문 혹은 줄거리를 제공하여 관심 데이터를 선별하는데 도움을 줄 수 있습니다하지만 대량의 데이터에 대한 요약문을 사람이 생성한다는 것은 불가능하며 이와 같은 요약을 기계가 자동으로 할 수 있는 방법들이 연구되고 있습니다.

다음은 문서 자동 요약 방법에 대한 간략한 소개입니다.

 

1. 문서형식에 의한 자동 요약 방법

문서의 유형에 따라 문서의 앞부분이나 뒷부분에 전체 문서의 정리된 내용을 적는 경우가 많습니다.예를 들어 뉴스 기사나 논문 같은 경우는 문서 앞부분에 전체적인 내용을 요약한 글을 적어 놓는 경우가 많습니다사설이나 일반적인 글의 경우는 필자의 주된 의견을 글의 말미에 적어 놓는 경우가 많습니다이를 이용하여 문서의 종류에 따라 글의 앞이나 뒷부분 혹은 정해진 형식일 경우 특정 영역의 내용을 정해진 크기만큼의 문장을 추출하여 요약문으로 사용합니다.

문서형식에 의한 자동 요약 방법의 장점으로는 표준화된 형식을 갖는 문서일 경우 요약의 내용이 정확하다는 것입니다단점으로는 형식이 정해지지 않은 일반 문서의 경우 주제와 상관없는 내용이 나타날 수 있으며 특정 형식의 문서라 하더라도 내용이 길어 하나의 주제로 작성되지 않은 문서에 대해서는 잘못된 요약을 출력합니다.

 

2. Term Frequency에 의한 자동 요약 방법

문서를 자동으로 요약하기 위하여 문서의 Key Factor를 추출합니다 Key Factor는 일반적으로 문서에 나타난 용어(Term)들의 빈도(Frequency) 및 통계를 이용하게 됩니다이는 불용어를 제외한 특정 용어가 해당 문서에 많이 나타난다면 그 문서의 주제와 관련이 있을 확률이 높다는 것에 기반합니다같와 같은 방법으로 문서에서 추출된 Key Factor가 많이 포함된 문장은 그 문서의 주제와 관련성이 높을 가능성이 많다고 가정합니다.

 문서내의 문장들을 Key Factor의 포함도에 따라 점수화(주제 연관 점수)하고 임계치 이상의 문장에 대해 원래 문서의 문장순으로 문장들을 재구성하여 요약문을 완성합니다.

 “Term Frequency에 의한 자동 요약 방법의 장점으로는 모든 형식에 문서에 적용가능하고 문서 내용이 긴 경우라도 문서의 전체적인 내용이 어떤 것들로 주제로 구성되어 있는지 파악할 수 있으며 극단의 잘못된 주제를 추출하는 경우를 줄일 수 있습니다단점으로는 문서형식에 의한 자동 요약 방법” 보다 요약문 추출 속도가 느리며 문서에서 하나의 문장을 구분하는 방법의 모호성과 연속되지 않은 문장을 추출하는 것으로 인하여 글이 연결되지 않아 가독성이 떨어질 수 있습니다.

 

3. Seed Term에 의한 동적 자동 요약 방법

 이 문서 요약방법은 기본적으로 “Term Frequency에 의한 자동 요약 방법과 동일합니다다른점은 요약문의 추출시 사용되는 Key Factor  Term Frequency와 상관없더라도 사용자가 특정 Key Term(Seed Term)을 문서 요약기에 제공하여 추출된 문장별 주제 연관 점수를 강제로 변경하게 하는 것입니다예를 들어 검색엔진의 경우 사용자가 입력한 검색어를 요약기에 추가로 제공하여 문장별 주제 연관 점수를 변경합니다.

 “Seed Term에 의한 동적 자동 요약 방법은 “Term Frequency에 의한 자동 요약 방법 와 같은 장단점을 갖습니다차별적인 장점으로는 사용자의 관심 분야의 주제로 한정하여 요약이 가능하다는 것입니다단점으로는 문서의 전체적인 내용을 파악하기 힘들다는 것입니다.

 

 

 

 

 
Creative Commons License
Creative Commons License이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-동일조건변경허락 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
Copyright 조희창(Nicholas Jo). Some rights reserved. http://bbs.nicklib.com