分類不一致對文件自動分類效果之影響
The Effect of Inconsistency in Training Data on Automatic Text Categorization
輔仁大學圖書資訊系(Department of Library and Information Science, Fu-Jen University)
摘要
本文探討分類不一致對自動分類成效的影響。經由近似文件的自動偵測,以及兩種分類方法針對兩個測試文件集做的比較實驗,本文發現:訓練資料的分類不一致性,即便高達34%,幾乎也不會影響分類器的成效。此項發現,其重要的意涵是,即便過去的研究使用了一致性不高的測試集做實驗,其結論仍舊是有效的。當然,分類不一致性高的資料,拿來訓練後,不管分類器好壞,其得到的分類成效都是比較低的。除了以上發現外,本文也介紹了一套中文分類測試集,免費提供各界研究使用。另外,作者也提出了一套偵測複本或相似文件的可靠方法,與過去的方法比較,此方法可以偵測過去方法所無法偵測到的相似文件。
Abstract
This article discusses the effect of inconsistency in training data on the performance of text classifiers. Our experiments show that the inconsistency, even reaching a level as high as 34%,hardly affects the effectiveness of he classifiers.Better classifiers perform better independent of duplicates and label inconsistency.The implication is that past experiments(especially on the Reuters-21578 collection) remain valid. In the experiment process,the author proposes a duplicate detection technique that is far more effective than previous ones.A new Chinese test collection for text categorization is also introduced for deneral free download.
關鍵詞
- 類型
- 論文
- 期刊
- 大學圖書館
- ISSN
- 1682-2889
- 卷期
- 9卷1期
- 出版
- 2005年03月
- 頁碼
- 002–019
- 編號
- NTUEJ00005226
同期目錄
- 分類不一致對文件自動分類效果之影響曾元顯(Yuen-Hsien Tseng)・頁 002–019
- 以檢索需求分析模式提升圖像檢索應用之研究卜小蝶(Hsiao-Tieh Pu)・頁 020–034
- 大學圖書館即時數位參考咨詢服務使用者隱私權政策初探蘇小鳳(Shiao-Feng Su)・頁 035–048
- 資訊素養教學評量探討于第(Ti Yu)・頁 049–067
- 大學圖書館館員資訊素養之研究林建隆(Jang-Long Lin);孫本初(Ben-Chu Sun);鍾錦雲(Chin-Yun Chung)・頁 068–092
- 臺灣大學所藏活字本《紅樓夢》簡述劉廣定(Kwang-Ting Liu);張寶三(Pao-San Chang);黃郁雯(Yu-Wen Hwang)・頁 093–099
- 數位化計畫中合作之探討洪淑芬(Shu-Feng Hung Lin)・頁 100–122
- 楊氏海源閣及其藏書略述姜民(Ming Chiang)・頁 123–142
- 《書目答問》與《四庫全書總目》別史類分類之比較蔡天怡(Tien-I Tsai)・頁 143–156