Jserv's blog

charset-detector：自動偵測文件編碼的小程式

發展程式前，通常會有個動機，而就我剛剛做的這個小程式來說，就是為了透過 [PCManX] 連線到對岸的 BBS 站台，可惜我遇到很麻煩的問題，就是得自己指定編碼，偏偏上週騎腳踏車時，把手握太大力造成輕微受傷，所以一直打錯字... Anyway，我決定要替 [PCManX] 加上自動偵測 BBS 編碼的功能。

自動猜測文件編碼的演算法，在 Mozilla 中已經有不錯的實做，而 Mozilla 官方網頁也提供論文 [A composite approach to language/encoding detection] 作參考，對岸的網友提供了簡體中文翻譯 [一種語言/編碼檢測的復合方法]，相關的實做可參考 Mozilla cvs tree [extensions/universalchardet]，而之前的 blog [Mozilla Re-licensing 完畢] 也提到 Mozilla Foundation 日前宣佈，Mozilla codebase 由原本的 MPL (Mozilla Public License) 轉換為 MPL / GPL / LGPL 三重授權模式，這與 [PCManX] 的授權相容，所以當務之急就是如何整合。

我初步將 NSPR (Mozilla Runtime) 一類的包袱去掉，並且用 G++ 的 -fno-rtti、-fno-exceptions，以及 -nostdinc++ compilation flags 來編譯 ，如果將 -lstdc++ 換成 -lsupc++，還可進一步得到 C-only library，目標是作成一個 add-on，讓 [PCManX] 可透過 dlopen 來操控內部實做，初步完成自動偵測文件編碼與測試程式，名為 [charset-detector] (bzip2 tarball)。

以下以測試程式 (放在 test 目錄下) 作範例，看看運作情況，initcall.txt 是個用 Big5 編碼的文件：

charset-detector/test$ file initcall.txt
initcall.txt: ISO-8859 English text, with CRLF line terminators
charset-detector/test$ ./test-chardetect ./initcall.txt
File ./initcall.txt ...
Charset = Big5

UNIX 的工具 file 就誤判了，還好咱們的 charset-detector 正確識別編碼，而 charset-detect library 的 API 只有六個，很容易操作。下一步就是 hack [PCManX]，使其建立 BBS connection 後，將 buffer 傳遞給 charset-detect APIs 作編碼的判斷，稍後作適度的畫面重繪動作。
由 jserv 發表於 May 22, 2006 05:40 PM