搜尋功能
-
- 訪客
Re: 搜尋功能
這是竹貓上面一篇關於搜尋的討論,有興趣的人可以參考一下 (微笑)
http://phpbb-tw.net/phpbb/posting.php?m ... 6&p=259302
http://phpbb-tw.net/phpbb/posting.php?m ... 6&p=259302
michaelchain 寫:以前的做法搜索什么語言都沒問題, 但是對資源消耗太大, 才出現今天的 分詞+索引 方式.
這種方式能極大的降低搜索的時間復雜度. 將搜索時產生的時間消耗轉移到匯入資料階段. 因此使用這種方式的搜索模組都會帶一個很大的索引庫(算法不好的話可能比你的資料還大). 也許對一些空間很小但是cpu很快的人有點不方便. 但這是科技的方向..
中文搜索一向是一個難題. 首先中文的分詞就有很多學問, 微軟亞洲研究院還專門成立一個group研究自然語言, 其中研究最多的就是語言的分詞, 因為這對于語音合成/識別非常重要. 但是中文這么高深的東西, 雖然現在有很多理論, 但是最好的成績也就是97~98%, 100%是做不到的, 因為還有不少必須結合語境才能進行分詞的情況.
每個中文搜索引擎都有自己的一套分詞算法, 這是核心技術之一. 在這方面百度一直比google好一點.
話題回到phpbb上來. 因為phpbb并不是特別為中文開發的軟體, 所以并不帶分詞算法, 對于中文來講, phpbb實際上就是將搜索詞分成一串漢字, 每個漢字作為一個單詞存在索引中, 閾值就是避免檢索出現過于頻繁的字. 如果閾值設為30%, 那么如果你的數據庫中所有文章包含了10,000個漢字, 而"的"字出現了3,001次, 重建索引后這個"的"字就會被從檢索條目中刪掉.
再來看看其他論壇軟體的搜索做法.
DZ我比較清楚, 版本5.5也還在用那種老土的%xx%方式來搜索, 只不過在上面優化再優化, 盡量避免各種可能避免的搜索動作, 或者進行時間限制等等. 如果你同時用1000個機器人, 每個機器人抱一本辭海亂序去搜, 論壇一定會翹翹.
vbb一直讓中文用戶不滿意的地方也是搜索. 以至于有人專門為vbb開發了一個中文搜索插件. 這我沒有仔細研究過, 如果里面已經有做初步的中文分詞, 那么我們可以借鑒過來用在phpbb上.
其他的論壇沒有接觸過, 沒有發言權.
如果大家有興趣, 可以去研究一下搜索算法, 分詞算法, 這些資料文檔在google上可以找到很多. 如果有PHP方面的中文分詞開源軟體, 也不妨推薦一下, 說不定就能做成一個中文搜索的MOD
Re: 搜尋功能
嘿嘿...園丁008 寫:這是竹貓上面一篇關於搜尋的討論,有興趣的人可以參考一下 (微笑)
http://phpbb-tw.net/phpbb/posting.php?m ... 6&p=259302
michaelchain 寫:以前的做法搜索什么語言都沒問題, 但是對資源消耗太大, 才出現今天的 分詞+索引 方式.
這種方式能極大的降低搜索的時間復雜度. 將搜索時產生的時間消耗轉移到匯入資料階段. 因此使用這種方式的搜索模組都會帶一個很大的索引庫(算法不好的話可能比你的資料還大). 也許對一些空間很小但是cpu很快的人有點不方便. 但這是科技的方向..
中文搜索一向是一個難題. 首先中文的分詞就有很多學問, 微軟亞洲研究院還專門成立一個group研究自然語言, 其中研究最多的就是語言的分詞, 因為這對于語音合成/識別非常重要. 但是中文這么高深的東西, 雖然現在有很多理論, 但是最好的成績也就是97~98%, 100%是做不到的, 因為還有不少必須結合語境才能進行分詞的情況.
每個中文搜索引擎都有自己的一套分詞算法, 這是核心技術之一. 在這方面百度一直比google好一點.
話題回到phpbb上來. 因為phpbb并不是特別為中文開發的軟體, 所以并不帶分詞算法, 對于中文來講, phpbb實際上就是將搜索詞分成一串漢字, 每個漢字作為一個單詞存在索引中, 閾值就是避免檢索出現過于頻繁的字. 如果閾值設為30%, 那么如果你的數據庫中所有文章包含了10,000個漢字, 而"的"字出現了3,001次, 重建索引后這個"的"字就會被從檢索條目中刪掉.
再來看看其他論壇軟體的搜索做法.
DZ我比較清楚, 版本5.5也還在用那種老土的%xx%方式來搜索, 只不過在上面優化再優化, 盡量避免各種可能避免的搜索動作, 或者進行時間限制等等. 如果你同時用1000個機器人, 每個機器人抱一本辭海亂序去搜, 論壇一定會翹翹.
vbb一直讓中文用戶不滿意的地方也是搜索. 以至于有人專門為vbb開發了一個中文搜索插件. 這我沒有仔細研究過, 如果里面已經有做初步的中文分詞, 那么我們可以借鑒過來用在phpbb上.
其他的論壇沒有接觸過, 沒有發言權.
如果大家有興趣, 可以去研究一下搜索算法, 分詞算法, 這些資料文檔在google上可以找到很多. 如果有PHP方面的中文分詞開源軟體, 也不妨推薦一下, 說不定就能做成一個中文搜索的MOD
我發現一個可以讓論壇死當的可能方法了... (完美計劃)
不過要是論壇掛了...
我晚上會很無聊...
還是不要玩好了...
-
- R1
- 文章: 155
- 註冊時間: 週一 12月 17, 2007 5:24 pm
Re: 搜尋功能
http://forum.doctorvoice.org/search.php ... rds=memory
搜尋功能變精準了
(水草舞) (水草舞) (水草舞)
謝謝園丁辛勞
memory
Midnight, not a sound from the pavement
Has the moon lost her memory
She is smiling alone
In the lamplight
The withered leaves collect at my feet
And the wind begins to moan
Memory, all alone in the moonlight
I can smile at the old days
It was beautiful then
I remember the time I knew what happiness was
Let the memory live again
Every street lamp seems to beat a fatalistic warning
Someone mutters
And the street lamp gutters
And soon it will be morning
Daylight, I must wait for the sunrise
I must think of a new life
And I mustn't give in
When the dawn comes
Tonight will be a memory, too
And a new day will begin
Burnt out ends of smoky days
The stale, cold smell of morning
The street lamp dies
Another night is over
Another day is dawning
Touch me, it's so easy to leave me
All alone with the memory of my days in the sun
If you touch me
You'll understand what happiness is
Look! A new day has begun
看啊!新的一天已經開始
搜尋功能變精準了
(水草舞) (水草舞) (水草舞)
謝謝園丁辛勞
memory
Midnight, not a sound from the pavement
Has the moon lost her memory
She is smiling alone
In the lamplight
The withered leaves collect at my feet
And the wind begins to moan
Memory, all alone in the moonlight
I can smile at the old days
It was beautiful then
I remember the time I knew what happiness was
Let the memory live again
Every street lamp seems to beat a fatalistic warning
Someone mutters
And the street lamp gutters
And soon it will be morning
Daylight, I must wait for the sunrise
I must think of a new life
And I mustn't give in
When the dawn comes
Tonight will be a memory, too
And a new day will begin
Burnt out ends of smoky days
The stale, cold smell of morning
The street lamp dies
Another night is over
Another day is dawning
Touch me, it's so easy to leave me
All alone with the memory of my days in the sun
If you touch me
You'll understand what happiness is
Look! A new day has begun
看啊!新的一天已經開始
-
- CR
- 文章: 533
- 註冊時間: 週四 4月 24, 2008 12:27 pm
Re: 搜尋功能
superdog 寫:請教各位老大;中文搜尋 OK 嗎 ?
小弟在查<"蝦紅素”>或<蝦紅素>時會找到12筆,都只是含:蝦:
小弟在查<"花青素”>或<花青素>時會找到102筆,沒看完,看到的都不含:花青素.
是中文搜尋在論壇內不能用,還是只有小弟的系統哩? 會員控制台應該沒什麼特殊設定.
現在是用 Google 關鍵字 + doctorvoice ,就是不知道花園內查不查得到. 感恩!
報告大大
只有您提到 "花青素"
http://forum.doctorvoice.org/search.php ... C%E5%B0%8B
-
- CR
- 文章: 533
- 註冊時間: 週四 4月 24, 2008 12:27 pm