欧美阿v视频在线大全_亚洲欧美中文日韩V在线观看_www性欧美日韩欧美91_亚洲欧美日韩久久精品

主頁 > 知識庫 > 淺析常用分詞算法的比較與設想

淺析常用分詞算法的比較與設想

熱門標簽:手機地圖標注如何刪除 巫師3為什么地圖標注的財寶沒有 寧波自動外呼系統代理 辦理400電話證件 十堰正規電銷機器人系統 世紀佳緣地圖標注怎么去掉 外呼系統費用一年 外呼系統代理品牌 怎么給超市做地圖標注入駐店

與基于理解的分詞算法和基于統計的分詞算法相比,基于文本匹配的算法更加通用。基于文本匹配的算法又稱之為“機械分詞算法”,他是它是按照一定的策略將待分析的漢字串與一個“充分大的”機器詞典中的詞條進行配,若在詞典中找到某個字符串,則匹配成功,可識別出一個詞。按照掃描方向的不同,文本匹配分詞方法可以分為正向匹配和逆向匹配兩種;按照不同長度優先匹配的情況,可以分為最大(最長)匹配和最小(最短)匹配;按照是否與詞性標注過程相結合,又可以分為單純分詞方法和分詞與標注相結合的一體化方法。

  常用的幾種機械分詞方法如下:

  1) 正向最大匹配法(由左到右的方向)

  2) 逆向最大匹配法(由右到左的方向)

  3) 最少切分(使每一句中切出的詞數最小)。

  其他的還有將上述各種方法相互組合形成的分詞算法,例如,可以將正向最大匹配方法和逆向最大匹配方法結合起來構成雙向匹配法。由于漢語單字成詞的特點,正向最小匹配和逆向最小匹配一般很少使用。本文中著重討論正向最大匹配法和逆向最大匹配法。

  由于機械分詞算法的準確性取決于算法的準確性與詞庫完備性兩個方面。在本文中設想詞庫充分大,包含需要的詞語。

  一般說來,逆向匹配的切分精度略高于正向匹配,遇到的歧義現象也較少。統計結果表明,單純使用正向最大匹配的錯誤率為1/169,單純使用逆向最大匹配的錯誤率為1/245。但這種精度還遠遠不能滿足實際的需要。實際使用的分詞系統,都是把機械分詞作為一種初分手段,還需通過利用各種其它的語言信息來進一步提高切分的準確率。

  我們先看兩句中文:

  1) 長春市長春節致辭

  2) 長春市長春藥店

  我們假使詞庫中包含如下詞語“長春”,“長春市”,“市長”,“春節”,“致辭”,“春藥”,“藥店”,“春藥店”等。

  用正向最大匹配法得到的結果是:

  長春市/長春/節/致辭(分成4個詞,其中“節”未匹配到,語義錯誤)

  長春市/長春/藥店(分成3個詞,都匹配到,語義正確)

  用逆向最大匹配法得到的結果是:

  長春/市長/春節/致辭(分成4個詞,都匹配到,語義正確)

  長春/市長/春藥店(分成3個詞,都匹配到,語義錯誤)

  從此,我們可以看到正向最大匹配法和逆向最大匹配法的利弊所在:都能夠正確解釋部分中文,同時都有一些無法區分。

  是否可以考慮將這兩種匹配法結合起來,各取所長呢?答案是肯定的。

  首先,我們對同一個詞用正向最大匹配法和逆向最大匹配法分別切詞,再將結果進行比較。如切分“長春市長春節致辭”,因為正向最大匹配法有一個詞語無法匹配,故選擇使用逆向最大匹配法作為結果。

  其次,我們可以引入詞頻的概念,及每一個詞語都會根據其在漢語中出現的概率獲得一個詞頻值。我們對“長春市長春藥店”進行兩種方法的分詞,但是因為逆向最大匹配法得到的“春藥店”的詞頻相比于其他詞語的詞頻要低很多。我們可以認為這種分詞方法得到的結果不通用,取正向最大匹配法得結果。

  當然,還可以將其他的一些方法(如掃描標志法,詞性檢查法等)與這兩種匹配法相結合,以獲得更好更準確的分詞效果。

標簽:平涼 景德鎮 通遼 嘉興 牡丹江 天門 山西 泰州

巨人網絡通訊聲明:本文標題《淺析常用分詞算法的比較與設想》,本文關鍵詞  淺析,常用,分詞,算法,的,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《淺析常用分詞算法的比較與設想》相關的同類信息!
  • 本頁收集關于淺析常用分詞算法的比較與設想的相關信息資訊供網民參考!
  • 推薦文章
    欧美阿v视频在线大全_亚洲欧美中文日韩V在线观看_www性欧美日韩欧美91_亚洲欧美日韩久久精品
  • <rt id="w000q"><acronym id="w000q"></acronym></rt>
  • <abbr id="w000q"></abbr>
    <rt id="w000q"></rt>
    a亚洲天堂av| ass极品国模人体欣赏| 色综合久久六月婷婷中文字幕| 久久综合99re88久久爱| 美女一区二区视频| 久久久精品人妻无码专区| 91精品国产入口在线| 亚欧色一区w666天堂| 人妻 丝袜美腿 中文字幕| 欧美色图一区二区三区| 亚洲综合精品自拍| 性感美女一区二区三区| 精品视频999| 亚洲高清视频在线| 日本不卡视频一区| 欧美一个色资源| 蜜臀精品一区二区三区在线观看 | 波多野吉衣在线视频| 在线一区二区三区| 亚洲高清免费视频| 国产传媒第一页| 久久老女人爱爱| 成人夜色视频网站在线观看| 538任你躁在线精品视频网站| 亚洲视频一区在线观看| 日本r级电影在线观看 | 久久久国产午夜精品| 国产精品一二三四| 午夜激情福利网| 亚洲码国产岛国毛片在线| 性活交片大全免费看| 欧美一级片免费看| 精品一区精品二区高清| 丝袜 亚洲 另类 欧美 重口 | 成人在线短视频| 777xxx欧美| 极品少妇一区二区| 青草影院在线观看| 亚洲成人黄色小说| 黄免费在线观看| 亚洲欧洲成人自拍| 国产在线观看免费播放| 欧美va亚洲va香蕉在线| 高清视频一区二区| 欧美日韩国产综合视频在线观看| 日本一不卡视频| 少妇高潮一区二区三区喷水| 亚洲欧美偷拍卡通变态| 波多野结衣福利| 国产精品理伦片| 91成人在线观看喷潮蘑菇| 精品999久久久| 国产欧美日韩视频在线观看| 成人h动漫精品一区二区| 宅男在线国产精品| 国产裸体歌舞团一区二区| 91精品1区2区| 久久99蜜桃精品| 欧美影视一区二区三区| 另类成人小视频在线| 一本久久a久久免费精品不卡| 日韩精品视频网站| 午夜剧场免费在线观看| 性做久久久久久免费观看欧美| 女同久久另类69精品国产| 亚洲一区二区三区美女| 一级二级黄色片| 亚洲香蕉伊在人在线观| 老司机福利在线观看| 亚洲午夜一区二区| 蜜桃视频最新网址| 日韩和欧美的一区| 日本在线一级片| 美女任你摸久久| 欧美性生活久久| 国产另类ts人妖一区二区| 6080日韩午夜伦伦午夜伦| 国产电影精品久久禁18| 日韩三级在线观看| 性生活在线视频| 日本一区二区高清| 亚洲国产欧美视频| 尤物av一区二区| 日韩av毛片在线观看| 日韩和的一区二区| 欧美丝袜丝交足nylons| 国产成人精品三级麻豆| 日韩欧美一级二级| 亚洲少妇中文字幕| 国产精品久久福利| 国产综合精品久久久久成人av | 一本一道久久a久久精品| 麻豆国产91在线播放| 欧美日韩国产免费| av影院午夜一区| 国产欧美日韩精品a在线观看| 三级男人添奶爽爽爽视频| 一区二区三区中文字幕在线观看| 登山的目的在线| 国产美女av一区二区三区| 日韩欧美三级在线| 国产精品扒开腿做爽爽爽a片唱戏| 亚洲欧美激情在线| 欧美做爰啪啪xxxⅹ性| 国产在线精品视频| 精品日韩av一区二区| 青青草成人免费视频| 亚洲sss视频在线视频| av男人天堂一区| 国产日韩欧美高清在线| 精品成人无码一区二区三区| 丝袜诱惑亚洲看片| 9191精品国产综合久久久久久 | 欧美日韩亚洲丝袜制服| 99久久国产综合精品女不卡| 国产精品视频免费看| 免费一级suv好看的国产网站| 麻豆一区二区三| 日韩免费观看高清完整版| 免费无码一区二区三区| 婷婷国产v国产偷v亚洲高清| 在线播放中文一区| 逼特逼视频在线观看| 亚洲午夜一区二区三区| 欧美日韩成人在线一区| 色哟哟免费视频| 亚洲一区国产视频| 欧美日韩性生活| www.四虎精品| 天堂一区二区在线免费观看| 欧美一级理论片| 白丝女仆被免费网站| 精品在线播放免费| 国产日韩在线不卡| 四季av中文字幕| 精品一区免费av| 欧美国产成人在线| 成人免费视频网站入口::| av成人免费在线| 亚洲高清在线视频| 欧美一区二区二区| 精品国产成人亚洲午夜福利| 国产在线精品免费| 欧美国产禁国产网站cc| 黄色一级片中国| 中文字幕在线播放一区二区| 亚洲国产精品一区二区久久| 日韩欧美综合在线| 91麻豆精品国产91久久综合| 国产91丝袜在线18| 樱花影视一区二区| 7777精品伊人久久久大香线蕉完整版 | 美女在线视频一区| 欧美激情一区不卡| 91福利精品视频| 手机在线成人av| 黑人巨大精品欧美黑白配亚洲| 中文字幕精品一区二区精品绿巨人| 91成人福利视频| 中文字幕精品视频在线| 国产一区二区不卡| 亚洲欧美另类图片小说| 欧美日本韩国一区| 欧美极品jizzhd欧美18| 99re热这里只有精品视频| 五月婷婷久久综合| 久久久99精品久久| 91福利视频网站| 亚洲天堂网一区二区| 成人免费视频app| 午夜精品久久久久久久久| 精品国内片67194| 色综合久久久久久久| 艳妇乳肉亭妇荡乳av| 国产999精品久久久久久| 一区二区三区加勒比av| 男女黄床上色视频| 国产经典欧美精品| 亚洲第一久久影院| 久久久不卡影院| 欧美色中文字幕| 久久久久久久毛片| 97se亚洲国产综合在线| 日本不卡一区二区三区| 成人免费一区二区三区视频| 欧美一区二区三区在线看| fc2ppv在线播放| 色综合久久五月| 国产成人精品免费| 亚洲不卡av一区二区三区| 日本一区二区三区电影| 91.麻豆视频| 久久精品一区二区三区四区五区| 久久国产劲爆∧v内射| 丁香激情综合国产| 蜜臀精品一区二区三区在线观看 | 欧美日韩五月天| 爱爱视频免费在线观看| 少妇特黄一区二区三区| 麻豆网站免费观看|