前綴樹(shù)的基本性質(zhì)
1.根節(jié)點(diǎn)不包含字符，除根節(jié)點(diǎn)外每一個(gè)節(jié)點(diǎn)都只包含一個(gè)字符。
2.從根節(jié)點(diǎn)到某一節(jié)點(diǎn)，路徑上經(jīng)過(guò)的字符連接起來(lái)，為該節(jié)點(diǎn)對(duì)應(yīng)的字符串。
3.每個(gè)節(jié)點(diǎn)的所有子節(jié)點(diǎn)包含的字符都不相同。
數(shù)據(jù)結(jié)構(gòu)：每一個(gè)TrieNode中定義一個(gè)哈希表，含有孩子節(jié)點(diǎn)的，即下一個(gè)字符的TrieNode。
private class TrieNode {
// true 關(guān)鍵詞的終結(jié) ； false 繼續(xù)
private boolean end = false;
// key下一個(gè)字符，value是對(duì)應(yīng)的節(jié)點(diǎn)
private Map<Character, TrieNode> subNodes = new HashMap<>();
// 向指定位置添加節(jié)點(diǎn)樹(shù)
void addSubNode(Character key, TrieNode node) {
subNodes.put(key, node);
}
// 獲取下個(gè)節(jié)點(diǎn)
TrieNode getSubNode(Character key) {
return subNodes.get(key);
}
boolean isKeywordEnd() {
return end;
}
void setKeywordEnd(boolean end) {
this.end = end;
}
public int getSubNodeCount() {
return subNodes.size();
}
}
類中設(shè)置成員變量，根節(jié)點(diǎn)，不包含任何字符。
private TrieNode rootNode = new TrieNode();
添加敏感詞到前綴樹(shù)中
注意構(gòu)造樹(shù)時(shí)如果根節(jié)點(diǎn)沒(méi)有孩子節(jié)點(diǎn)，要初始化再添加到哈希表中。
private void addWord(String lineTxt) {
TrieNode tempNode = rootNode;
// 循環(huán)每個(gè)字節(jié)
for (int i = 0; i < lineTxt.length(); ++i) {
Character c = lineTxt.charAt(i);
// 過(guò)濾空格
if (isSymbol(c)) {
continue;
}
TrieNode node = tempNode.getSubNode(c);
if (node == null) { // 沒(méi)初始化
node = new TrieNode();
tempNode.addSubNode(c, node);
}
tempNode = node;
if (i == lineTxt.length() - 1) {
// 關(guān)鍵詞結(jié)束， 設(shè)置結(jié)束標(biāo)志
tempNode.setKeywordEnd(true);
}
}
}
過(guò)濾敏感詞
設(shè)置了三個(gè)指針幫助判斷。
如果字符是空格類型，并且是根節(jié)點(diǎn)情況，直接添加字符，移動(dòng)begin，pos指針，temp不變。相當(dāng)于直接跳過(guò)再接著尋找。非根節(jié)點(diǎn)則只用移動(dòng)pos指針。因?yàn)榉歉?jié)點(diǎn)情況相當(dāng)于已經(jīng)再尋找敏感詞的過(guò)程中了，只需要跳過(guò)該空格繼續(xù)尋找即可。
在當(dāng)前節(jié)點(diǎn)的哈希表中尋找是否有對(duì)應(yīng)字符的孩子節(jié)點(diǎn)，如果未找到，當(dāng)前字符不是敏感詞。直接添加當(dāng)前字符。pos，begin指針后移一位，temp指針回到根節(jié)點(diǎn)。
如果找到并且不是關(guān)鍵字結(jié)尾，只需要pos指針移動(dòng)。
如果找到并且是關(guān)鍵字結(jié)尾，添加關(guān)鍵字。pos指針后移一位，begin指向pos，temp返回根節(jié)點(diǎn)。
注意最后還要添加result.append(text.substring(begin));因?yàn)楫?dāng)最后循環(huán)不是敏感詞時(shí)候，只會(huì)移動(dòng)Pos而沒(méi)有添加。所以最后一次遍歷不能漏掉。
public String filter(String text) {
if (StringUtils.isBlank(text)) {
return text;
}
String replacement = DEFAULT_REPLACEMENT;
StringBuilder result = new StringBuilder();
TrieNode tempNode = rootNode;
int begin = 0; // 回滾數(shù)
int position = 0; // 當(dāng)前比較的位置
while (position < text.length()) {
char c = text.charAt(position);
// 空格直接跳過(guò)
if (isSymbol(c)) {
if (tempNode == rootNode) {
result.append(c);
++begin;
}
++position;
continue;
}
tempNode = tempNode.getSubNode(c);
// 當(dāng)前位置的匹配結(jié)束
if (tempNode == null) {
// 以begin開(kāi)始的字符串不存在敏感詞
result.append(text.charAt(begin));
// 跳到下一個(gè)字符開(kāi)始測(cè)試
position = begin + 1;
begin = position;
// 回到樹(shù)初始節(jié)點(diǎn)
tempNode = rootNode;
} else if (tempNode.isKeywordEnd()) {
// 發(fā)現(xiàn)敏感詞， 從begin到position的位置用replacement替換掉
result.append(replacement);
position = position + 1;
begin = position;
tempNode = rootNode;
} else {
++position;
}
}
result.append(text.substring(begin));
return result.toString();
}
因?yàn)橛锌赡艽嬖诿舾性~中間夾著宮格，非法字符等形式，所以必須對(duì)這種類型進(jìn)行判斷。判斷邏輯可以不同。
private boolean isSymbol(char c) {
int ic = (int) c;
// 0x2E80-0x9FFF 東亞文字范圍
return !CharUtils.isAsciiAlphanumeric(c) && (ic < 0x2E80 || ic > 0x9FFF);
}
具體項(xiàng)目中，可以將關(guān)鍵字保存到文件，然后讀取文件構(gòu)建前綴樹(shù)
@Override
public void afterPropertiesSet() throws Exception {
rootNode = new TrieNode();
try {
InputStream is = Thread.currentThread().getContextClassLoader()
.getResourceAsStream("SensitiveWords.txt");
InputStreamReader read = new InputStreamReader(is);
BufferedReader bufferedReader = new BufferedReader(read);
String lineTxt;
while ((lineTxt = bufferedReader.readLine()) != null) {
lineTxt = lineTxt.trim();
addWord(lineTxt);
}
read.close();
} catch (Exception e) {
logger.error("讀取敏感詞文件失敗" + e.getMessage());
}
}
