正則表達(dá)式和文本挖掘(Text Mining)

在進(jìn)行文本挖掘時(shí),TSQL中的通配符(Wildchar)顯得功能不足,這時(shí),使用“CLR+正則表達(dá)式”是非常不錯(cuò)的選擇,正則表達(dá)式看似非常復(fù)雜,但,萬(wàn)變不離其宗,熟練掌握正則表達(dá)式的元數(shù)據(jù),就能熟練和靈活使用正則表達(dá)式完成復(fù)雜的Text Mining工作。 

一,正則表達(dá)式的特殊字符

1,常用元字符

用以匹配特定的字符(字母,數(shù)字,符號(hào)),注意字母是區(qū)分大小寫的:

  • . :匹配除換行符以外的任意字符
  • \w :匹配字母或數(shù)字或下劃線或漢字
  • \s :匹配任意的空白符
  • \d :匹配數(shù)字
  • \b :匹配單詞的開(kāi)始或結(jié)束
  • ^ :匹配字符串的開(kāi)始
  • $ :匹配字符串的結(jié)束
  • \k :引用分組名,例如:\k<group_name>,表示引用名字為group_name的分組
  • \group_number:group_number是分組的組號(hào),1,2,3等,表示通過(guò)組號(hào)引用分組

2,重復(fù)字符或分組

指定前面一個(gè)字符或分組重復(fù)的次數(shù):

  • * :重復(fù)零次或更多次
  • + :重復(fù)一次或更多次
  • ? :重復(fù)零次或一次
  • {n} :重復(fù)n次
  • {n,} :重復(fù)n次或更多次
  • {n,m} :重復(fù)n到m次

3,分組,轉(zhuǎn)義,分支,限定符

這些字符有特定的含義和用途:

  • () : 用小括號(hào)表示一個(gè)分組
  • <>: 定義分組名< 和 > 之間的字符串是分組名
  • \ : 轉(zhuǎn)義字符,將特殊字符轉(zhuǎn)移為普通字符,例如:\(,表示小括號(hào)“(”,小括號(hào)不再作為特殊字符
  • | : 分支,表達(dá)式之間是“或”的關(guān)系
  • [] : 指定限定字符列表,一個(gè)字符必須匹配列表中任意一個(gè)字符,在中括號(hào)中指定匹配的字符列表,例如:[aeiou] 一個(gè)字符必須aeiou中的任意一個(gè);
  • [^ ] : 指定排除字符列表,一個(gè)字符不能是排除列表中的任意一個(gè)字符,中括號(hào)中指定排除的字符列表,例如:[^aeiou] 一個(gè)字符不能是aeiou中的任意一個(gè);

二,分組引用

分組,是使用小括號(hào)指定的一個(gè)子表達(dá)式;分組引用,是指在表達(dá)式中,重復(fù)使用子表達(dá)式,使正則表達(dá)式的寫法更簡(jiǎn)潔。默認(rèn)情況下,正則表達(dá)式為每個(gè)分組自動(dòng)分配一個(gè)組號(hào),規(guī)則是:組號(hào)從1開(kāi)始,從左向右,組號(hào)依次加1(base-1),例如,第一個(gè)分組的組號(hào)為1,第二個(gè)分組的組號(hào)為2,以此類推。

分組定義的三種形式:

  • (exp) :自動(dòng)分配組號(hào),通過(guò)分組號(hào)引用該分組;
  • (?<name>exp) :命名分組,通過(guò)分組名引用該分組;
  • (?:exp) :該分組只在當(dāng)前位置匹配文本,在該分組之后,無(wú)法引用該分組,該分組沒(méi)有分組名,也沒(méi)有分組號(hào);

1,通過(guò)組號(hào)引用分組

在正則表達(dá)式前面定義一個(gè)分組(exp),在表達(dá)式的后面,能夠通過(guò)組號(hào)引用該分組的表達(dá)式,引用分組的語(yǔ)法是:\group_number;

例如:\b(\w+)\b\s+\1\b,在該正則表達(dá)式中,只存在一個(gè)分組(\w+),組號(hào)是1,在該分組的后面,使用\1來(lái)引用該分組,將\1替換為分組的子表達(dá)式,等價(jià)于:\b(\w+)\b\s+(\w+)\b。

2,通過(guò)分組名引用分組

在正則表達(dá)式中,能夠?qū)Ψ纸M命名,命名的分組格式:(?<name>exp),分組名是name,通過(guò)name來(lái)引用該分組的格式是:\k<group_name>,通過(guò)分組名和組號(hào)引用分組,其文本匹配的行為是一樣的。

例如:\b(?<word>\w+)\b\s+\1\b,在該分組的后面中,使用\k<word>引用該分組,將\k<word>替換為分組的子表達(dá)式,等價(jià)于:\b(\w+)\b\s+(\w+)\b。

3,無(wú)法引用的分組

(?:exp):使用這種語(yǔ)法定義的分組,不能引用,只能在當(dāng)前的位置匹配文本,正則表達(dá)式不為該分組自動(dòng)分配組號(hào)。

三,斷言查找

斷言是一個(gè)邏輯表達(dá)式,只有當(dāng)表達(dá)式為真時(shí),匹配成功。當(dāng)匹配成功時(shí),返回文本,返回的文本不包含前綴或后綴,即,斷言用于查找在特定“文本”之前或之后的文本。斷言的四種語(yǔ)法:

  • (?=exp):文本的后面匹配表達(dá)式exp,返回exp位置之前的表達(dá)式
  • (?<=exp) :文本的前面匹配表達(dá)式exp,返回exp位置之后的表達(dá)式
  • (?!exp):文本的后綴不是exp,返回后綴不是exp的表達(dá)式
  • (?<!exp):文本的前綴不是exp,返回前綴不是exp的表達(dá)式

1,后綴匹配

(?=exp):文本的后面匹配表達(dá)式exp,返回exp位置之前的表達(dá)式。后綴匹配,和TSQL的 "%ing"類似;

比如正則表達(dá)式:\b\w+(?=ing\b)

分析:斷言其后綴是ing,并且是單詞的結(jié)尾(\b),匹配以ing結(jié)尾的單詞,但返回單詞的前面部分,ing之前的部分;

例如,查找“I'm reading a book”,它會(huì)匹配“reading”,因?yàn)樵撟址竺嬉詉ng結(jié)尾,該正則表達(dá)式返回read,斷言返回的文本不包含后綴。

2,前綴匹配

(?<=exp):文本的前面匹配表達(dá)式exp,返回exp位置之后的表達(dá)式。前綴匹配,和TSQL的 "re%"類似;
比如正則表達(dá)式:(?<=\bre)\w+\b

分析:?jiǎn)卧~的打頭(\b),并且單詞的前綴是re,匹配以re開(kāi)頭的單詞,返回單詞的后半部分,re之后的部分;

例如,查找“I am reading a book”,它會(huì)匹配“reading”,因?yàn)樵撟址懊嬉詒e打頭,該正則表達(dá)式返回ading,斷言返回的文本不包含前綴。

3,查找前綴或后綴不是特定文本的文本

這兩個(gè)斷言查找,跟前面兩個(gè)相反,作用不大,簡(jiǎn)單了解一下:

  • (?!exp) :文本的后綴不是exp,返回后綴不是exp的表達(dá)式
  • (?<!exp) :文本的前綴不是exp,返回前綴不是exp的表達(dá)式

3.1 比如,正則表達(dá)式:\b\w+(?!ing\b)

分析:不匹配以ing結(jié)尾的單詞,查找“I am reading a book”,返回的文本:I,am,a,book

3.2 比如,正則表達(dá)式:(?<!\bre)\w+\b

分析:不匹配以re打頭的單詞,查找“I am reading a book”,返回的文本:I,am,a,book

 

附:JS正則表達(dá)式在線測(cè)試:Regex Pal