今天搞了一天的文本处理,发现python真的太适合做数据处理了。废话不多说,一起学习吧!

1.我的原始数据是这样的,如图

在这里插入图片描述

2.如果要提取每行含有pass的字符串,代码如下:
import re

filepath = "E:/untitled1/analyze_log/test.log"
txt = open(filepath, "r").read()

result=""
test_text = re.findall("..............+pass", txt)#取出每行含有pass的文本
result = result +'\n'.join(test_text)#换行输出
print(result)
3.执行上面代码,可以取出每行含有pass的文本,如图:

在这里插入图片描述

4.其实我真正要提取的是每行类似上图红色框内的字符串,代码实现如下:
import re

filepath = "E:/untitled1/analyze_log/test.log"
txt = open(filepath, "r").read()

result=""
test_text = re.findall("..............+pass", txt)#取出每行含有pass的文本
result = result +'\n'.join(test_text)#换行输出
del_num = re.sub("\d+ ", "", result)#去掉每行行首的数字
del_awake = del_num.replace("awake", "")#去掉awake
del_commd = del_awake.replace("commd", "")#去掉commd
del_string1 = re.sub("-a+\d\d\d\d-\d.wav", "", del_commd)#去掉-a0023-1.wav类型的字符串
del_string2 = re.sub("-a+\d\d\d\d.wav", "", del_string1)#去掉-a0016.wav类型的字符串
print(del_string2)
5.执行上面代码,可以取出最后我需要的文本,如图:

在这里插入图片描述

6.拓展

在这里插入图片描述

7.示例代码
import re

str = 'Hello123/World 45_?6bye'
result1 = re.findall('\d',str)#\d匹配任何十进制数
result2 = re.findall('\d+',str)#\d+可匹配一位或多位数字使用
result3 = re.findall('\D',str)#\d匹配非数字字符任何十进制数
result4 = re.findall('\w',str)#\w匹配任何字母数字字符,包括下划线在内
result5 = re.findall('\W',str)#\W匹配非任何字母数字字符,包括下划线在内
result6 = re.findall('\s',str)#\s匹配任何空白字符
result7 = re.findall('\S',str)#\S匹配非任何空白字符
result8 = re.findall('\AHello',str)#\A仅匹配字符串开头
result9 = re.findall('bye\Z',str)#\Z仅匹配字符串结尾
print(result1)
print(result2)
print(result3)
print(result4)
print(result5)
print(result6)
print(result7)
print(result8)
print(result9)

接下来会更几篇关于文本处理的博客,一边学习一边记笔记。加油!

20201228更新

由于最近对很多文本进行处理了,发现有更简单的方法处理,所以前来更新~

1.代码如下:
filepath = "E:/untitled1/analyze_log/test.log"
lines = open(filepath, "r",encoding="UTF-8",errors="ignore").readlines()
for line in lines:
    if 'pass' in line:
        print(line)
2.运行结果如下:在这里插入图片描述
3.如果想要取出我想要的那一段文本,也可以更简单~代码如下:
filepath = "E:/untitled1/analyze_log/test.log"
lines = open(filepath, "r",encoding="UTF-8",errors="ignore").readlines()
for line in lines:
    if 'pass' in line:
        filename = line.split(' ')[2]
        key = filename.split('-a')[0]
        result = line.split(' ')[3]
        print(key+' '+result)
4.运行效果如下:在这里插入图片描述加油~
Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐