支持按照文件夹去批量处理,也可以单独一个文件进行处理,并且可以自定义标识符
最近在开发一个答题类的小程序,到了录入试题进行测试的时候了,发现一个问题,试题都是word文档格式的,每份有100题左右,拿到的第一份试题,光是段落数目就有800个。而且可能有几十份这样的试题。
而word文档是没有固定格式的,想批量录入关系型数据库mysql,必须先转成excel文档。这个如果是手动一个个粘贴到excel表格,那就头大了。
我最终需要的excel文档结构是这样的:每道题独立占1行,每1列是这道题的一项内容,大概就是问题、选项A、选项B等等。
但word文档是这种结构,如果按照网上通用的方式去转,基本上你得到的结果就是一大坨文字都在一格里,根本不符合需求。
最后我想到了一个解决思路,可以实现这个需求,先看看我转出来的结果:
这个格式虽然跟最终的有点差别,但是只要在excel文档或者在代码里稍微再修改一下,就能完全符合要求了。
废话少说,先贴出代码,看得懂的可以直接拿去用,看不懂的,可以看我后面的具体说明。
已经把它封装成通用脚本了,你可以直接调用。
import pandas as pd import os # 初始处理函数1,先对初始处理结果进行判断 def initail_handle_by_range(file_path, max_page_num, split_str): df = pd.read_table(file_path) # 2、先转成Series S = pd.Series(df['column1'].values) # 3、转成列表,列表的每个元素就是每个段落 list = S.tolist() # 传入一个max_page_num # 4、遍历列表,取出每个段落,按“.”切割,取出第一个元素进行判断,如果它是题号,就应该得到"1"或者"10" index_list = [] for content in list: try: # 不是每个段落都有“.”可以切割的,会报错,报错就跳过 first_str = content.split('%s'%split_str)[0] # 5、根据最大的题号,自动生成匹配的字符串,用来匹配题号(每个匹配字符串都放在patch_list中) patch_list = ['%d' % i for i in range(1, max_page_num + 1)] # 6、比对切割得到的第一个元素,如果它在匹配的字符串中,就获取它在列表中的索引,并把获取到的结果添加到列表index_list中,这就知道了每道题的开头在l中的哪个位置了 if first_str in patch_list: index = list.index(content) index_list.append(index) except: pass # 7、根据索引列表,我们可以知道每道题的第一段和最后一段在l中的哪个位置 # index_list = [0, 8, 16] # print(index_list) # 先计算每道题长度是否一致,不一致的,设置is_same_length = False is_same_length = True length = index_list[1] - index_list[0] max_index = len(list) for i in index_list: # 如果i不是最后一个,那么start就是i,end就是i的下一个 if i < index_list[-1]: start = i end = index_list[index_list.index(i) + 1] else: start = i end = max_index # 判断长度是否一致,不一致就对长度进行比较,把大的赋值给长度 if (end - start) != length: is_same_length = False if (end - start) > length: length = (end - start) result = [is_same_length, index_list, list, length] return result # 初始处理函数1,先对初始处理结果进行判断 def initail_handle_by_patchstr(file_path, patch_str, split_str): df = pd.read_table(file_path) # 2、先转成Series S = pd.Series(df['column1'].values) # 3、转成列表,列表的每个元素就是每个段落 list = S.tolist() # 传入一个max_page_num # 4、遍历列表,取出每个段落,按“.”切割,取出第一个元素进行判断,如果它是题号,就应该得到"1"或者"10" index_list = [] for content in list: try: # 不是每个段落都有“.”可以切割的,会报错,报错就跳过 first_str = content.split('%s'%split_str)[0] # 6、比对切割得到的第一个元素,如果它在匹配的字符串中,就获取它在列表中的索引,并把获取到的结果添加到列表index_list中,这就知道了每道题的开头在l中的哪个位置了 if first_str == patch_str: index = list.index(content) index_list.append(index) except: pass # 7、根据索引列表,我们可以知道每道题的第一段和最后一段在l中的哪个位置 # index_list = [0, 8, 16] # print(index_list) # 先计算每道题长度是否一致,不一致的,设置is_same_length = False is_same_length = True length = index_list[1] - index_list[0] max_index = len(list) for i in index_list: # 如果i不是最后一个,那么start就是i,end就是i的下一个 if i < index_list[-1]: start = i end = index_list[index_list.index(i) + 1] else: start = i end = max_index # 判断长度是否一致,不一致就对长度进行比较,把大的赋值给长度 if (end - start) != length: is_same_length = False if (end - start) > length: length = (end - start) result = [is_same_length, index_list, list, length] return result # 传入一个文件路径和一个匹配的字符串,至少2个符号,例如"#." def file_handle_by_patchstr(file_path, patch_str, split_str): result = initail_handle_by_patchstr(file_path, patch_str, split_str) # 接收初始处理函数的结果 is_same_length = result[0] index_list = result[1] list = result[2] length = result[3] # 先根据每道题的长度构造一个空的dict,最后用来生成dataFrame dict = {} for i in range(1, (length + 1)): dict['colomn%d' % i] = [] # print(dict) max_index = len(list) for i in index_list: # 如果i不是最后一个,那么start就是i,end就是i的下一个 if i < index_list[-1]: start = i end = index_list[index_list.index(i) + 1] else: start = i end = max_index # 遍历一轮获得的结果就是我们要写入excel的一行 colomn = 1 for index in range(start, end): # 遍历一次获得的结果就是我们要写入excel的一格 content = list[index] # 每遍历一次就在一个dict中取出某一列,给它加上这个数据 dict['colomn%d' % colomn].append(content) colomn += 1 # 在遍历到最后一轮的时候 if index == (end - 1): # 判断是否需要插入空值 if not is_same_length and ((end - start) < length): # 可能缺了2列,也可能缺了1列 content = '' # 如果只是缺了一列,在现有的index上,加1,就是下一列,补上空值 if (length - (end - start)) == 1: colomn = (end - start) + 1 dict['colomn%d' % (colomn)].append(content) else: # 如果缺失了2列以上,就遍历,给之后的每一列都补上空值 for i in range(length - (end - start)): colomn = length - i dict['colomn%d' % (colomn)].append(content) final_df = pd.DataFrame(dict) new_file_path = file_path.split('.')[0] + '.xlsx' final_df.to_excel(r'%s' % new_file_path) def file_handle_by_range(file_path, max_page_num, split_str): result = initail_handle_by_range(file_path, max_page_num, split_str) # 接收初始处理函数的结果 is_same_length = result[0] index_list = result[1] list = result[2] length = result[3] # 先根据每道题的长度构造一个空的dict,最后用来生成dataFrame dict = {} for i in range(1,(length+1)): dict['colomn%d'%i] = [] max_index = len(list) for i in index_list: # 如果i不是最后一个,那么start就是i,end就是i的下一个 if i < index_list[-1]: start = i end = index_list[index_list.index(i) + 1] else: start = i end = max_index # 遍历一轮获得的结果就是我们要写入excel的一行 colomn = 1 for index in range(start, end): # 遍历一次获得的结果就是我们要写入excel的一格 content = list[index] # 每遍历一次就在一个dict中取出某一列,给它加上这个数据 dict['colomn%d' % colomn].append(content) colomn += 1 # 在遍历到最后一轮的时候 if index == (end - 1): # 判断是否需要插入空值 if not is_same_length and ((end-start)<length): # 可能缺了2列,也可能缺了1列 content = '' # 如果只是缺了一列,在现有的index上,加1,就是下一列,补上空值 if (length-(end-start)) == 1: colomn = (end-start) +1 dict['colomn%d'% (colomn)].append(content) else: # 如果缺失了2列以上,就遍历,给之后的每一列都补上空值 # 8-6 = 2, i = 0, 1 for i in range(length-(end-start)): colomn = length - i dict['colomn%d' % (colomn)].append(content) final_df = pd.DataFrame(dict) new_file_path = file_path.split('.')[0] + '.xlsx' final_df.to_excel(r'%s'%new_file_path) # 传入一个文件夹路径,最大的迭代数字,切割字符串 def dir_handle_by_range(dir_path, max_page_num, split_str): files = os.listdir(dir_path) # 获取当前目录的所有文件及文件夹 for file in files: file_path = os.path.join(dir_path, file) # 遍历获取每个文件的绝对路径 result = initail_handle_by_range(file_path, max_page_num, split_str) # 接收初始处理函数的结果 is_same_length = result[0] index_list = result[1] list = result[2] length = result[3] # 先根据每道题的长度构造一个空的dict,最后用来生成dataFrame dict = {} for i in range(1, (length + 1)): dict['colomn%d' % i] = [] max_index = len(list) for i in index_list: # 如果i不是最后一个,那么start就是i,end就是i的下一个 if i < index_list[-1]: start = i end = index_list[index_list.index(i) + 1] else: start = i end = max_index # 遍历一轮获得的结果就是我们要写入excel的一行 colomn = 1 for index in range(start, end): # 遍历一次获得的结果就是我们要写入excel的一格 content = list[index] # 每遍历一次就在一个dict中取出某一列,给它加上这个数据 dict['colomn%d' % colomn].append(content) colomn += 1 # 在遍历到最后一轮的时候 if index == (end - 1): # 判断是否需要插入空值 if not is_same_length and ((end - start) < length): # 可能缺了2列,也可能缺了1列 content = '' # 如果只是缺了一列,在现有的index上,加1,就是下一列,补上空值 if (length - (end - start)) == 1: colomn = (end - start) + 1 dict['colomn%d' % (colomn)].append(content) else: # 如果缺失了2列以上,就遍历,给之后的每一列都补上空值 for i in range(length - (end - start)): colomn = length - i dict['colomn%d' % (colomn)].append(content) final_df = pd.DataFrame(dict) new_file_path = file_path.split('.')[0] + '.xlsx' final_df.to_excel(r'%s' % new_file_path) # 传入一个文件夹路径和一个匹配的字符串,至少2个符号,例如"#." def dir_handle_by_patchstr(dir_path, patch_str, split_str): files = os.listdir(dir_path) # 获取目录的所有文件及文件夹 for file in files: file_path = os.path.join(dir_path, file) # 遍历获取每个文件的绝对路径 print(file_path) result = initail_handle_by_patchstr(file_path, patch_str, split_str) # 接收初始处理函数的结果 is_same_length = result[0] index_list = result[1] list = result[2] length = result[3] # 先根据每道题的长度构造一个空的dict,最后用来生成dataFrame dict = {} for i in range(1, (length + 1)): dict['colomn%d' % i] = [] # print(dict) max_index = len(list) for i in index_list: # 如果i不是最后一个,那么start就是i,end就是i的下一个 if i < index_list[-1]: start = i end = index_list[index_list.index(i) + 1] else: start = i end = max_index # 遍历一轮获得的结果就是我们要写入excel的一行 colomn = 1 for index in range(start, end): # 遍历一次获得的结果就是我们要写入excel的一格 content = list[index] # 每遍历一次就在一个dict中取出某一列,给它加上这个数据 dict['colomn%d' % colomn].append(content) colomn += 1 # 在遍历到最后一轮的时候 if index == (end - 1): # 判断是否需要插入空值 if not is_same_length and ((end - start) < length): # 可能缺了2列,也可能缺了1列 content = '' # 如果只是缺了一列,在现有的index上,加1,就是下一列,补上空值 if (length - (end - start)) == 1: colomn = (end - start) + 1 dict['colomn%d' % (colomn)].append(content) else: # 如果缺失了2列以上,就遍历,给之后的每一列都补上空值 for i in range(length - (end - start)): colomn = length - i dict['colomn%d' % (colomn)].append(content) final_df = pd.DataFrame(dict) print(final_df) print(file_path) new_file_path = file_path.split('.')[0] + '.xlsx' print(new_file_path) final_df.to_excel(r'%s' % new_file_path) if __name__ == '__main__': # 文件路径 # file_path = r'C:\Users\Administrator\PycharmProjects\exchange_file\2018-04 技能操作真题.txt' # 文件夹路径 dir_path = r'C:\Users\Administrator\PycharmProjects\exchange_file\mytest' # 根据数字处理具体文件,参数传文件路径,可迭代的最大数可自定义,分隔符也自定义 # file_handle_by_range(file_path, 100, '.') # 根据自定义匹配符处理具体文件,参数传文件路径,匹配符可以自定义,切割符也可以自定义 # file_handle_by_patchstr(file_path, '#', '.') # 根据数字处理具体整个文件夹,参数传文件路径,可迭代的最大数可自定义,分隔符也自定义 # dir_handle_by_range(dir_path, 100, '.') # 根据自定义匹配符处理具体文件夹,参数传文件路径,匹配符可以自定义,切割符也可以自定义 # dir_handle_by_patchstr(dir_path, '#', '.')
解决这个需求的关键点是什么: 1、python怎么读取这个文件的内容? python有相关的word操作库可以读取,但是读取到的结果不方便操作。我们最终是要让它生成excel文件的,所以可以用python非常强大的科学计算包pandas来读取操作数据更好。
但pandas不能直接读取word文件,所以,需要先把它转成txt文档,这一步很简单,打开word,全部复制到一份新的txt文件中就行了。(注意要在第一行给它加上列名,我直接加了个colomn1,代表是第一列)简单处理后的txt文档的结构类似这样:
2、读取到的数据如何处理?
使用pandas读取到的数据是一个dataFrame,dataFrame的结构就类似于我们在excel文档里面那样行列分明的。但是,它从txt读取出来的格式是全部内容都视为1列的,而txt中的每一段,在它这里就是每一行(注意是每一段对应一行,而不是每一行对应每一行)预览一下:结果显示800行,1列。也就是在txt文档中有800个段落。
3、接下来怎么处理呢?
pandas强大的地方就在这里了,它可以直接把这1列的内容全部转成Series,Series是什么你可以不用管,你只需要知道Series可以直接转成列表list就行了。有了list我们就方便操作了。
以上几步就实现了从word里面读取数据,并转化成python的数据类型list了。list里面的每个元素,就等同于我们word里面的每一个段落。控制台打印出来的就是这样:下面的800是计算出这个列表的长度,代表有800个元素。
接下来我们的需求就变成了:怎么把一个列表,转成有明确行列结构的excel表格了。
这个要分为2种情况来说: 1、你的word文档结构相对合理些,每道题都固定是X个段落(例如每道题都是8个段落),这个解决就很简单了。因为这种情况对应就是在list中,每8个元素构成了1道题,你只要按照规律,8个8个取出,最后批量写入excel就行了。(这种解决起来比较简单,就不详细说了)
2、另一种情况比较麻烦,就是word文档的结构不规范,有的题目可能是8个段落,有的可能是7段,有的是6段。那么要怎么解决呢?
解决这个问题有几个关键点: 1、excel表格是行列结构的,它每一行的数据来源于这个txt文档的第几行?(也就是list里面的第几个元素)所以我们只要把每道题在list中的索引找出来就行了。
观察一下源数据,它每道题的开头都是数字加1个英文符号“.”,例如:“1.”和“2.”,最大的是"100.",并且其他段落的开头都不会出现这个结构。那么就简单了,我先构造出一个patch_list=[‘1', ‘2', ‘3'…‘100'],用来做匹配。
然后再遍历源数据列表,对列表的每个元素按“.”号切割,切割后拿到它的第一个元素,拿这个元素跟pacth_lis进行匹配,如果它是在patch_list中的,就代表它是每道题的开头。此时就记录下它的索引,并且把这个索引值存放到一个新列表index_list中。下面是我获取到的index_list:
0代表了第一道题是在列表的第1个元素开始的,8代表第二道题在列表的第9个元素开始。
于是我们就知道每道题的开头是在列表中的哪个位置了。
2、拿到了每道题的索引,然后怎么做呢?最终我们是要转存到excel文档中的, pandas怎么转excel?很简单的,只要你构造出一个dataFrame出来,调用pandas的to_excel方法,就能存入excel文档了。
3、问题的关键就变成了,有了每道题的索引,怎么把它转成dataFrame结构。下面演示一下,假如你想要构造一个dataFrame,需要什么样的数据结构,构造出来的dataFrame在控制台的输出结果是怎么样的,最后生成的excel表格是怎么样的。
dict = {'colomn1': ['问题1', '问题2', '问题3'], 'colomn2': ["A:问题1的A选项", "A:问题2的A选项", "A:问题3的A选项"], 'colomn3': ['B:问题1的B选项', 'B:问题2的B选项', 'B:问题3的B选项']} df = pd.DataFrame(dict) print(df) df.to_excel(r'C:\Users\Administrator\PycharmProjects\exchange_file\test.xlsx')
这个就是调用pandas的DataFrame方法,用字典dict生成的一个dataFrame数据。这个dataFrame在控制台打印出来就是:
这个结构存入excel就是对应表格的行和列了。这个结构就符合我的实际需求了。
所以我们要构造出这个dataframe的关键就是:把所有数据梳理一遍,构造成类似这样的一个字典:
dict = {'colomn1': ['问题1', '问题2', '问题3'], 'colomn2': ["A:问题1的A选项", "A:问题2的A选项", "A:问题3的A选项"], 'colomn3': ['B:问题1的B选项', 'B:问题2的B选项', 'B:问题3的B选项']}
那么怎么构建这个dict呢?
我们源数据转出来的list结构是类似这样的: list = [‘问题1',“A:问题1的A选项”, ‘B:问题1的B选项'…‘问题2',“A:问题2的A选项”, ‘B:问题2的B选项']
而我们前面得到的index_list=[0, 8, 16。。。。] 它记录了“问题1”,“问题2”等等直到“问题100”是在哪个位置开始的,所以我们只需要把index_list遍历一下,轮流取出它的每个元素,它就是每道题的开始位置,然后拿到紧跟在这个元素的下一个是什么,用这个减去1就知道了每道题的开始位置start和结尾位置end是多少了。
接着使用
for i in range(start, end): content = list[i]
就可以轮番从list中取出每道题的各项内容,取到的第一个就加到dict的colomn1列表中,第二个就加到dict的colomn2中,按照这个规律,就能把list的内容分开插入到dict中的各个列表中了。
但在这个过程中,可能你每道题的段落数目不一致,也就是你按照这个规律从list中取出的元素,可能每次取出的数量都不一样。这点需要注意,如果没有对它进行处理,最后会导致转出来的文件内容错位了,例如你的文档里面,第一题有8个段落,第二题只有7个,第三题有8个段落,没处理这个问题的话,最后第三题的第8个段落,就会跑到第7题那边了。并且最终dataFrame会无法生成excel文件。
那么这个问题怎么解决呢?
在正式调用处理函数生成excel文件之前,可以先对文件预处理,拿到它们的数据进行判断,如果判断到它每个间隔不一样,有的缺少段落,那么就让数据预处理函数返回一个值为False,间隔一样就返回True。接着在真正的数据提取环节,根据这个进行判断,如果判断到它值是Fales,那么就在每一轮遍历提取数据的最后一次遍历,一次性在它后面的缺失数据的列加上空字符串,作为占位用,这样最后得到的列表长度就都一样了,并且在最后生成的excel表中,它是一个空格。
最后用dict生成dataFrame,再写入excel文档,我们就大功告成了。
一、运行必须的工具 1、python解释器(pycharm或其他); 2、python自带模块:os; 3、自行安装模块:pandas,openpyxl;
自行安装的模块,在控制台pip install pandas和pip install openpyxl就行了。
二、怎么调用:
1、先要做数据预处理:先要把word文档的内容复制到txt文档中,并且在第一行加上"column1",处理后像下面这样:
接着要看你的文档内容是否有题号,如果有的话:比如像我这个,有具体的题号1-100题,并且它的写法都是“1.”,在题号后面跟了个英文字符'.‘,顺序递增到100。
那么你就可以调用file_handle_by_range。
你给它传第一个参数是个具体的文件路径,它就会去打开这个文件,读取里面的内容。
传的第二个参数是100,它就会自动生成1到100的字符串,用来匹配识别你的每道题的开头在哪个位置。(如果你最大的题号是200,就写200,可以写多,但不能写少,少了识别到的内容会缺失)
传的第三个参数是'.‘,它就会按照'.'去切割每一行的内容,拿到第一个“.”号前面的内容,用来跟它生成的匹配字符做比对,比对成功了,它就默认该行是你想要写到excel表格里的第一列,接在它后面的每个段落,会自动插入到它后面的列。
直到匹配到下一个“数字.”开头的,又重复这个过程。
如果你的文档里面并不是像我这样,没有顺序递增的题号,你可以手动给每个你想要放在表格中第一列的段落,在它前面加标识符,例如“####.”,注意最后是有个小点的。像下面这样:
接着调用
for i in range(start, end): content = list[i]
那么它就默认按照'.‘去切割每行内容,并且按照####来匹配识别切到的内容,如果切到在'.'前面的是“####”,那么它就默认这一段是你想存到excel表第一列的段落,在它后面的几段,都会按照每个段落存入一格去处理。直到下一个“####.”出现。
2、可调用的有4个函数: 2.1、假如你只想处理一个具体的文档,并且它有具体的题号,最大题号是100,并且它后面跟的是一个'.',那么就按照下面这个调用
file_path = r'C:\Users\Administrator\PycharmProjects\exchange_file\2018-04 技能操作真题.txt' file_handle_by_range(file_path, 100, '.')
2.2、根据自定义匹配符处理具体文件,参数传文件路径,匹配符可以自定义,切割符也可以自定义
file_path = r'C:\Users\Administrator\PycharmProjects\exchange_file\2018-04 技能操作真题.txt' file_handle_by_patchstr(file_path, '#', '.')
2.3、根据数字处理具体整个文件夹,参数传文件路径,可迭代的最大数可自定义,分隔符也自定义。(注意文件夹路径,最后是不跟文件名的,它是个文件夹,不是具体文件路径)
# 文件夹路径 dir_path = r'C:\Users\Administrator\PycharmProjects\exchange_file\mytest' dir_handle_by_range(dir_path, 100, '.')
2.4、根据自定义匹配符处理具体文件夹,参数传文件路径,匹配符可以自定义,切割符也可以自定义
# 文件夹路径 dir_path = r'C:\Users\Administrator\PycharmProjects\exchange_file\mytest' dir_handle_by_patchstr(dir_path, '#', '.')
总结
以上所述是小编给大家介绍的python实现word文档批量转成自定义格式的excel文档的思路及实例代码,希望对大家有所帮助,也非常感谢大家对呐喊教程网站的支持!
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:notice#nhooo.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。