生信之旅

一般涉及到多个文件的处理时，我习惯自己编写脚本来进行处理，像之前我一般习惯使用os库来遍历目录下的文件，相对来说比较麻烦。现在将我知道的一些批量处理的方法总结一下。

一、批量获取文件路径

1.1、os库

这是我之前常用的方法，通过遍历文件夹下所有的文件来进行获取，示例代码如下：

import os

base_path = "deal"

for root, dirs, files in os.walk(base_path):
     print(root)  # 当前目录
     print(dirs)  # 当前目录下的目录（不包含子目录）
     print(files)  # 当前目录下的文件

1.2、glob库

glob库也是python的一个标准库,支持使用通配符进行文件匹配，示例代码如下：

import glob

file_list = glob.glob("deal/*txt")  # 当前命令即可获取deal目录下所有以txt结尾的文件

二、批量读取文件

像之前，我在使用os库获取对应的文件后，直接进行读写处理或者使用pandas进行处理，这里介绍下其他进行读写的办法。

2.1、fileinput库

fileinput库也是Python的一个标准库，不需要我们安装。其能同时读取多个文件，示例代码如下：

import glob
import fileinput

file_list = glob.glob("deal/*txt")  # 当前命令即可获取deal目录下所有以txt结尾的文件

mul_file = fileinput.input(files=file_list)  # 读取文件列表中所有的文件

for line in mul_file:  # 按顺序遍历所有文件
     print(line)  # 输出文件的每一行
     print(mul_file.filename())  # 输出当前的文件，或者fileinput.filename()也可以