我想知道是否有一种直接的方法将CSV文件的内容导入记录数组,就像R'的read.table()
, read.delim()
, 和read.csv()
家族导入数据到R'的数据框架一样?
或者最好的方法是使用csv.reader(),然后应用类似`numpy.core.records.fromrecords()'的东西?
我推荐使用pandas
库中的read_csv
函数。
import pandas as pd
df=pd.read_csv('myfile.csv', sep=',',header=None)
df.values
array([[ 1. , 2. , 3. ],
[ 4. , 5.5, 6. ]])
这可以得到一个pandas的DataFrame--允许许多有用的数据处理功能,这些功能是numpy记录数组无法直接使用的。
DataFrame是一个二维的标记数据结构,其列有 潜在的不同类型。你可以把它看成是一个电子表格或 SQL表...
我也推荐genfromtxt
。但是,由于问题要求的是一个记录数组,而不是一个普通的数组,所以需要在genfromtxt
调用中添加dtype=None
参数。
给出一个输入文件,myfile.csv
。
1.0, 2, 3
4, 5.5, 6
import numpy as np
np.genfromtxt('myfile.csv',delimiter=',')
给出一个数组。
array([[ 1. , 2. , 3. ],
[ 4. , 5.5, 6. ]])
和
np.genfromtxt('myfile.csv',delimiter=',',dtype=None)
给出了一个记录数组。
array([(1.0, 2.0, 3), (4.0, 5.5, 6)],
dtype=[('f0', '<f8'), ('f1', '<f8'), ('f2', '<i4')])
这样做的好处是,具有多种数据类型(包括字符串)的文件可以轻松导入。
我定了时间
from numpy import genfromtxt
genfromtxt(fname = dest_file, dtype = (<whatever options>))
与...相比
import csv
import numpy as np
with open(dest_file,'r') as dest_f:
data_iter = csv.reader(dest_f,
delimiter = delimiter,
quotechar = '"')
data = [data for data in data_iter]
data_array = np.asarray(data, dtype = <whatever options>)
在460万行约70列的数据上,发现NumPy路径用了2分16秒,而csv-list理解法用了13秒。
我推荐csv-list comprehension方法,因为它很可能是依靠预编译的库,而不是像NumPy那样依靠解释器。 我怀疑pandas方法也会有类似的解释器开销。
因为我尝试了使用NumPy和Pandas两种方式,使用pandas有很多优势。
这是我的测试代码。
$ for f in test_pandas.py test_numpy_csv.py ; do /usr/bin/time python $f; done
2.94user 0.41system 0:03.05elapsed 109%CPU (0avgtext+0avgdata 502068maxresident)k
0inputs+24outputs (0major+107147minor)pagefaults 0swaps
23.29user 0.72system 0:23.72elapsed 101%CPU (0avgtext+0avgdata 1680888maxresident)k
0inputs+0outputs (0major+416145minor)pagefaults 0swaps
from numpy import genfromtxt
train = genfromtxt('/home/hvn/me/notebook/train.csv', delimiter=',')
from pandas import read_csv
df = read_csv('/home/hvn/me/notebook/train.csv')
du -h ~/me/notebook/train.csv
59M /home/hvn/me/notebook/train.csv
用NumPy和pandas的版本。
$ pip freeze | egrep -i 'pandas|numpy'
numpy==1.13.3
pandas==0.20.2
您可以使用这段代码将CSV文件数据发送到一个数组中。
import numpy as np
csv = np.genfromtxt('test.csv', delimiter=",")
print(csv)
使用[numpy.loadtxt
][1]
一个相当简单的方法。 但它要求所有的元素都是float(int等)。
import numpy as np
data = np.loadtxt('c:\\1.csv',delimiter=',',skiprows=0)
[1]: https://docs.scipy.org/doc/numpy/reference/generated/numpy.loadtxt.html
我建议使用table(pip3 install tables
)。
你可以使用pandas(pip3 install pandas
)将你的.csv
文件保存到.h5
。
import pandas as pd
data = pd.read_csv("dataset.csv")
store = pd.HDFStore('dataset.h5')
store['mydata'] = data
store.close()
然后,你可以很容易地,用更少的时间,即使是大量的数据,也可以将你的数据加载到一个NumPy数组中。
import pandas as pd
store = pd.HDFStore('dataset.h5')
data = store['mydata']
store.close()
# Data in NumPy format
data = data.values
这个工作就像一个魅力...。
导入csv
用open("data.csv", 'r')作为f。
data = list(csv.reader(f, delimiter=";"))
将 numpy 导入为 np
data = np.array(data, dtype=np.float)