如题,
存在 2900+的 stock 文件,每个文件格式相同,如下:
------------------------
date | value1
date | value2
date | value3
date | value4
------------------------
我想将所有文件合并到一起,格式如下:
------------------------------------------------
| code1 | code2 | code3
date1 | value1 | value2 | value3
............
daten | valuen | valuen | valuen
------------------------------------------------
目前的做法是将数据存到 list (总大小 2900+),
将这个列表拆分成 N 个,先分别 pd.concat ,得到 N 个 df 。
最后将这 N 个 df 合并为一个大的 df 。
但是效率是在太慢了,而且特别占用内存。文件的大小也就 20M ,但合并时内存能上好几个 G 。
求帮助。
谢谢。
存在 2900+的 stock 文件,每个文件格式相同,如下:
------------------------
date | value1
date | value2
date | value3
date | value4
------------------------
我想将所有文件合并到一起,格式如下:
------------------------------------------------
| code1 | code2 | code3
date1 | value1 | value2 | value3
............
daten | valuen | valuen | valuen
------------------------------------------------
目前的做法是将数据存到 list (总大小 2900+),
将这个列表拆分成 N 个,先分别 pd.concat ,得到 N 个 df 。
最后将这 N 个 df 合并为一个大的 df 。
但是效率是在太慢了,而且特别占用内存。文件的大小也就 20M ,但合并时内存能上好几个 G 。
求帮助。
谢谢。