我以前队列是直接在内存里，程序停了又要重头开始。。。。
所以队列应该保存在数据库当中会好一点
This topic created in 3974 days ago, the information mentioned may be changed or developed.
 |
1
demoslam Jul 24, 2015
看需求，正常爬虫存的数据库可以随便选。inverted index的存储可能要额外考虑其他的数据库
|
 |
2
itfanr Jul 24, 2015 via Android  2
leveldb rocksdb
|
 |
3
shoumu Jul 24, 2015
想用什么数据库就用什么数据库，等数据库性能遇到瓶颈了还能学学数据库的东西
|
 |
4
Comdex Jul 24, 2015
redis/mongodb
|
 |
6
mcwanderer Jul 24, 2015
mongodb
|
 |
7
qw7692336 OP @mcwanderer
不说原因的都是耍流氓 |
 |
10
zjq426 Jul 24, 2015
爬和解析分开，爬下来的rawdata直接存文件不好吗。。。
|
 |
11
bengtuo Jul 24, 2015
直接存文件
|
Select Language