求可以自动抓取网站图片的软件

This topic created in 4348 days ago, the information mentioned may be changed or developed.

因工作需要，要每天去网站截取一些共享的图片，网站的图片是类似空气质量发布的数据图，每一个小时更新的，每天人工手动下载图片实在是太绑人了，有时候经常会遗漏，请各位V友支招，是否有软件可以自动抓取？

抓取

截取

网站

20 replies • 2014-07-16 15:20:38 +08:00

nodejx

Jul 12, 2014

phantomjs

sandtears

Jul 12, 2014

Python-Splinter

abelyao

Jul 12, 2014 via iPhone

根据具体网站写一个，不然通用的也麻烦

aeshfawre

Jul 12, 2014

楼主要的不是截图,要的是下载图片的功能,所以phantomjs 和splinter都不适合.
反正是从固定网站上下载,楼主自己用python写一个脚本下载最简单的了

qian

Jul 12, 2014

就算是文科生，动手学写爬虫也不是很难的事... https://gist.github.com/lsfalimis/bcf9a780bce3c69e3850

O21

Jul 12, 2014

@qian 学习了。。本银正在学Python

顺便问下。。我老用中文注释是不是很二。。。

lilifenghao44

Jul 12, 2014

顺便求一个批量下google image搜索的东西

jqw1992

Jul 12, 2014

Foooi.com 这个网站的主题可以自动抓取图片的....wp的

sxrw123

Jul 12, 2014

新手了解下，有时间看看Python

laozhao0

Jul 13, 2014

图片下载很简单的。基本就是判断一下链接和后缀而已。

ROCK2046

Jul 14, 2014

@sxrw123 楼主确实是新手，只学过C语言，这个Python还是第一次听说呢，那我是不是得买本书学习学习啊

ROCK2046

Jul 14, 2014

@qian 感觉好难得样子，虽然不是文科生，但是这个Python语言确实没用过，得从头学啊

abelyao

Jul 14, 2014

@ROCK2046 楼主如果是 windows 平台下使用的，用 C# winform 写一个最方便了，如果不复杂、需要帮忙的话可以再 @ 我哈

sandtears

Jul 14, 2014

啊。。。是固定图片不是网页截图吗？
如果图片地址固定的话直接用 Linux 下的 crontab 配合 wget 下载就好了，如果有变化的话可以用 Python 配合 Xpath 获取一下地址，然后再下载

abelyao

Jul 15, 2014

@ROCK2046 看来楼主的问题解决了

ROCK2046

Jul 15, 2014

@abelyao 楼主表示十分感谢各位大侠的热心帮助但是楼主水平太低实在不懂哇本人不是学计算机的各位大侠说的语言都不懂哇

abelyao

Jul 15, 2014

@ROCK2046 把要抓取的网址发上来看看吧，晚上有空的时候帮你写一个，如果不方便公开的就留个联系方式咯

ROCK2046

Jul 15, 2014

@abelyao [email protected]

abelyao

Jul 15, 2014

@ROCK2046 已发邮件给你

takato

Jul 16, 2014

也可以用Scrapy写个小爬虫=。=...