火车采集

火车头采集器怎么用？

软件程序的获取：大家可以从百度中搜索“火车头采集器”，并进入对应官方来获取程序的最新版本下载地址。当然也可以从小编所提供的网盘地址中获取最新版本程序：请点击输入图片描述请点击输入图片描述2安装并运行“火车头采集器”程序，在弹出的登陆界面中直接点击“登陆”按钮就可以以免费版身份登陆。请点击输入图片描述3在程序主界面中，点击“新建”下拉箭头，从中选择“任务”项。请点击输入图片描述4在弹出的窗口中，输入“任务名”，同时点击“起始网址”栏目右侧的“添加”按钮。请点击输入图片描述5接下来就极为重要的一步，就是对要进行采集的网站进行分板，对所采取的网站中各片文章的URL进行综合分析并找出规律，最后按如图进行填写。请点击输入图片描述6然后切换至“第二步：采集内容规则”选项卡中，我们需要对网页内容进行分板。在此以“搜狗浏览器”为例，右击要进行分析的网页，从弹出的菜单中选择“审查元素”项。请点击输入图片描述7在“开发式模式”界面中，点击“选择页面中的一个元素去透视”按钮，接着点击“标题”内容，此时就可以在“开发者”窗口中显示标题所对应的标签，此例为“h2"。请点击输入图片描述8接下来在”采集内容规则“界面中，点击“添加”按钮来添加“标题”项，或者直接双击“标题”项进行修改。在弹出的界面中，勾选”前后截取“，将设置前后辍分别为"“、”".请点击输入图片描述9利用同样的方法添加其它采集内容的规则。切换至“第三步：发布内容设置”选项卡，勾选“启用 方式二”，并进行如图设置。请点击输入图片描述10最后从任务列表中，勾选要采集的内容，点击“开始”按钮就可以按规则采集网站中的网页内容啦。请点击输入图片描述如果还有啥问题，请留言或者私信，如果回答的还算可以，请列为最佳答案

如何使用火车头采集器采集网页图片详细图文教程

　　火车头采集器采集信息分两个步骤:
　　1，采网址。这一步也是就告诉软件，有多少个网页需要去采，并给出具体的网页地址。
　　2，采内容。有了网址之后，就可以去这个网址上采集信息了，但网页上信息众多，软件不知道你想采哪些。在采内容部分，就要做规则了。告诉软件我想采什么。
　　1，采网址。
　　网页上的产品信息就是所想采的，即为目标。
　　在采集链接页面里，输入采集地址的列表页，这里要注意无用链接的过滤。

　　然后点击测试按钮测试所填信息的正确性：
　　测试正确以后，我们对地址进行扩展，现在我们只不过是采了一张列表页的文章地址，还有其它的列表要需要采集，其它的列表页就在它的分页上，我们观察这些分布的链接形式，找出规律，然后批量填入网址规则。

　　2，内容的采集
　　经过上面的处理，目标产品页的链接都已经能够采到，下面我们进入内容的采集。
　　明确好要采集的内容以后，我们开始编写采集规则,火车头采集内容是采集网页的源代码，因此我们要打开产品页的源代码，找到我们要采集信息所在的位置。比如，Description字段的采集：
　　找到Description的位置，找到之后，如何填写采集规则呢，很简单，只要将采集目标的开始字符串与结束字符串填入采集的对应位置。这里我们选取Description:作为开始字符串，为结束字符串。值得注意的是，开始字符串必须在本页面是唯一的，并且在其它产品页面也存在这个字符串。本页面唯一能使软件找到要采集的位置,其它页面通用,保证软件能够采到其它页面的数据。
　　填完以后并不表示就能采集正确了，还需测试一下，排除一些无用数据，排除可在HTML标签排除和内容排除中进行。测试成功后，这样一个标签就制作好了。
　　这里我们使用通配符来实现这一要求。我们把不通用的地方用（*）通配符来表示任意。而要采集的地址我们用参数（变量）来表示。最后我们将这段内容变为：(*)Compare Prices(*)Product Details，填入模块，并测试是否成功。
　　如果测试没有成功，那说明你填入的内容还不符合唯一且通用的标准，还需要调试。测试成功以后，可以保存，进入标签的制作了。
　　这里的标签制作与上面的是一样的，找到要采集信息的所在地，填入开始结束字符串，并做好过滤，唯一的不同的在于所属页面选项里要选择刚才制作好的模块，这里就不赘述，直接显示结果了。
　　这样标签就制作完成了。点击更新以后，去掉发布选项，就可以进行任务的采集了。

火车采集器：怎么能够进一步提高采集数据的速度

影响采集速度的因素有很多，常见的有自己的网络速度，运行电脑的硬件配置，以及采集的网站的响应速度和规则设置的难易程度等等。

如果采集规则里面有很多数据处理如替换等等，都会影响到采集速度。为了是采集速度提高，在能采集到想要的数据的前提下，少加入数据处理等操作。

如果采集的数据量比较大可以通过设置分页，分多个规则来采集数据比如第一个规则采集前10页第二个规则设置采集后10页等等，或者在电脑上开启多个采集器。
对应商业版用户来说无论是那个版本在一台电脑上面都是可以开启多个采集器的注意这里的采集器必须是不同的文件夹。总之一点就是把采集任务分多个规则和多个采集器运行。

对应已经不需要的数据，请清空，数据库容量大了也会影响速度。本地保存数据库尽量选择mysql这类 容量大的数据库做为本地数据库。

JAVA采集，IP被屏蔽问题

1. 未知，免费的代理经常会变，因为多数代理本身并不是面向公众的，只是被别从用工具分析出来它是一个未设防的代理服务器，大家都是偷偷地用，管理员没有发现而已，因此这些代理会经常变更的端口。你得找个专用的代理工具从它们的服务器上下载代理列表。也有工具挂机扫描公网上的服务器是否开启了代理的端口，收集后记录下来。
2. 那就不要密集地抓取同一个网站嘛。
比如你先列举一个千网站，轮流从它们上面每次只抓一个网页下来，中间在抓取其它网站时就相当于间隔了一段时间嘛，这样被屏蔽的概率就低了。

被屏蔽是服务器的决定，你没办法在连续抓取时还能避免的。就好像有些服务器发现你用 FlashGet，迅雷之类的多线程下载软件同时开多个线程下载时会被服务器封锁 IP 的道理一样。如果你能轻易避免都明天这个方法又会轻易失效，因为这完全是由服务器决定的，它总有办法限制你。