数据采集-一分钟带你了解分布式集群采集
数据采集一般可分为两种:集中式数据采集和分布式数据采集。
我们通常所说的采集某个或某些平台上的数据一般属于集中式采集,指的是一个爬虫采集一个或多个网的情况。
那么什么是分布式集群采集呢?
在此之前我们先来了解什么是分布式。
举个例子:
你开发一个网想要别人访问,这就需要把网部署到服务器上,如下图所示:
当网用户增多的时候,原来部署的服务器就不满足需求了。这时就需要把网部署到各个服务器上,如下图所示:
这种情况我们称之为:集群,即把整个网的所有功能,都部署到不同的服务器上去。
由于有些功能并发量并不高(如后台管理等功能),所以我们就把这个网的不同功能筛分出来,让每个模块只负责具体的某一个或多个功能,比如登录模块、内容管理模块等。
然后将并发量大的模块部署到各个服务器上,从而更好地降低耦合度,并发量小的模块也不会形成资源浪费。
不过这需要让模块与模块之间产生联系,调度好各功能,如下图所示:
这就是分布式啦~
分布式集群采集数据采集,简单来说就是以我们刚才说的分布式形式,分别部署到多个服务器上,一起或分别去采集一个或多个网的数据。
ForeSpider数据采集分析引擎,针对采集领域独创分布式算法,由调度服务器统一进行操作管理,采集服务器可以横向无限扩展,采集算法与采集策略自动同步,采集过程中可并行调度采集,可以为企业提供任何场景的分布式部署方案。
针对采集领域独创分布式算法,由调度服务器统一进行操作管理,采集服务器可以横向无限扩展,采集算法和采集策略自动同步,支持多台采集服务器同时启停和对某台采集服务器单独启停。
不同的采集场景,会有不同的分布式采集策略,不过不论使用分布式采集的部门如何繁多、采集的网如何量大,常见的分布式场景无非以下三种:
1.分布采集统一存储
多个服务器分开采集数据,将数据统一存储到总服务器中。
2.分布采集分布存储
多个服务器分开采集数据,分开存储到各自服务器中。
3.分布采集分布存储交叉调用
多个服务器分开采集数据,分开存储到各自服务器中,各服务器可调用指定服务器中的数据。
那么这些分布式场景一般运用在哪些采集案例中呢?
我们经常遇到的分布式集群采集有以下几种情况:
1.企业多部门协调采集
当企业多部门同时使用采集系统协调采集一个或多个网数据时,需要根据部门结构分布式部署,实现协调采集。
2.采集海量数据
需要采集的网上数据量非常大,并想快速获取时,需要分布式部署,加快采集速度。
3.采集海量网
需要快速采集千万个网上的数据时,可以分布式集群采集,提高采集效率。
对于这些常见的分布式集群采集场景,前嗅不断的进行研发更新,现在ForeSpider数据采集分析系统可在多台机器上部署同一个任务,降低单机内存压力,提升采集效率。
软件内置分布式引擎,可以快速进行分布式集群,具备支持大规模IT系统的能力,并行情况下可支撑百亿以上规模数据链接,堪与百度等搜索引擎系统媲美。
ForeSpider数据采集引擎主要通过下列技术,不断优化采集效率,使得爬虫软件的爬取效率达到最佳。
1.分布式部署+多线程+采集策略最大限度提高采集效率。
2.针对重点关注的目标单独分配资源和策略。
3.代理池预检测机制,确保使用速度最快的代理。
4.异常及时预警,减少错误发现周期。
5.有效防重算法,避免重复访问网页。
所以ForeSpider服务器集群采集能力可达 8 亿-16 亿数据采集,即每天能发送8亿—16亿采集请求,获取8-16亿采集链接。
在面对各种复杂或海量的大数据集群采集项目时,ForeSpider可以毫无压力的灵活部署,用最低的成本为客户提供强有力的数据支持。
l 前嗅简介
前嗅大数据,国内领先的研发型大数据专家,多年来致力于为大数据技术的研究与开发,自主研发了一整套从数据采集、分析、处理、管理到应用、营销的大数据产品。前嗅致力于打造国内第一家深度大数据平台!
———END———
限 时 特 惠: 本每日持续更新海量各大内部创业教程,一年会员只需98元,全资源免费下载
优惠码(不再需要): xnbaoku
大鱼项目网 » 数据采集-一分钟带你了解分布式集群采集