网络爬虫工具(NWebCrawler) 1.0.1 绿色版

网络爬虫工具(NWebCrawler) 1.0.1 绿色版,简体中文免费软件,开发管理,网站源码

软件类别：开发管理 » 网站源码
软件属性：简体中文免费软件
系统平台：Win2003/Win2000兼容软件
官方网站：暂无

免费试用版

立即下载

NwebCrawler是用C写的一款多线程网络爬虫程序，它的实现原理是先输入一个或多个种子URL到队列中，然后从队列中提取URL（先进先出原则），分析此网页寻找相应标签并获得其href属性值，爬取有用的链接网页并存入网页库中，其中用爬取历史来记录爬过的网页，这样避免了重复爬取。提取URL存入队列中，进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。功能介绍：可配置：线程数，等待时间，连接超时，允许MIME类型和优先级，下载文件夹。统计信息：URL数量，总下载文件，总下载字节数，CPU利用率和可用内存。Preferential crawler：用户可以设置优先级的MIME类型。

下载地址：

http://down10.zol.com.cn/20190311/87159.zip/

供应链

服务链

创新链

资金链

网络爬虫工具(NWebCrawler) 1.0.1 绿色版

下载地址：

推荐客服

在线客服

您可能需要的服务换一批

园区之窗

招商服务

产业链协作

企业服务

供应链

服务链

创新链

资金链

网络爬虫工具(NWebCrawler) 1.0.1 绿色版

下载地址：

推荐客服

在线客服

您可能需要的服务换一批

园区之窗

招商服务

产业链协作

企业服务

友情链接