什么是Web数据抓取(采集)?_网站数据抓取

因特网(Internet)中有海量的有用数据,但大多数信息都是以无结构的文本形式存在,使得信息聚合和重用非常困难。 Web数据抓取(采集)是一种将非结构化内容转换为结构化数据(例如,Excel文档、MySQL数据库)的技术。一个Web数据抓取(采集)项目大致可以分为如下三步:

1)爬取目标网站并下载相关页面。

2)从下载的页面中提取感兴趣的数据(字段,例如 名称、地址)。

3)将提取的数据(字段)以结构化的形式存储(例如,CSV、JS网站数据抓取ON、XML、ACCESS、SQLITE、MSSQL、MySQL)。

网站数据抓取