大数据抓取专家网站

大数据（Big data），又称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 大数据的4V特点：Volume、Velocity、Variety、Veracity。

“大数据”（Big data）这个名词并不新鲜，早在1980年代，美国就有人提出了“大数据”的概念“大数据”之“大”，更多的意义在于：人类可以“分析和使用”的数据在大量增加。

最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。

随着云时代的来临，大数据也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。 为适应新技术的发展趋势，促进大数据研究的学术交流，2012年10月，中国通信学会大数据专家委员会在北京成立。成立这一学术组织旨在跟踪大数据的最新进展，探讨大数据发展与应用的重点问题，搭建学术性、行业性高端平台，促进国内外通信企业、监管部门、研究机构、学术机构的交流与合作，推动中国大数据的科研与发展。

“大数据”包括网络日志，RFID，传感器网络，社会网络，社会数据（由于数据革命的社会），互联网文本和文件；互联网搜索索引；呼叫详细记录，天文学，大气科学，基因组学，生物地球化学，生物，和其他复杂和/或跨学科的科研，军事侦察，医疗记录;摄影档案馆视频档案；和大规模的电子商务。

对巨量资料(big data)、海量资料，所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取。

大数据分析可以帮助企业更好地适应变化，并做出更明智的决策。

一、Hadoop Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对Hadoop失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

二、HPCC HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

三、Storm Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。 Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测 试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。

四、Apache Drill 为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

五、RapidMiner RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

六、 Pentaho BI Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

大数据与北京城

2013年底，在这占地仅仅1.6万平方公里的地方，北京常住人口2114.8万人，其中，常住外来人口为802.7万人，占比38%。在人口分布上，朝阳区和海淀区常住人口最多，均在300万人以上;门头沟区人最少，只有30.3万人。 与日俱增的人口压力下，人们的衣，食，住，行，让这座城市慢慢的变得厚重起来。 微软亚洲研究院主管研究员郑宇博士在做客2014WGDC地理信息开发者大会时提到，在城市中，从社交媒体到道路结构，到气象条件，产生了各种各样的大数据，如果使用得当的话可以利用这些数据发现这个城市的问题，并且自动解决这些问题。基于这样的愿景微软提出了城市计算的框槛，包括城市感知、城市服务提供和数据挖掘，形成一个环路不断的自动的改进这各城市。“简单来说就是用大数据解决大城市大挑战。最后做到人、城市运转效率和自然环境三赢的系统。”

关于人们的“衣食”

人们的生活以及消费方式已经发生了惊天的转变。不光是北京，自淘宝创立以来，大众的消费方式越发多元化，O2O、B2B等方式越来越丰富人们的日常生活。 大数据以及地图的基础应用，已经对人们的生活产生了很大的影响。现今类似的网站应用有很多都与数据以及地理信息相关，作为其代表之一，大众点评正是数据与地理信息的相互结合的优质结晶。

关于人们的“住”

对于住来说，有几个决定因素：区位、人口、环境。人口数据对于城市的商业数据来说是至关重要的。 超精细格网化人口数据根据国家统计局2010年人口普查数据，结合遥感、地理信息等数十种背景信息数据，通过定量空间模型制作而成的超精细(160米左右)格网化人口分布数据，涵盖全国328个城市(包括其所辖的所有县、县级市、区和街道)格网总数约3亿个，数据项包括总人口数、不同性别人口数、儿童人口数、成人人口数、老年人人口数、网格的经纬度等数据项。人口格网化是目前人口空间分布研究的热点，超精细格网化人口数据根据国家统计局2010年人口普查数据，结合遥感、地理信息等数十种背景信息数据产成。

关于人们的“行”

对于人们出行来说，人们的出行组成了大数据，同时大数据可以实时反应交通状况，因此大数据与交通的辩证关系一直为社会所重视;近年来交通所带来的能耗问题被逐渐重视起来，这不光是对个人资金的节省，更是对自己所在这个环境的一种责任。 郑宇认为通过导航软件所用的传感器来感知每个路段的流量和速度，利用环境学经典公式即可算出该汽车的排放量，具体做法是：利用已有GPS数据算出有限道路上的速度，按照单位时间通过车的流量的速度，最终得出某一行车路段的污染指数。可以算出这个城市里每一个区域，每一个时间、每一种污染物的成分和比例。随着时间的变化，各个地方污染程度。