大数据Hadoop究竟能做什么
2020-02-12 20:24 作者：艾锑无限 浏览量：
迎战疫情,艾锑无限用爱与您同行
为中国中小企业提供免费IT外包服务
为中国中小企业提供免费IT外包服务
这次的肺炎疫情对中国的中小企业将会是沉重的打击，据钉钉和微信两个办公平台数据统计现有2亿左右的人在家远程办公，那么对于中小企业的员工来说不懂IT技术将会让他们面临的最大挑战和困难。
电脑不亮了怎么办？系统蓝屏如何处理？办公室的电脑在家如何连接？网络应该如何设置？VPN如何搭建？数据如何对接？服务器如何登录？数据安全如何保证？数据如何存储？视频会议如何搭建？业务系统如何开启等等一系列的问题，都会困扰着并非技术出身的您。
好消息是当您看到这篇文章的时候，就不用再为上述的问题而苦恼，您只需拨打艾锑无限的全国免费热线电话:400 650 7820，就会有我们的远程工程师为您解决遇到的问题，他们可以远程帮您处理遇到的一些IT技术难题。
如遇到免费热线占线，您还可以拨打我们的24小时值班经理电话:15601064618或技术经理的电话:13041036957，我们会在第一时间接听您的来电，为您提供适合的解决方案，让您无论在家还是在企业都能无忧办公。
那艾锑无限具体能为您的企业提供哪些服务呢？
第一版块是保障性IT外包服务:如电脑设备运维，办公设备运维，网络设备运维，服务器运维等综合性企业IT设备运维服务。
第二版块是功能性互联网外包服务:如网站开发外包，小程序开发外包，APP开发外包，电商平台开发外包，业务系统的开发外包和后期的运维外包服务。
第三版块是增值性云服务外包:如企业邮箱上云，企业网站上云，企业存储上云，企业APP小程序上云，企业业务系统上云，阿里云产品等后续的云运维外包服务。
您要了解更多服务也可以登录艾锑无限的官网:www.bjitwx.com查看详细说明，在疫情期间，您企业遇到的任何困境只要找到艾锑无限，能免费为您提供服务的我们绝不收一分钱，我们全体艾锑人承诺此活动直到中国疫情结束,我们将这次活动称为——春雷行动。
以下还有我们为您提供的一些技术资讯，以便可以帮助您更好的了解相关的IT知识，帮您渡过疫情中办公遇到的困难和挑战，艾锑无限愿和中国中小企业一起共进退，因为我们相信万物同体，能量合一，只要我们一起齐心协力，一定会成功。再一次祝福您和您的企业，战胜疫情，您和您的企业一定行。
北京艾锑无限告诉您：大数据Hadoop究竟能做什么
一、Hadoop是什么
1.1、通俗的解释
小明接到一个任务：计算一个100M的文本文件中的单词的个数，这个文本文件有若干行，每行有若干个单词，每行的单词与单词之间都是以空格键分开的。对于处理这种100M量级数据的计算任务，小明感觉很轻松。他首先把这个100M的文件拷贝到自己的电脑上，然后写了个计算程序在他的计算机上执行后顺利输出了结果。
后来，小明接到了另外一个任务，计算一个1T（1024G）的文本文件中的单词的个数。再后来，小明又接到一个任务，计算一个1P(1024T)的文本文件中的单词的个数……
面对这样大规模的数据，小明的那一台计算机已经存储不下了，也计算不了这样大的数据文件中到底有多少个单词了。机智的小明上网百度了一下，他在百度的输入框中写下了：大数据存储和计算怎么办？按下回车键之后，出现了有关Hadoop的网页。
看了很多网页之后，小明总结一句话：Hadoop就是存储海量数据和分析海量数据的工具。
1.2、专业的解释
Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。
HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。
MapReduce是一个分布式计算框架：MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算/Reduce计算）再根据任务调度器（JobTracker）对任务进行分布式计算。
1.3、记住下面的话：
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
把HDFS理解为一个分布式的，有冗余备份的，可以动态扩展的用来存储大规模数据的大硬盘。
把MapReduce理解成为一个计算引擎，按照MapReduce的规则编写Map计算/Reduce计算的程序，可以完成计算任务。
二、Hadoop能干什么
大数据存储：分布式存储
日志处理：擅长日志分析
ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库
机器学习: 比如Apache Mahout项目
搜索引擎:Hadoop + lucene实现
数据挖掘：目前比较流行的广告推荐，个性化广告推荐
Hadoop是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。
实际应用：
（1）Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析
3.1、Hadoop集群的搭建
无论是在windows上装几台虚拟机玩Hadoop，还是真实的服务器来玩，说简单点就是把Hadoop的安装包放在每一台服务器上，改改配置，启动就完成了Hadoop集群的搭建。
3.2、上传文件到Hadoop集群，实现文件存储
Hadoop集群搭建好以后，可以通过web页面查看集群的情况，还可以通过Hadoop命令来上传文件到hdfs集群，通过Hadoop命令在hdfs集群上建立目录，通过Hadoop命令删除集群上的文件等等。
3.3、编写map/reduce程序，完成计算任务
通过集成开发工具（例如eclipse）导入Hadoop相关的jar包，编写map/reduce程序，将程序打成jar包扔在集群上执行，运行后出计算结果。
相关文章
IT电脑维护外包
关闭