Remember to maintain security and privacy. Do not share sensitive information. Procedimento.com.br may make mistakes. Verify important information. Termo de Responsabilidade
O processamento de Big Data é uma tarefa crítica em muitos setores, permitindo a análise e o gerenciamento de grandes volumes de dados. Embora o Apache Hadoop seja frequentemente associado a sistemas baseados em Linux, ele também pode ser configurado para rodar em ambientes Windows. Este artigo irá guiá-lo através do processo de instalação e execução do Hadoop no Windows, permitindo que você aproveite as capacidades de processamento de Big Data em sua máquina Windows.
Instalação do Hadoop no Windows
1. Pré-requisitos:
2. Baixar e Configurar o Hadoop:
C:\hadoop
.3. Configuração do Ambiente:
HADOOP_HOME
: Caminho para o diretório do Hadoop, por exemplo, C:\hadoop
.HADOOP_CONF_DIR
: Geralmente, é o mesmo que %HADOOP_HOME%\etc\hadoop
.%HADOOP_HOME%\bin
ao PATH.4. Configuração dos Arquivos do Hadoop:
core-site.xml
em %HADOOP_HOME%\etc\hadoop
para incluir: <configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>C:\hadoop\tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml
para configurar o NameNode e o DataNode: <configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///C:/hadoop/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///C:/hadoop/data/datanode</value>
</property>
</configuration>
5. Formatar o NameNode:
hdfs namenode -format
6. Iniciar o Hadoop:
start-dfs.cmd
start-yarn.cmd
7. Verificar a Instalação:
http://localhost:9870
no seu navegador para verificar o estado do HDFS.http://localhost:8088
para verificar o estado do YARN.Exemplo Prático: Executando um Job no Hadoop
Após configurar o Hadoop, você pode executar um job de exemplo, como o WordCount, que é um clássico exemplo de MapReduce.
1. Compilar o Código Java:
javac -classpath %HADOOP_HOME%\share\hadoop\common\hadoop-common-*.jar;%HADOOP_HOME%\share\hadoop\mapreduce\hadoop-mapreduce-client-core-*.jar -d wordcount_classes WordCount.java
2. Criar um JAR:
jar -cvf wordcount.jar -C wordcount_classes/ .
3. Executar o Job no Hadoop:
hdfs dfs -put input.txt /input
hadoop jar wordcount.jar WordCount /input /output
hdfs dfs -cat /output/part-r-00000