O processamento de Big Data é uma tarefa crítica em muitos setores, permitindo a análise e o gerenciamento de grandes volumes de dados. Embora o Apache Hadoop seja frequentemente associado a sistemas baseados em Linux, ele também pode ser configurado para rodar em ambientes Windows. Este artigo irá guiá-lo através do processo de instalação e execução do Hadoop no Windows, permitindo que você aproveite as capacidades de processamento de Big Data em sua máquina Windows.

Instalação do Hadoop no Windows

1. Pré-requisitos:

   • Java Development Kit (JDK): Certifique-se de que o JDK está instalado e configurado no seu PATH. O Hadoop requer o JDK 8 ou superior.
   • SSH: O Hadoop utiliza SSH para gerenciar seus nós. No Windows, você pode usar o OpenSSH, que está disponível nas versões mais recentes do Windows 10 e Windows Server.

2. Baixar e Configurar o Hadoop:

   • Baixe a versão mais recente do Hadoop em hadoop.apache.org.
   • Extraia o arquivo baixado para um diretório de sua escolha, por exemplo, C:\hadoop.

3. Configuração do Ambiente:

   • Adicione as seguintes variáveis de ambiente:
     • HADOOP_HOME: Caminho para o diretório do Hadoop, por exemplo, C:\hadoop.
     • HADOOP_CONF_DIR: Geralmente, é o mesmo que %HADOOP_HOME%\etc\hadoop.
     • Adicione %HADOOP_HOME%\bin ao PATH.

4. Configuração dos Arquivos do Hadoop:

   • Edite o arquivo core-site.xml em %HADOOP_HOME%\etc\hadoop para incluir:

     <configuration>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>C:\hadoop\tmp</value>
      </property>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
      </property>
     </configuration>

   • Edite o arquivo hdfs-site.xml para configurar o NameNode e o DataNode:

     <configuration>
      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>file:///C:/hadoop/data/namenode</value>
      </property>
      <property>
          <name>dfs.datanode.data.dir</name>
          <value>file:///C:/hadoop/data/datanode</value>
      </property>
     </configuration>

5. Formatar o NameNode:

   • Abra o Prompt de Comando como Administrador e execute:

     hdfs namenode -format

6. Iniciar o Hadoop:

   • No mesmo Prompt de Comando, inicie o HDFS e o YARN:

     start-dfs.cmd
     start-yarn.cmd

7. Verificar a Instalação:

   • Acesse http://localhost:9870 no seu navegador para verificar o estado do HDFS.
   • Acesse http://localhost:8088 para verificar o estado do YARN.

Exemplo Prático: Executando um Job no Hadoop

Após configurar o Hadoop, você pode executar um job de exemplo, como o WordCount, que é um clássico exemplo de MapReduce.

1. Compilar o Código Java:

   • Compile o código Java do WordCount usando o JDK:

     javac -classpath %HADOOP_HOME%\share\hadoop\common\hadoop-common-*.jar;%HADOOP_HOME%\share\hadoop\mapreduce\hadoop-mapreduce-client-core-*.jar -d wordcount_classes WordCount.java

2. Criar um JAR:

   • Crie um arquivo JAR do WordCount:

     jar -cvf wordcount.jar -C wordcount_classes/ .

3. Executar o Job no Hadoop:

   • Coloque o arquivo de entrada no HDFS:

     hdfs dfs -put input.txt /input

   • Execute o job WordCount:

     hadoop jar wordcount.jar WordCount /input /output

   • Verifique o resultado:

     hdfs dfs -cat /output/part-r-00000