Fast Data Modulo 1: Instalação do Apache Kafka

Kafka é um sistema distribuidor, particionador e replicador de comits de serviços de logs. Ele fornece a funcionalidade de um sistema de mensagens, mas com um design único. O Kafka inscreve e publica registros em um fluxo de mensagens, armazenando esses fluxos de uma maneira durável e tolerante a falhas.

Pré-requisitos:

VM com o CENTOS 7 instalado:

Java 8 instalado na VM.

1    1. Baixar o Apache Kafka na VM, para isso digite a instrução: 

          #wget  http://ftp.unicamp.br/pub/apache/kafka/2.2.0/kafka_2.11-2.2.0.tg

      2. Descompactar o arquivo com o seguinte comando:

    #tar -xzf kafka_2.11-2.2.0.tgz

    #mv kafka_2.11-2.2.0.tgz kafka

    #cd kafka

3. Para configurar o Kafka entre do diretório config da pasta Kafka.

               Copie o arquivo server.properties para um novo server-1.properties

               #cp server.properties server-1.properties

               #vi server-1.properties

               Defina as seguintes configurações:

·        Na propriedade broker.id, coloque o numero identifica o server do Kafka, como nós estamos fazendo em um único nó, vamos colocar o valor 1

·        Na propriedade listeners, vamos inserir o IPV4 da vm.

·        Na log.dirs, configure o diretório de log para o server do Kafka

·        Para a propriedade zookeeper.connect, mencione os ips do zookeeper, no nosso caso será o mesmo da máquina.

broker.id=1

listeners=PLAINTEXT://192.168.56.102:9092

log.dirs=/tmp/kafka-logs-1

zookeeper.connect=192.168.56.102:2181

      4. Inciar o serviço entre na pasta do kafka:

·        Zookeeper, cria em id na pasta tmp e inicie o serviço:

#mkdir /tmp/zookeeper/

#echo "1" > /tmp/zookeeper/myid

#nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

·        Kafka

#nohup bin/kafka-server-start.sh config/server-1.properties &

      5. Criar um tópico:

#bin/kafka-topics.sh --create --zookeeper 192.168.56.102:2181 --replication-factor 1  --partitions 1 --topic nomedotopico

 Listar todos os tópicos

#bin/kafka-topics.sh --list --zookeeper 192.168.56.102:2181

1    6. Testando um Producer e um Consumer:

      Crie duas sessões de acesso ao putty, uma será chamado o consumer:

      #bin/kafka-console-consumer.sh --bootstrap-server 192.168.56.102:9092 --topic elastic --from-beginning

    

      Na outra será criado o produtor de mensagens

       

      #bin/kafka-console-producer.sh --broker-list 192.168.56.102:9092 --topic elastic

      Ao digitar a mensagem no sessão do producer a informação deverá aparecer no consumer.

Essa instalação do Kafka, porem de muito simples, vai ser utilizado como base para se trabalhar com diversas ferramentas de fast data.

Em caso de dúvidas ou sugestões, escreva nos comentários ou nos mande um email: slothbigdata@gmail.com.