Storm e Kafka – paralelismo não é mágico

Isso me ocorreu quando estávamos tentando explorar o máximo do fator de paralelismo em nossa topologia de tempestade. Enquanto examinava os documentos e entendia a tempestade, eu tinha em mente que deveríamos aumentar o fator de paralelismo para obter mais rendimento fora da tempestade.

Tínhamos uma topologia de tempestade de amostra que estava usando um bico kafka para sua alimentação de entrada. Mas depois de tentar aumentar o fator de paralelismo para mais de 1, não conseguimos muito ganho na taxa de transferência da execução da tempestade.

Isso me trouxe aqui:
https://groups.google.com/forum/#!topic/storm-user/mBA1e6Y1MYY

que cita Nathan Marz dizendo

“O paralelismo máximo que você pode ter em um KafkaSpout é o número de partições.”

E todas as instâncias de spout que são mais do que o número de partições kafka para o tópico que estamos assinando não lerão nenhum dado.

Portanto, se você está tentando obter o máximo do fator de paralelismo da tempestade, certifique-se de ter esse número de partições em seu tópico kafka. 🙂