Apache Kafka como plataforma de Replicação de Dados em Tempo Real
Hoje quero falar sobre uma alternativa para disponibilizar dados de sistemas legados para aplicações na nuvem sem migrar seus sistemas antigos (ou talvez não tão antigos assim). A idéia é que as empresas possam aproveitar as vantagens de sistemas digitais nativos na nuvem, onde os custos são menores e a escalabilidade é maior, sem ter que passar por um processo de migração muitas vezes indesejado ou inviável.
Estou falando da utilização de ferramentas de captura de transações em tempo real, os famosos Change Data Capture ou simplesmente CDCs, em conjunto com ferramentas de streaming de dados, como Apache Kafka, para replicar os dados dos sistemas legados para a nuvem. Dessa forma, novas aplicações podem utilizar esses dados sem impactar o funcionamento dos sistemas on-premise.
O IACC é uma instituição de ensino chilena que possui mais de 16.000 alunos em modalidade online. Ela possui uma plataforma baseada em eventos com Apache Kafka para integração de sistemas e necessitava de um ambiente escalável e de alta disponibilidade para suportar seu crescimento. Com isso, escolheu a TruStep para migrar seu ambiente Kafka on premise para o serviço Amazon Managed Streaming for Apache Kafka (MSK). Saiba como a TruStep desenhou e migrou para a nuvem a plataforma Apache Kafka do IACC [...].