Discover and read the best of Twitter Threads about #ApacheKafka
Most recents (9)
Acabei de achar um Memory Leak que foi causado por um problema de Design de Código. 😳
É uma coisa muito boba, mas que precisaria de uma atenção redobrada. 👇
É uma coisa muito boba, mas que precisaria de uma atenção redobrada. 👇
Como falei para um diretor hoje, não existe culpa nisso porque é uma confusão mesmo.
Todo desenvolvedor #Java sabe que classes AutoCloseable/Closeable precisam ser fechadas, ou precisam estar dentro de um try-with-resource. Certo?
CERTO!
Todo desenvolvedor #Java sabe que classes AutoCloseable/Closeable precisam ser fechadas, ou precisam estar dentro de um try-with-resource. Certo?
CERTO!
Mas o mesmo mecanismo que nos faz lembrar disso, nos faz lembrar o comportamento padrão de outras classes do Java.
Ora, se é assim, devemos ter muito cuidado ao usar nomes comuns.
E qual nome é o que estou me referindo?
Ora, se é assim, devemos ter muito cuidado ao usar nomes comuns.
E qual nome é o que estou me referindo?
#ApacheKafka has integrations with most of the languages used these days.
@alexsotob covers its integration with #Java and discusses how to provision, configure & secure an Apache Kafka cluster on a #Kubernetes cluster: bit.ly/3HN0Tqw
#InfoQ
Series Contents 👇
@alexsotob covers its integration with #Java and discusses how to provision, configure & secure an Apache Kafka cluster on a #Kubernetes cluster: bit.ly/3HN0Tqw
#InfoQ
Series Contents 👇
2/6 ➡️ Apache Kafka is a stream-processing platform for storing, consuming, and processing data streams in real-time. Learn how to produce and consume data using Kafka and Quarkus: bit.ly/3HGby6x
#ApacheKafka #Quarkus #Java
#ApacheKafka #Quarkus #Java
3/6 ➡️ The Kafka Streams project consumes real-time streams of events as they are produced, apply transformations, join streams, etc. Learn how to use Kafka Streams and Quarkus: bit.ly/3RGUbqy
#KafkaStreams #Quarkus #Java
#KafkaStreams #Quarkus #Java
🎯 You should know 7 things to become successful in
#dataengineering career 🔥
📌 Credit - Shri Ajay Kadiyala ji ✅
🧵👇
#dataengineering career 🔥
📌 Credit - Shri Ajay Kadiyala ji ✅
🧵👇
Another Black Friday Cyber Monday (BFCM) weekend done and dusted!
We achieved 99.999+% uptime while averaging 3 Terabytes per minute of egress traffic across our infrastructure.
That’s 4.3 Petabytes per day! 🤯
Check out the thread for more awesome performance stats 🧵👇
We achieved 99.999+% uptime while averaging 3 Terabytes per minute of egress traffic across our infrastructure.
That’s 4.3 Petabytes per day! 🤯
Check out the thread for more awesome performance stats 🧵👇
🚢 Helping us stay on top of the traffic over BFCM, our MySQL fleet performed over 14 Million queries per second (QPS) at peak, averaging over 8.5 Million QPS throughout BFCM.
📇At peak BFCM, we indexed 16 Gigabytes per second of data of logs.
Estava procurando algo sobre design de sistemas Event Sourcing, de preferência usando #ApacheKafka e achei esse artigo.
Ele é voltado para Smart Cities, então se você não trabalha com Smart Cities ou IoT dá pra pular umas partes.
Mas vamos as partes interessantes👇 1/8
Ele é voltado para Smart Cities, então se você não trabalha com Smart Cities ou IoT dá pra pular umas partes.
Mas vamos as partes interessantes👇 1/8
Primeiro ele começa definindo o que é Edge, Fog e Cloud. Há uma regra aí que Edge é o local de menor poder de processamento e mais próximo aos sensores e Cloud é o local de maior poder de processamento e mais distantes dos sensores. Fog é o meio do caminho. 2/8
Outra definição interessante é o tipo de dado que transita no sistema. Existem dados gerados por sensores, câmeras e algoritmos de ML.
"RAW Data" são streams de vídeo ou dados não estruturados. Temperatura? Talvez.
"Structured" é todo dado útil para analise. 3/8
"RAW Data" são streams de vídeo ou dados não estruturados. Temperatura? Talvez.
"Structured" é todo dado útil para analise. 3/8
Coisa boa que fiz esse ano...
Pegar uma matéria de Sistemas Distribuídos na UFTPR!
Eu nunca tinha estudado formalmente o assunto, minha Engenharia foi bem baixo nível.
Talvez você pense: "Ah, faculdade está atrasada"
Mas será? Segue o fio... 👇
Pegar uma matéria de Sistemas Distribuídos na UFTPR!
Eu nunca tinha estudado formalmente o assunto, minha Engenharia foi bem baixo nível.
Talvez você pense: "Ah, faculdade está atrasada"
Mas será? Segue o fio... 👇
Tivemos no total 11 aulas e vou comentar cada uma delas.
1ª Características de Sistemas Distribuídos
É bem legal você conhecer o que são essa categorias de sistemas. Quais são os desafios? O que é realmente um Middleware? Esse último aí eu tinha uma definição errada.
1ª Características de Sistemas Distribuídos
É bem legal você conhecer o que são essa categorias de sistemas. Quais são os desafios? O que é realmente um Middleware? Esse último aí eu tinha uma definição errada.
2ª Arquiteturas de Sistemas Distribuídos
Todo mundo conhece o Cliente-Servidor. Mas já ouviu falar do Peer2Peer? Conhece o Pub/Sub? #ApacheKafka tá aqui no Pub/Sub e foi bom discutir como apesar das coisas avançarem desde que o livro foi escrito, o livro não está desatualizado.
Todo mundo conhece o Cliente-Servidor. Mas já ouviu falar do Peer2Peer? Conhece o Pub/Sub? #ApacheKafka tá aqui no Pub/Sub e foi bom discutir como apesar das coisas avançarem desde que o livro foi escrito, o livro não está desatualizado.
📍 The need for data compression📍
🧵
When we talk about computation time we are also talking about money, data compression represents the most appropriate economic way to shorten the gap between content creators and content consumers.
🧵
When we talk about computation time we are also talking about money, data compression represents the most appropriate economic way to shorten the gap between content creators and content consumers.
Compressed files are obviously smaller and it is necessary less money and time to transfer them and cost less money to store them, content creators pay less money to distribute their content, and content consumers pay less money to consume content.
On the other hand, companies in all sectors need to find new ways to control the rapid growth of their data heterogeneous generated every day, data compression and decompression techniques are one of the most viable solutions to these problems. #bigdata
In this thread, I will give a little brief overview of the Apache Kafka platform. Like what it is, how it works, core concepts, its use cases, and the benefits of using it.
#100DaysOfCode #ApacheKafka #Kafka
🧵👇
#100DaysOfCode #ApacheKafka #Kafka
🧵👇
1. What is Apache Kafka?
Apache Kafka is an open-source distributed streaming platform developed originally by LinkedIn as a messaging queue, but now Kafka is much more than a messaging queue. and later donated to the Apache Software Foundation. (1/3)
👇
Apache Kafka is an open-source distributed streaming platform developed originally by LinkedIn as a messaging queue, but now Kafka is much more than a messaging queue. and later donated to the Apache Software Foundation. (1/3)
👇
(cont'd...)
The project, written in Scala and Java, aims to provide a unified, high-throughput, low-latency platform for handling real-time data feeds. (2/3)
👇
The project, written in Scala and Java, aims to provide a unified, high-throughput, low-latency platform for handling real-time data feeds. (2/3)
👇
Insight of the day: #ApacheKafka actually implements a three-phase commit protocol (not just the standard two-phase protocol) for its transactional writes . \1
We usually explain it as a two-phase commit, and the third phase is somewhat hidden. The reason is, that the coordination of the protocol is split between the producer and the broker TX-coordinator.
The producer waits until all writes are flushed, replicated, and acked before it starts the commit. This waiting completes the first phase. \3
