Schema Registry - спасение от хаоса данных Kafka

12 июля наши партнёры из Т-Банк собрали всех на конференцию «Сезон кода 2025» в экстрим-парке «Урам». Эксперты рассказали об удачных кейсах инженерных решений Т-Банка в трех секциях: «Клиентоориентированный код», «От мысли до инструмента», «Backend-методичка». Выпускник бакалавриата ИТИС Элнур Сардаров стал участником этой конференции.

Элнур сейчас работает на позиции Middle Java-разработчик. В секции «Backend-методичка» он рассказал о своем опыте внедрения Confluent Schema Registry в микросервисной архитектуре с использованием Apache Kafka. Это важный инструмент для надежного обмена сообщениями в распределённой системе, где нужно поддерживать согласованность и развитие схем сообщений для совместимости между сервисами.

Уходя в нюансы, Элнур рассказал, что существует некоторая особенность работы с Apache Kafka. Там нет таблиц и данные, которые там лежат не имеют четкой структуры. Kafka это не база данных, а брокер сообщений. Он служит не для долговременного хранения, а как прослойка между приложением - отправителем и приложением - потребителем.

«И мы не можем с уверенностью сказать, что сообщение, которое лежит в Kafka содержит информацию, к примеру, о валюте платежа. Почему это плохо? Допустим два наших приложения общаются друг с другом. Одно приложение записывает в Кафку сообщение (отправитель), другое из него читает (потребитель) и как-то обрабатывает его. Отправитель обновился и перестал посылать обязательное поле «валюта платежа», а потребитель ожидал, что оно будет и поэтому при попытке считать такое сообщение он получил ошибку. А, если же между отправителем и потребителем был бы контракт, то отправитель не смог бы послать «кривое» сообщение.» - объяснил Элнур Сардаров.

В данном случае контракта для обмена сообщениями по схеме как раз и не хватало. Чтобы внедрить его Элнур использовал Schema Registry.

На площадке было еще множество студентов и выпускников ИТИС, которые были гостями от других компаний, ведущими секций или организаторами разного рода активностей в числе сотрудников Т-Банка. На протяжении мероприятия можно было не только послушать доклады, но и порешать разного рода профессиональные задачки за призы, потанцевать под dj-сет, прокатиться на скейтборде и многое другое. Гостями конференции этого года стали около 1000 разработчиков, аналитиков и hr из различных ИТ-компаний. Некоторые секции посетил и заместитель министра цифрового развития государственного управления, информационных технологий и связи Республики Татарстан Булат Габдрахманов.

Больше фото в альбоме