Андрей - Platform Owner в Райффайзен банк.

Он занимается разработкой платформы обработки данных в реальном времени.

Это очень технически сложное и интересное направление в IT. Подобные платформы позволяют делать приложения быстрыми для пользователей и безопасным с точки зрения компаний.

Мы обсудили как работает стриминг данных, какие у него преимущества, затронули тему обучения и поиска работы в подобных сервисах.

Андрей рассказал о выступлении на конференциях в Лондоне и Москве.

Получилось технически нагружено и интересно!

Андрей в LinkedIn

linkedin.com/in/andrey-serebryanskiy

Упомянутые в видео ресурсы :Книга о высоконагруженных приложениях

Designing Data-Intensive Applications - Martin Kleppmann:

1) dataintensive.net

2) github.com/ms2ag16/Books/blob/master/Designing Data-Intensive Applications - Martin Kleppmann.pdf

Курсы по JAVA от treehouse

teamtreehouse.com/library/topic:java

Тут Андрей изучал устройство оперативных систем:

ru.hexlet.io/courses

Блог Confluent

confluent.io/blog

Записи докладов с Kafka саммит в Лондоне:

confluent.io/events/kafka-summit-london-2023/

Конференция JPoint в Москве

jpoint.ru/persons/0c830299793245ee8f09b3ed3c2453c3/

Статья Confluent про использование ChatGPT с Event-streaming

confluent.io/blog/chatgpt-and-streaming-data-for-real-time-generative-ai

Таймкоды  

00:00:00   Приветствие

00:00:06   Заставка

00:00:25   Об Андрее в Твит (почти)

00:00:33   Представление Гостя

00:01:41   Поясни за шмот

00:03:07   Как Андрей вошел в сферу IT

00:03:35   Первая работа и приложение

00:04:09   Вторая компания

00:04:36   Третья компания, Райффайзен Банк

00:05:02   Чем занимается отдел стриминга данных

00:07:02   Как учился Андрей

00:09:10   Как без опыта Андрей получал приглашение на работу

00:10:27   Чем Андрей занимался до IT

00:11:03   Сложно ли гуманитариям в IT

00:13:34   Почему обработка данных в моменте это сложно

00:15:38   Захват изменений: Change data capture

00:16:37   Message Broker в стриминге данных

00:18:10   Write ahead log

00:22:07   Что происходит при большой нагрузке на базу данных

00:23:35   Важно делать бэкапы!

00:24:22   Популярность стриминга данных в России и мире

00:25:41   Kafka Summit В Лондоне

00:27:20   Доклад Андрея https://videos.confluent.io/watch/KtJ3tf2H1TE9VPH3Pa8V8x?

00:27:38   jpoint.ru

00:28:55   Подготовка доклада и выступление

00:33:59   Event Streaming для не крупных компаний

00:35:45   Как зародился Стриминг Данных

00:38:38   batch processing VS event streaming

00:49:12   Выявление паттернов

00:51:24   Глубина обработки данных

00:52:36   Масштабируемость стриминг платформ

00:54:16   Есть ли сейчас проблемы с железом

00:55:37   Кто самый крутой в индустрии?

00:56:03   ChatGPT + event streaming

00:57:48   Типичные сложности новичков

01:00:03   Недостаток кадров

01:00:21   Рекомендация книги

01:08:58   Работа в команде разработки платформы

01:10:34   Что происходит в случае падения