Apache Kafka и реактивные микросервисы на.net Core. Денис

Transcription

1 Apache Kafka и реактивные микросервисы на.net Core Денис 1

2 Обо мне 2

3 Код и презентация 3

4 План 4

5 5

6 Терминология 6

7 Терминология 7

8 Откуда берутся микросервисы? 8

9 Откуда берутся микросервисы? Advertising Management System в 9

10 Откуда берутся микросервисы? Frontend App High-level API Storage API S3 Storage 10

11 Откуда берутся микросервисы? Frontend App High-level API Storage API S3 Storage 11

12 Challenges -Синхронное/асинхронное взаимодействие 12

13 Challenges -Синхронное/асинхронное взаимодействие -Гарантированная доставка данных с минимальными задержками 13

14 Challenges -Синхронное/асинхронное взаимодействие -Гарантированная доставка данных с минимальными задержками -Распределенные изменения и согласованность 14

15 Challenges -Синхронное/асинхронное взаимодействие -Гарантированная доставка данных с минимальными задержками -Распределенные изменения и согласованность 15

16 Распределенные изменения -Блокирующие -Неблокирующие (отложенные) 16

17 Распределенные изменения High-level API Storage API S3 Storage 17

18 Распределенные изменения High-level API Storage API S3 Storage 18

19 Распределенные изменения High-level API Storage API S3 Storage 19

20 Распределенные изменения High-level API Storage API S3 Storage 20

21 Распределенные изменения High-level API Storage API S3 Storage 21

22 Распределенные изменения High-level API Storage API S3 Storage 22

23 Фоновые процессы Frontend App REST API / Storage Background workers / 23

24 24

25 Topics and partitions Kafka: The Definitive Guide by Neha Narkhede, Gwen Shapira, and Todd Palino (O Reilly). 25

26 Producers and consumers Kafka: The Definitive Guide by Neha Narkhede, Gwen Shapira, and Todd Palino (O Reilly). 26

27 Producers Kafka: The Definitive Guide by Neha Narkhede, Gwen Shapira, and Todd Palino (O Reilly). 27

28 Producers Kafka: The Definitive Guide by Neha Narkhede, Gwen Shapira, and Todd Palino (O Reilly). 28

29 Producers Kafka: The Definitive Guide by Neha Narkhede, Gwen Shapira, and Todd Palino (O Reilly). 29

30 Producers Kafka: The Definitive Guide by Neha Narkhede, Gwen Shapira, and Todd Palino (O Reilly). 30

31 Producers Kafka: The Definitive Guide by Neha Narkhede, Gwen Shapira, and Todd Palino (O Reilly). 31

32 Producers Kafka: The Definitive Guide by Neha Narkhede, Gwen Shapira, and Todd Palino (O Reilly). 32

33 Consumers and consumer groups Kafka: The Definitive Guide by Neha Narkhede, Gwen Shapira, and Todd Palino (O Reilly). 33

34 Consumers and consumer groups Kafka: The Definitive Guide by Neha Narkhede, Gwen Shapira, and Todd Palino (O Reilly). 34

35 Consumers and consumer groups Kafka: The Definitive Guide by Neha Narkhede, Gwen Shapira, and Todd Palino (O Reilly). 35

36 Consumers and consumer groups Kafka: The Definitive Guide by Neha Narkhede, Gwen Shapira, and Todd Palino (O Reilly). 36

37 Consumers and consumer groups 2 Kafka: The Definitive Guide by Neha Narkhede, Gwen Shapira, and Todd Palino (O Reilly). 37

38 Offsets and commits Kafka: The Definitive Guide by Neha Narkhede, Gwen Shapira, and Todd Palino (O Reilly). 38

39 Kafka.NET Client -Обертка над C-библиотекой librdkafka -Реализовано подмножество API (open source) -Использует managed и unmanaged память и потоки -xplat,.net Core 39

40 Kafka.NET Producer 40

41 Kafka.NET Producer var config = new Dictionary<string, object> "bootstrap.servers", brokerendpoints }, "api.version.request", true }, "default.topic.config", new Dictionary<string, object> "message.timeout.ms", 5000 }, "request.required.acks", -1 } } } }; 41

42 Kafka.NET Producer var config = new Dictionary<string, object> "bootstrap.servers", brokerendpoints }, "api.version.request", true }, "default.topic.config", new Dictionary<string, object> "message.timeout.ms", 5000 }, "request.required.acks", -1 } } } }; var producer = new Producer<Null, string>( config, new NullSerializer(), new StringSerializer(Encoding.UTF8)); 42

43 Kafka.NET Producer var config = new Dictionary<string, object> "bootstrap.servers", brokerendpoints }, "api.version.request", true }, "default.topic.config", new Dictionary<string, object> "message.timeout.ms", 5000 }, "request.required.acks", -1 } } } }; var producer = new Producer<Null, string>( config, new NullSerializer(), new StringSerializer(Encoding.UTF8)); 43

44 Kafka.NET Producer var config = new Dictionary<string, object> "bootstrap.servers", brokerendpoints }, "api.version.request", true }, "default.topic.config", new Dictionary<string, object> "message.timeout.ms", 5000 }, "request.required.acks", -1 } } } }; var producer = new Producer<Null, string>( config, new NullSerializer(), new StringSerializer(Encoding.UTF8)); 44

45 Kafka.NET Producer var config = new Dictionary<string, object> "bootstrap.servers", brokerendpoints }, "api.version.request", true }, "default.topic.config", new Dictionary<string, object> "message.timeout.ms", 5000 }, "request.required.acks", -1 } } } }; var producer = new Producer<Null, string>( config, new NullSerializer(), new StringSerializer(Encoding.UTF8)); var message = await producer.produceasync(topic, null, value, partition); 45

46 Kafka.NET Producer var config = new Dictionary<string, object> "bootstrap.servers", brokerendpoints }, "api.version.request", true }, "default.topic.config", new Dictionary<string, object> "message.timeout.ms", 5000 }, "request.required.acks", -1 } } } }; var producer = new Producer<Null, string>( config, new NullSerializer(), new StringSerializer(Encoding.UTF8)); var message = await producer.produceasync(topic, null, value, partition); 46

47 Kafka.NET Producer var config = new Dictionary<string, object> "bootstrap.servers", brokerendpoints }, "api.version.request", true }, "default.topic.config", new Dictionary<string, object> "message.timeout.ms", 5000 }, "request.required.acks", -1 } } } }; var producer = new Producer<Null, string>( config, new NullSerializer(), new StringSerializer(Encoding.UTF8)); var message = await producer.produceasync(topic, null, value, partition); 47

48 Kafka.NET Consumer 48

49 Kafka.NET Consumer var config = new Dictionary<string, object> "bootstrap.servers", brokerendpoints }, "api.version.request", true }, "group.id",!string.isnullorempty(groupid)? groupid : Guid.NewGuid().ToString() }, "enable.auto.commit", false }, "default.topic.config", new Dictionary<string, object> "auto.offset.reset", "beginning" } } } }; 49

50 Kafka.NET Consumer var config = new Dictionary<string, object> "bootstrap.servers", brokerendpoints }, "api.version.request", true }, "group.id",!string.isnullorempty(groupid)? groupid : Guid.NewGuid().ToString() }, "enable.auto.commit", false }, "default.topic.config", new Dictionary<string, object> "auto.offset.reset", "beginning" } } } }; 50

51 Kafka.NET Consumer var config = new Dictionary<string, object> "bootstrap.servers", brokerendpoints }, "api.version.request", true }, "group.id",!string.isnullorempty(groupid)? groupid : Guid.NewGuid().ToString() }, "enable.auto.commit", false }, "default.topic.config", new Dictionary<string, object> "auto.offset.reset", "beginning" } } } }; 51

52 Kafka.NET Consumer var config = new Dictionary<string, object> "bootstrap.servers", brokerendpoints }, "api.version.request", true }, "group.id",!string.isnullorempty(groupid)? groupid : Guid.NewGuid().ToString() }, "enable.auto.commit", false }, "default.topic.config", new Dictionary<string, object> "auto.offset.reset", "beginning" } } } }; 52

53 Kafka.NET Consumer var config = new Dictionary<string, object> "bootstrap.servers", brokerendpoints }, "api.version.request", true }, "group.id",!string.isnullorempty(groupid)? groupid : Guid.NewGuid().ToString() }, "enable.auto.commit", false }, "default.topic.config", new Dictionary<string, object> "auto.offset.reset", "beginning" } } } }; var consumer = new Consumer<Null, string>( config, new NullDeserializer(), new StringDeserializer(Encoding.UTF8)); 53

54 Batched Kafka Consumer Wrapper 54

55 var consumer = new Consumer<Null, string>( config, new NullDeserializer(), new StringDeserializer(Encoding.UTF8)); 55

56 var consumer = new Consumer<Null, string>( config, new NullDeserializer(), new StringDeserializer(Encoding.UTF8)); var messages = new List<Message<Null, string>>(); var iseof = false; 56

57 var consumer = new Consumer<Null, string>( config, new NullDeserializer(), new StringDeserializer(Encoding.UTF8)); var messages = new List<Message<Null, string>>(); var iseof = false; void OnMessage(object sender, Message<Null, string> message) => messages.add(message); void OnEof(object sender, TopicPartitionOffset offset) => iseof = true; 57

58 var consumer = new Consumer<Null, string>( config, new NullDeserializer(), new StringDeserializer(Encoding.UTF8)); var messages = new List<Message<Null, string>>(); var iseof = false; void OnMessage(object sender, Message<Null, string> message) => messages.add(message); void OnEof(object sender, TopicPartitionOffset offset) => iseof = true; consumer.onmessage += OnMessage; consumer.onpartitioneof += OnEof; consumer.subscribe(topics); 58

59 var consumer = new Consumer<Null, string>( config, new NullDeserializer(), new StringDeserializer(Encoding.UTF8)); var messages = new List<Message<Null, string>>(); var iseof = false; void OnMessage(object sender, Message<Null, string> message) => messages.add(message); void OnEof(object sender, TopicPartitionOffset offset) => iseof = true; consumer.onmessage += OnMessage; consumer.onpartitioneof += OnEof; consumer.subscribe(topics); while (messages.count < batchsize &&!iseof &&!cancellationtoken.iscancellationrequested) consumer.poll(timespan.frommilliseconds(100)); } 59

60 var consumer = new Consumer<Null, string>( config, new NullDeserializer(), new StringDeserializer(Encoding.UTF8)); var messages = new List<Message<Null, string>>(); var iseof = false; void OnMessage(object sender, Message<Null, string> message) => messages.add(message); void OnEof(object sender, TopicPartitionOffset offset) => iseof = true; consumer.onmessage += OnMessage; consumer.onpartitioneof += OnEof; consumer.subscribe(topics); while (messages.count < batchsize &&!iseof &&!cancellationtoken.iscancellationrequested) consumer.poll(timespan.frommilliseconds(100)); } consumer.unsubscribe(topics); 60

61 var consumerwrapper = new ConsumerWrapper(brokerEndpoints, groupid); 61

62 var consumerwrapper = new ConsumerWrapper(brokerEndpoints, groupid); 62

63 var consumerwrapper = new ConsumerWrapper(brokerEndpoints, groupid); while (!cancellationtoken.iscancellationrequested) var messages = consumerwrapper.consume( topics, batchsize, cancellationtoken); } 63

64 var consumerwrapper = new ConsumerWrapper(brokerEndpoints, groupid); while (!cancellationtoken.iscancellationrequested) var messages = consumerwrapper.consume( topics, batchsize, cancellationtoken); } 64

65 var consumerwrapper = new ConsumerWrapper(brokerEndpoints, groupid); while (!cancellationtoken.iscancellationrequested) var messages = consumerwrapper.consume( topics, batchsize, cancellationtoken); foreach (var message in messages) Console.WriteLine( + $"message.offset}: 'message.value}'"); } } 65

66 var consumerwrapper = new ConsumerWrapper(brokerEndpoints, groupid); while (!cancellationtoken.iscancellationrequested) var messages = consumerwrapper.consume( topics, batchsize, cancellationtoken); foreach (var message in messages) Console.WriteLine( + $"message.offset}: 'message.value}'"); } } await consumerwrapper.commitasync(message); 66

67 Kafka + Docker +.NET Core 67

68 More challenges -Легко написать неправильно 68

69 More challenges -Легко написать неправильно -Частые перебалансировки consumer group 69

70 More challenges -Легко написать неправильно -Частые перебалансировки consumer group -Управление распределенными consumer-ами 70

71 More challenges -Легко написать неправильно -Частые перебалансировки consumer group -Управление распределенными consumer-ами -Задержки, синхронизация, утилизация ресурсов 71

72 72

73 Pull-модель public interface IEnumerable IEnumerator GetEnumerator(); } public interface IEnumerator bool MoveNext(); object Current get; } } void Reset(); 73

74 Push-модель public interface IObservable<out T> IDisposable Subscribe(IObserver<T> observer); } public interface IObserver<in T> void OnCompleted(); void OnError(Exception error); } void OnNext(T value); 74

75 Rx Kafka Consumer Wrapper 75

76 void OnMessage(object sender, Message<Null, string> message) => messages.add(message); void OnEof(object sender, TopicPartitionOffset offset) => iseof = true; consumer.onmessage += OnMessage; consumer.onpartitioneof += OnEof; consumer.subscribe(topics); 76

77 IEnumerable<string> topics; var observable = Observable.FromEventPattern<Message<Null, string>>( x => consumer.onmessage += x; consumer.subscribe(topics); }, x => consumer.unsubscribe(); consumer.onmessage -= x; }).Select(x => x.eventargs); 77

78 IEnumerable<string> topics; var observable = Observable.FromEventPattern<Message<Null, string>>( x => consumer.onmessage += x; consumer.subscribe(topics); }, x => consumer.unsubscribe(); consumer.onmessage -= x; }).Select(x => x.eventargs); 78

79 IEnumerable<string> topics; var observable = Observable.FromEventPattern<Message<Null, string>>( x => consumer.onmessage += x; consumer.subscribe(topics); }, x => consumer.unsubscribe(); consumer.onmessage -= x; }).Select(x => x.eventargs); 79

80 IEnumerable<string> topics; var observable = Observable.FromEventPattern<Message<Null, string>>( x => consumer.onmessage += x; consumer.subscribe(topics); }, x => consumer.unsubscribe(); consumer.onmessage -= x; }).Select(x => x.eventargs); 80

81 IEnumerable<string> topics; var observable = Observable.FromEventPattern<Message<Null, string>>( ); Task.Factory.StartNew( () => while (!cancellationtoken.iscancellationrequested) consumer.poll(timespan.frommilliseconds(100)); } }, cancellationtoken, TaskCreationOptions.LongRunning, TaskScheduler.Default); 81

82 var observable = consumerwrapper.consume(token); 82

83 var observable = consumerwrapper.consume(token); 83

84 var observable = consumerwrapper.consume(token); var subscription = observable.buffer(batchsize).subscribe( messages => foreach (var message in messages) Console.WriteLine(message.Value); consumerwrapper.commitasync(message).getawaiter().getresult(); } }); 84

85 var observable = consumerwrapper.consume(token); var subscription = observable.buffer(batchsize).subscribe( messages => foreach (var message in messages) Console.WriteLine(message.Value); consumerwrapper.commitasync(message).getawaiter().getresult(); } }); 85

86 var observable = consumerwrapper.consume(token); var subscription = observable.buffer(batchsize).subscribe( messages => foreach (var message in messages) Console.WriteLine(message.Value); consumerwrapper.commitasync(message).getawaiter().getresult(); } }); 86

87 var observable = consumerwrapper.consume(token); var subscription = observable.buffer(batchsize).subscribe( ); var taskcompletionsource = new TaskCompletionSource<object>(); cancellationtoken.register( () => subscription.dispose(); taskcompletionsource.setresult(null); }); 87

88 var observable = consumerwrapper.consume(token); var subscription = observable.buffer(batchsize).subscribe( ); var taskcompletionsource = new TaskCompletionSource<object>(); cancellationtoken.register( () => subscription.dispose(); taskcompletionsource.setresult(null); }); 88

89 var observable = consumerwrapper.consume(token); var subscription = observable.buffer(batchsize).subscribe( ); var taskcompletionsource = new TaskCompletionSource<object>(); cancellationtoken.register( () => subscription.dispose(); taskcompletionsource.setresult(null); }); 89

90 var observable = consumerwrapper.consume(token); var subscription = observable.buffer(batchsize).subscribe( ); var taskcompletionsource = new TaskCompletionSource<object>(); cancellationtoken.register( () => subscription.dispose(); taskcompletionsource.setresult(null); }); await taskcompletionsource.task; 90

91 Kafka + Rx 91

92 92

93 Распределенные изменения High-level API Storage API S3 Storage 93

94 Распределенные изменения High-level API Storage API S3 Storage 94

95 Распределенные изменения High-level API Storage API S3 Storage 95

96 Распределенные изменения High-level API Storage API S3 Storage 96

97 Распределенные изменения High-level API Storage API S3 Storage 97

98 Распределенные изменения Неизменяемость (immutability) 98

99 Распределенные изменения Неизменяемость (immutability) -Версионирование данных 99

100 Распределенные изменения Неизменяемость (immutability) -Версионирование данных -Данные + события 100

101 Распределенные изменения Неизменяемость (immutability) -Версионирование данных -Данные + события -Данные = события (event sourcing) 101

102 High-level API Storage API S3 Storage 102

103 High-level API Storage API S3 Storage 103

104 High-level API Storage API S3 Storage 104

105 Неблокирующие изменения 105

106 Неблокирующие изменения High-level API Storage API S3 Storage 106

107 Неблокирующие изменения High-level API Storage API Queue Storage 107

108 Неблокирующие изменения Worker / Queue Storage 108

109 Неблокирующие изменения Worker / Queue Storage 109

110 Неблокирующие изменения Worker / Queue Storage 110

111 Краткие итоги 111

112 Краткие итоги -Микросервисы не появляются сами по себе 112

113 Краткие итоги -Микросервисы не появляются сами по себе -Управление изменениями в микросервисном приложении значительно усложняется 113

114 Краткие итоги -Микросервисы не появляются сами по себе -Управление изменениями в микросервисном приложении значительно усложняется -Apache Kafka упрощает асинхронные взаимодействия 114

115 Краткие итоги -Микросервисы не появляются сами по себе -Управление изменениями в микросервисном приложении значительно усложняется -Apache Kafka упрощает асинхронные взаимодействия -Реактивный подход убирает границы между компонентами приложения 115

116 Полезные ссылки

117 Спасибо! Вопросы? Денис 117