[2019-08-10] Big Data Saturday
Links
Программа
- 11:00 приветственный кофе.
- 11:30 Основная программа - доклад Дениса Цветкова - "Большие данные ВКонтакте: обзор технологий".
Описание
Денис Цветков работает в Санкт-Петербурге в команде ВКонтакте. Он занимается поддержкой инфраструктуры больших данных. В своем докладе он расскажет об основных технологиях из мира бигдаты, которые используются в ВК. Это в большей степени образовательная лекция, она будет наиболее интересна тем, кто ещё не знаком, но очень хочет узнать побольше о технологиях из этой сферы. Речь пойдёт не столько об инфраструктуре ВКонтакте, сколько о самих технологиях, о том как они устроены и зачем нужны.
В частности, мы поговорим о распределённой файловой системе HDFS, как достигается её надёжность и что происходит с файлом, когда вы загружаете его в хранилище. Рассмотрим планировщик ресурсов YARN и разберёмся, в чём суть модели вычислений MapReduce.
Кроме этого мы познакомимся с популярным фреймворком Apache Spark и узнаем, почему он стал таким популярным и как же устроены его RDD. Также мы заглянем под капот Apache Kafka, чтобы выяснить, что делает её такой производительной, масштабируемой и устойчивой к сбоям.
Место проведения - офис компании Accenture.