Использование Tarantool для хранения чатов и лент друзей (Константин Осипов)

•

2 gefällt mir•3,160 views

Ontico

Tarantool: chats &
comets
Константин Осипов

СУБД Tarantool: обзор
• 100% данных в оперативной
памяти
• постоянная копия данных на
диске
• гибкая модель данных
• есть репликация и бэкап
• хранимые процедуры на Lua
• memcached протокол и binary
протокол

О чём этот доклад
• о том, как сделать онлайн чат на Tarantool и Node.JS
• краткий обзор Tarantool
• возможности версии 1.4.4
• обзор 1.4.5
• описание системы дискового хранилища

Модель данных Tarantool
• HASH, TREE индексы
• multipart, unique, non-unique индексы
• STRING, NUM, NUM64 типы

Tarantool: пример
Redis Tarantool (Lua)
redis.set(key, value) box.insert(space, key, value)
redis.get(key) box.select(space, 0, key, value)
redis.getset(key, newkey) box.update(space, key, '=p', 0,
newkey)
redis.incr(key) box.update(space, key, '+p', 1, 1)
redis.lpush(key, value) box.update(space, key, '!p', 1,
value)
redis.rpush(key, value) You guess it...

Что нового в 1.4.4
Скорость:
• 70+% ускорение INSERT, UPDATE, DELETE
• новый UPDATE O(n), n — количество полей → большие
кортежи, быстро
• incremental rehash в HASH индексах
• более компактные TREE индексы
• hardware crc32 (Intel SSE 2.0)

Что нового в 1.4.4 (2)
Новые возможности:
• поддержка 64-бит чисел в Lua и индексах
• INSERT/DELETE/APPEND полей в кортеже
• .deb и .rpm пакеты

Tarantool в Debian “Sid”
Спасибо Dmitry E. Oboukhov!

Мы ищем мейнтенеров для
SuSE и Fedora

It's going on in the kitchen
Новые возможности 1.4.5:
• Darwin port (Mac OS X)
• HA кластер
• Транзакции
• множество улучшений текущих
возможностей
• WebScale & DevNullScale

Планы на 1.5
• Дисковое хранилище
• Авторизация
• Master-master репликация
• Синхронная репликация

Disk store для хранения
Comet
• Начало каждого кортежа хранится в памяти
• Хвост хранится в B-tree на диске, с использованием кэша

Преимущества:
• Гарантированное время ответа для актуальных данных
• Кэширование исторических данных
• В связке с nginx/node.js — система хранения чатов

Empfohlen

Tarantool: как обрабатывать  1,5 млрд запросов в сутки?tfmailru

12 вариантов использования Redis — в Tarantool (Александр Календарев, Констан...Ontico

Tarantool_qskuchinskaya

Доклад Антона Поварова на Tarantool Meetup. "Tarantool в Badoo: хранение исто...Badoo Development

Паттерны и примеры структур данных в NoSQL на примере TarantoolAlexandre Kalendarev

Дмитрий Новиков - Tarantool в BadooMail.ru Group

Tarantool: как обрабатывать  1,5 млрд запросов в сутки?tfmailru

Отказоустойчивая обработка 10M OAuth токенов на Tarantool / Владимир Перепели...Ontico

Empfohlen

Tarantool: как обрабатывать  1,5 млрд запросов в сутки?tfmailru

12 вариантов использования Redis — в Tarantool (Александр Календарев, Констан...Ontico

Tarantool_qskuchinskaya

Доклад Антона Поварова на Tarantool Meetup. "Tarantool в Badoo: хранение исто...Badoo Development

Паттерны и примеры структур данных в NoSQL на примере TarantoolAlexandre Kalendarev

Дмитрий Новиков - Tarantool в BadooMail.ru Group

Tarantool: как обрабатывать  1,5 млрд запросов в сутки?tfmailru

Отказоустойчивая обработка 10M OAuth токенов на Tarantool / Владимир Перепели...Ontico

Сравнение форматов и библиотек сериализации / Антон Рыжов (Qrator Labs)Ontico

Константин Осипов (Mail.Ru)Ontico

PostgreSQL: практические примеры оптимизации SQL-запросов / Иван Фролков (Po...Ontico

Андрей Дроздов "Создание высокопроизводительных rest api на tarantool"Tanya Denisyuk

Разработка real-time приложений с RethinkDB / Илья Вербицкий (Независимый кон...Ontico

Reform: путь к лучшему ORMBadoo Development

"Почему язык Lua — это интересно?", Ник Заварицкий, (Mail.ru Group)Badoo Development

Практика совместного использования Lua и C в opensource спам-фильтре Rspamd /...Ontico

Поиск наизнанкуNikolay Sivko

Почему Rust стоит вашего вниманияMichael Pankov

Владислав Животнев - Основы DNSYandex

Хочу знать, сколько уникальных посетителей было на моём сайте за произвольный...Ontico

Леонид Васильев "Python в инфраструктуре поиска"Yandex

Avito Stachka 2012Roman Pavlushko

DNS в условиях хостинг-провайдера / Константин Новаковский (Selectel)Ontico

Clojure – есть ли жизнь после JavaOlim Saidov

Долгожданный релиз pg_pathman 1.0 / Александр Коротков, Дмитрий Иванов (Post...Ontico

2014-11-01 03 Николай Линкер. Open your clojureОмские ИТ-субботники

Python AST / Николай Карелин / VPI Development Center [Python Meetup 27.03.15]Python Meetup

Введение в потоки питонаAndrey Niahajchyk

Решардинг Redis "на живую" (Андрей Смирнов, Василий Евсеенко)Ontico

Денис Колошко, Пример нагруженной системы на базе продуктов Microsoft, Amazon...Tanya Denisyuk

Weitere ähnliche Inhalte

Was ist angesagt?

Сравнение форматов и библиотек сериализации / Антон Рыжов (Qrator Labs)Ontico

Константин Осипов (Mail.Ru)Ontico

PostgreSQL: практические примеры оптимизации SQL-запросов / Иван Фролков (Po...Ontico

Андрей Дроздов "Создание высокопроизводительных rest api на tarantool"Tanya Denisyuk

Разработка real-time приложений с RethinkDB / Илья Вербицкий (Независимый кон...Ontico

Reform: путь к лучшему ORMBadoo Development

"Почему язык Lua — это интересно?", Ник Заварицкий, (Mail.ru Group)Badoo Development

Практика совместного использования Lua и C в opensource спам-фильтре Rspamd /...Ontico

Поиск наизнанкуNikolay Sivko

Почему Rust стоит вашего вниманияMichael Pankov

Владислав Животнев - Основы DNSYandex

Хочу знать, сколько уникальных посетителей было на моём сайте за произвольный...Ontico

Леонид Васильев "Python в инфраструктуре поиска"Yandex

Avito Stachka 2012Roman Pavlushko

DNS в условиях хостинг-провайдера / Константин Новаковский (Selectel)Ontico

Clojure – есть ли жизнь после JavaOlim Saidov

Долгожданный релиз pg_pathman 1.0 / Александр Коротков, Дмитрий Иванов (Post...Ontico

2014-11-01 03 Николай Линкер. Open your clojureОмские ИТ-субботники

Python AST / Николай Карелин / VPI Development Center [Python Meetup 27.03.15]Python Meetup

Введение в потоки питонаAndrey Niahajchyk

Was ist angesagt? (20)

Сравнение форматов и библиотек сериализации / Антон Рыжов (Qrator Labs)

Константин Осипов (Mail.Ru)

PostgreSQL: практические примеры оптимизации SQL-запросов / Иван Фролков (Po...

Андрей Дроздов "Создание высокопроизводительных rest api на tarantool"

Разработка real-time приложений с RethinkDB / Илья Вербицкий (Независимый кон...

Reform: путь к лучшему ORM

"Почему язык Lua — это интересно?", Ник Заварицкий, (Mail.ru Group)

Практика совместного использования Lua и C в opensource спам-фильтре Rspamd /...

Поиск наизнанку

Почему Rust стоит вашего внимания

Владислав Животнев - Основы DNS

Хочу знать, сколько уникальных посетителей было на моём сайте за произвольный...

Леонид Васильев "Python в инфраструктуре поиска"

Avito Stachka 2012

DNS в условиях хостинг-провайдера / Константин Новаковский (Selectel)

Clojure – есть ли жизнь после Java

Долгожданный релиз pg_pathman 1.0 / Александр Коротков, Дмитрий Иванов (Post...

2014-11-01 03 Николай Линкер. Open your clojure

Python AST / Николай Карелин / VPI Development Center [Python Meetup 27.03.15]

Введение в потоки питона

Andere mochten auch

Решардинг Redis "на живую" (Андрей Смирнов, Василий Евсеенко)Ontico

Денис Колошко, Пример нагруженной системы на базе продуктов Microsoft, Amazon...Tanya Denisyuk

SphinxSearch Meetup - Tips&tricksRoman Pavlushko

AVITO. Решардинг Redis без даунтайма. DevConf 2012Roman Pavlushko

Хранение json-документов в Tarantool / Андрей Дроздов (Mail.ru Group)Ontico

Путь DevOps в «Parallels» / Константин Назаров (Parallels)Ontico

Tarantool как платформа для микросервисов / Антон Резников, Владимир Перепели...Ontico

Andere mochten auch (7)

Решардинг Redis "на живую" (Андрей Смирнов, Василий Евсеенко)

Денис Колошко, Пример нагруженной системы на базе продуктов Microsoft, Amazon...

SphinxSearch Meetup - Tips&tricks

AVITO. Решардинг Redis без даунтайма. DevConf 2012

Хранение json-документов в Tarantool / Андрей Дроздов (Mail.ru Group)

Путь DevOps в «Parallels» / Константин Назаров (Parallels)

Tarantool как платформа для микросервисов / Антон Резников, Владимир Перепели...

Ähnlich wie Использование Tarantool для хранения чатов и лент друзей (Константин Осипов)

Как мы храним и анализируем большой социальный граф, Максим Бартенев (Норси-т...Ontico

Tarantool, .net, newsqlAnatoly Popov

Егор Львовский — «Кеширование на клиенте и сервере»Yandex

Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...Ontico

Обзор перспективных баз данных для highload / Юрий НасретдиновOntico

Практика Lock-free. RealTime-серверPlatonov Sergey

Couchbase, что за зверь и на что способен.Alexey Rusnak

Консольные приложения на GoAndrey Smirnov

Prez osob mikroprocsemsemsemsemsem

Tarantool 1.6: NoSQL database and application serverAlexander Gornyi

Machine learning c использованием нейронных сетей, Дмитрий ЛапинIT61

ADD2010: Обработка большого объема данных на платформеApache Hadoop Vladimir Klimontovich

Осваиваем Tarantool 1.6 / Евгений Шадрин (Sberbank Digital Ventures)Ontico

Корпоративный Linux: осваиваем с нуля Red Hat Enterprise LinuxSkillFactory

Qlogic: Технологии EthernetExpolink

Низкоуровневые оптимизации. Андрей Аксенов. Unigine Open Air 2013Unigine Corp.

Net core and linux in productionAnatoly Popov

Hosting for forbes.ru_drupalconf

Конференция Highload++ 2014, "Инструменты высоконагруженных проектов: кеширов...Lenvendo

РИФ 2016, Tarantool – кейсы использованияТарасов Константин

Ähnlich wie Использование Tarantool для хранения чатов и лент друзей (Константин Осипов) (20)

Как мы храним и анализируем большой социальный граф, Максим Бартенев (Норси-т...

Tarantool, .net, newsql

Егор Львовский — «Кеширование на клиенте и сервере»

Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...

Обзор перспективных баз данных для highload / Юрий Насретдинов

Практика Lock-free. RealTime-сервер

Couchbase, что за зверь и на что способен.

Консольные приложения на Go

Prez osob mikroproc

Tarantool 1.6: NoSQL database and application server

Machine learning c использованием нейронных сетей, Дмитрий Лапин

ADD2010: Обработка большого объема данных на платформеApache Hadoop

Осваиваем Tarantool 1.6 / Евгений Шадрин (Sberbank Digital Ventures)

Корпоративный Linux: осваиваем с нуля Red Hat Enterprise Linux

Qlogic: Технологии Ethernet

Низкоуровневые оптимизации. Андрей Аксенов. Unigine Open Air 2013

Net core and linux in production

Hosting for forbes.ru_

Конференция Highload++ 2014, "Инструменты высоконагруженных проектов: кеширов...

РИФ 2016, Tarantool – кейсы использования

Mehr von Ontico

One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...Ontico

Масштабируя DNS / Артем Гавриченков (Qrator Labs)Ontico

Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)Ontico

Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...Ontico

Новые технологии репликации данных в PostgreSQL / Александр Алексеев (Postgre...Ontico

PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)Ontico

Inexpensive Datamasking for MySQL with ProxySQL — Data Anonymization for Deve...Ontico

Опыт разработки модуля межсетевого экранирования для MySQL / Олег Брославский...Ontico

ProxySQL Use Case Scenarios / Alkin Tezuysal (Percona)Ontico

MySQL Replication — Advanced Features / Петр Зайцев (Percona)Ontico

Внутренний open-source. Как разрабатывать мобильное приложение большим количе...Ontico

Подробно о том, как Causal Consistency реализовано в MongoDB / Михаил Тюленев...Ontico

Балансировка на скорости проводов. Без ASIC, без ограничений. Решения NFWare ...Ontico

Перехват трафика — мифы и реальность / Евгений Усков (Qrator Labs)Ontico

И тогда наверняка вдруг запляшут облака! / Алексей Сушков (ПЕТЕР-СЕРВИС)Ontico

Как мы заставили Druid работать в Одноклассниках / Юрий Невиницин (OK.RU)Ontico

Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)Ontico

100500 способов кэширования в Oracle Database или как достичь максимальной ск...Ontico

Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает...Ontico

Механизмы мониторинга баз данных: взгляд изнутри / Дмитрий Еманов (Firebird P...Ontico

Mehr von Ontico (20)

One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...

Масштабируя DNS / Артем Гавриченков (Qrator Labs)

Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)

Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...

Новые технологии репликации данных в PostgreSQL / Александр Алексеев (Postgre...

PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)

Inexpensive Datamasking for MySQL with ProxySQL — Data Anonymization for Deve...

Опыт разработки модуля межсетевого экранирования для MySQL / Олег Брославский...

ProxySQL Use Case Scenarios / Alkin Tezuysal (Percona)

MySQL Replication — Advanced Features / Петр Зайцев (Percona)

Внутренний open-source. Как разрабатывать мобильное приложение большим количе...

Подробно о том, как Causal Consistency реализовано в MongoDB / Михаил Тюленев...

Балансировка на скорости проводов. Без ASIC, без ограничений. Решения NFWare ...

Перехват трафика — мифы и реальность / Евгений Усков (Qrator Labs)

И тогда наверняка вдруг запляшут облака! / Алексей Сушков (ПЕТЕР-СЕРВИС)

Как мы заставили Druid работать в Одноклассниках / Юрий Невиницин (OK.RU)

Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)

100500 способов кэширования в Oracle Database или как достичь максимальной ск...

Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает...

Механизмы мониторинга баз данных: взгляд изнутри / Дмитрий Еманов (Firebird P...

Использование Tarantool для хранения чатов и лент друзей (Константин Осипов)

1. Tarantool: chats & comets Константин Осипов

2. СУБД Tarantool: обзор • 100% данных в оперативной памяти • постоянная копия данных на диске • гибкая модель данных • есть репликация и бэкап • хранимые процедуры на Lua • memcached протокол и binary протокол

3. О чём этот доклад • о том, как сделать онлайн чат на Tarantool и Node.JS • краткий обзор Tarantool • возможности версии 1.4.4 • обзор 1.4.5 • описание системы дискового хранилища

4. Модель данных Tarantool • HASH, TREE индексы • multipart, unique, non-unique индексы • STRING, NUM, NUM64 типы

5. Tarantool: пример Redis Tarantool (Lua) redis.set(key, value) box.insert(space, key, value) redis.get(key) box.select(space, 0, key, value) redis.getset(key, newkey) box.update(space, key, '=p', 0, newkey) redis.incr(key) box.update(space, key, '+p', 1, 1) redis.lpush(key, value) box.update(space, key, '!p', 1, value) redis.rpush(key, value) You guess it...

6. Что нового в 1.4.4 Скорость: • 70+% ускорение INSERT, UPDATE, DELETE • новый UPDATE O(n), n — количество полей → большие кортежи, быстро • incremental rehash в HASH индексах • более компактные TREE индексы • hardware crc32 (Intel SSE 2.0)

7. Inc. Rehash: эффект

8. Память: 1 млн кортежей

9. Производительность

10. Что нового в 1.4.4 (2) Новые возможности: • поддержка 64-бит чисел в Lua и индексах • INSERT/DELETE/APPEND полей в кортеже • .deb и .rpm пакеты

11. Tarantool в Debian “Sid” Спасибо Dmitry E. Oboukhov! Мы ищем мейнтенеров для SuSE и Fedora

12. It's going on in the kitchen Новые возможности 1.4.5: • Darwin port (Mac OS X) • HA кластер • Транзакции • множество улучшений текущих возможностей • WebScale & DevNullScale

13. Планы на 1.5 • Дисковое хранилище • Авторизация • Master-master репликация • Синхронная репликация

14. Disk store для хранения Comet • Начало каждого кортежа хранится в памяти • Хвост хранится в B-tree на диске, с использованием кэша Преимущества: • Гарантированное время ответа для актуальных данных • Кэширование исторических данных • В связке с nginx/node.js — система хранения чатов

15. Спасибо!