How we Architected Cloud9 IDE for scale on NodeJS. Rik Arends, Cloud9 IDE

•

1 like•2,745 views

Rik Arends, Cloud9 IDE Co-founder and CTO of Cloud9 IDE, Inc (previously Ajax.org). He was quick to recognize the shift between compiled and dynamic languages, he has worked on language transcompilers, in-browser graphics, optimized API designs, NoSQL database architecture and high performance web service driven applications. As an early believer in the browser as the winning application runtime, he focused his career on making the web a better place for developers. He now oversees the technical vision and development of Cloud9 IDE. Presentation topic: How we Architected Cloud9 IDE for scale on NodeJS. Key points: Building and scaling a web based IDE is a big challenge, however doing this on Node.JS presented us with a lot of unique challenges. Cloud9 is built using a full Ajax client, and besides Node.JS, it utilizes a full set of new HTML5 features and offline support. In this talk I want to go through the unique architecture and design decisions that we made when building Cloud9 IDE. This will be of interest to medium to advanced level programmers, who want to know more about Node.JS and scalable app development.

Technology

How we architected
Cloud9 IDE for scale on
NodeJS
Rik Arends, CTO and Co-founder
Cloud9 IDE Inc

YaC, Moscow, September 19 2011

Tuesday, September 27, 11

Today

• What is what
• Cloud9 IDE Demo
• Architecture of Cloud9 on Node.JS
• Future

Tuesday, September 27, 11

What is Cloud9 IDE?
• Ofﬁce : Google docs -> Eclipse : Cloud9
• The easiest way to create Node.JS apps
• Ofﬁce in Ams and SF
• Recently funded by Accel / Atlassian $5.5M
• Why....?

Tuesday, September 27, 11

What is Node.JS

• Evented IO for JavaScript
• V8 Engine from google chrome
• Everything asynchronous

Tuesday, September 27, 11

Whats next?
• Full collaboration
• Autocomplete and docs for Node.JS
• Git UI
• iPad version
• SSH / SFTP support
• Support for Ruby, Python, PHP, (Java)

Tuesday, September 27, 11

Behind Cloud9 IDE
• Entire backend is written in Node.JS / Redis
• IDE and libraries opensourced
• Based on connect, socket.io, ACE, JSDav
• Run and debug your Node.JS code
• Cloud9 is written with Cloud9

Tuesday, September 27, 11

Its not working!
We have to go deeper

Tuesday, September 27, 11

Server Client

*.c9.io

reverse static.c9.io NGINX
proxy
project.user.c9.io

node Ide
run VM Server
process control control

Tuesday, September 27, 11

Debug Client

Socket IO
V8 Debugger
reverse
proxy

node Ide
run VM Server
process V8 Sock
JSON TCP

Tuesday, September 27, 11

IDE Server
Client

Connect JSDav Socket IO

Tuesday, September 27, 11

Node.JS continuity

• Single process, single exception crashes
everything: NEVER THROW
• Thick client, design stateless
• Front proxy

Tuesday, September 27, 11

Foundations

• APF - Ajax.org Platform (ui.ajax.org)
• ACE - Ajax.org Cloud9 Editor (ace.ajax.org)
• Cloud9 IDE (github.com/ajaxorg/cloud9)
• JSDav, WebFS, Async.JS, Node-Github, etc...

Tuesday, September 27, 11

Thank you

• email: rik@ajax.org
• twitter: @Cloud9IDE / @rikarends
• github: github.com/ajaxorg/cloud9
• c9.io or cloud9ide.com
• www.ajax.org

Tuesday, September 27, 11

More from yaevents

Тема для WordPress в БЭМ. Владимир Гриненко, Яндекс

yaevents

Сергей Бережной, Яндекс С 2005 года работает веб-разработчиком в Яндексе. За это время успел поучаствовать в разработке целого ряда сервисов, например, Поиска по блогам, Я.ру, Яндекс.Почты, Поиска, Картинок, Видео. Помимо внешних проектов активно занимается развитием различных внутренних инструментов для полного цикла создания сайтов. Больше всего на свете любит жену и программирование. Тема доклада Построение сложносоставных блоков в шаблонизаторе bemhtml. Тезисы Предметно-ориентированный шаблонизатор bemhtml позволяет создавать шаблоны блоков согласно методологии БЭМ. После компиляции получаются быстрые plain JavaScript-шаблоны, которые можно исполнить как на сервере, так и на клиенте. Эта технология используется в библиотеке блоков bem-bl, а также на некоторых сервисах Яндекса. Мастер-класс демонстрирует одно из преимуществ шаблонизатора bemhtml — возможность построения сложносоставных блоков. Во время мастер-класса вы узнаете об идее и синтаксисе шаблонизатора, получите готовые рецепты для решения типовых задач и анализ возможностей bemhtml.

Построение сложносоставных блоков в шаблонизаторе bemhtml. Сергей Бережной, Я...

yaevents

Елена Глухова, Яндекс Верстальщик, разработчик веб-интерфейсов. Работает в Яндексе с 2008 года. Варвара Степанова, Яндекс Закончила Петрозаводский государственный университет. Работает в Яндексе с 2008 года разработчиком интерфейсов. Разрабатывала проекты Яндекс.Ответы и Яндекс.Фотки.   Последние полтора года Елена Глухова и Варвара Степанова совместно работают вместе над внутренним интерфейсным фреймворком, помогающим единообразно делать сервисы Яндекса. В последнее время также заняты разработкой подобного интерфейсного фреймворка в open source. Тема доклада i-bem.js: JavaScript в БЭМ-терминах. Тезисы Разрабатывая сайты по методологии БЭМ, мы используем единую предметную область во всех технологиях: CSS, шаблоны, JavaScript. Для того чтобы это было возможно, в библиотеке блоков bem-bl реализовано ядро клиентского JS-фреймворка, которое позволяет работать со страницей в терминах БЭМ, на следующем уровне абстракции над DOM-представлением. В этом мастер-классе показаны ключевые моменты использования такого подхода для написания клиентского JS. Мы создаём составной блок, использующий JS-функциональность входящих в него маленьких блоков. В результате всё работает, и никакого копипаста.

i-bem.js: JavaScript в БЭМ-терминах. Елена Глухова, Варвара Степанова, Яндекс

yaevents

Елена Глухова, Яндекс Верстальщик, разработчик веб-интерфейсов. Работает в Яндексе с 2008 года. Варвара Степанова, Яндекс Закончила Петрозаводский государственный университет. Работает в Яндексе с 2008 года разработчиком интерфейсов. Разрабатывала проекты Яндекс.Ответы и Яндекс.Фотки.   Последние полтора года Елена Глухова и Варвара Степанова совместно работают вместе над внутренним интерфейсным фреймворком, помогающим единообразно делать сервисы Яндекса. В последнее время также заняты разработкой подобного интерфейсного фреймворка в open source. Тема доклада Дом из готовых кирпичей. Библиотека блоков, тюнинг, инструменты. Тезисы Все сайты немного похожи друг на друга. Если заниматься веб-разработкой долгие годы, накапливаются практики и типовые решения распространённых задач. Результатом наших накоплений становится open source библиотека блоков bem-bl , которую мы разрабатываем на GitHub. Библиотека реализована согласно методологии БЭМ и позволяет использовать блоки, уже  имеющие шаблонную, CSS и JS-реализации, для построения web-страницы. Мастер-класс продемонстрирует, как можно использовать готовые блоки из этой библиотеки и как модифицировать их под нужды своего сайта. Для работы с файлами библиотеки используются консольные инструменты bem-tools.

Дом из готовых кирпичей. Библиотека блоков, тюнинг, инструменты. Елена Глухов...

yaevents

Александр Петренко, ИСП РАН Профессор, доктор физико-математических наук, заведующий отделом технологий программирования Института системного программирования (ИСП РАН), профессор ВМК МГУ. Основные работы в областях: формализация требований, генерация тестов на основе формализованных требований и формальных моделей (model based testing – MBT). Приложения: тестирование операционных систем и распределенных систем, тестирование компиляторов, верификация дизайна микропроцессоров, формализация стандартов на API операционных систем и телекоммуникационных протоколов. Сопредседатель оргкомитетов International MBT workshop (http://www.mbrworkshop.org/), Spring Young Researcher Colloquium on Software Engineering – SYRCoSE (http://syrocose.ispras.ru), городского семинара по технологиям разработки и анализа программ ТРАП/SDAT (http://sdat.ispras.ru/). Тема доклада Модели в профессиональной инженерии и тестировании программ. Тезисы Model Based Software Engineering (MBSE) является расширением подхода к разработке программ на основе моделей. В MBSE в отличие, например, от MDA (Model Driver Architecture) существенное внимание уделяется не только задачам собственно проектирования и разработки кода, но и задачам других фаз жизненного цикла – анализу требований, верификации и валидации, управлению требованиями на всех фазах жизненного цикла. Model Based Testing (MBT) хронологически возник гораздо раньше, чем MBSE и MDA, однако его место в разработке программ в полной мере раскрылось вместе с развитием MBSE. По этой причине MBT и MBSE следует рассматривать в тесной связке. В докладе будут рассмотрены концепции MBSE-MDA-MBT, основные источники и виды моделей, которые используются в этих подходах, методы генерации тестов на основе моделей, известные инструменты для

Модели в профессиональной инженерии и тестировании программ. Александр Петрен...

yaevents

Вячеслав Закоржевский, Kaspersky Lab Пришёл в «Лабораторию Касперского» в середине 2007 года на должность вирусного аналитика. В конце 2008 года занял позицию старшего вирусного аналитика в группе эвристического детектирования. В область интересов входит исследование полиморфных вирусов и сильно изменяющихся зловредов. Также следит за современными тенденциями в методах обфускации, антиэмуляции и прочих, применяемых вредоносным программным обеспечением. Тема доклада Сложнейшие техники, применяемые буткитами и полиморфными вирусами. Тезисы Бытует мнение, что современные зловреды достаточно просты и пишутся неподготовленными людьми. Данное выступление призвано развеять этот миф. В презентации будут описаны три зловреда, которые используют нетривиальные и сложные методы в процессе своего функционирования. В частности, будет рассмотрена схема работы современных буткитов, которые всё больше и больше набирают обороты. На двух других примерах мы проиллюстрируем изобретательность вирусописателей, которые пытаются максимально усложнить жизнь исследователям и антивирусным компаниям. В одном случае они использовали собственную виртуальную машину совместно с EPO техникой заражения. А в другом - «подключение» нулевых виртуальных адресов для размещения в них своих данных.

Сложнейшие техники, применяемые буткитами и полиморфными вирусами. Вячеслав З...

yaevents

Тарас Иващенко, Яндекс Администратор информационной безопасности в Яндексе. Специалист по информационной безопасности, проповедник свободного программного обеспечения, автор Termite, xCobra и участник проекта W3AF. Тема доклада Сканирование уязвимостей со вкусом Яндекса. Тезисы В докладе будет рассказано о внедрении в Яндексе сканирования сервисов на уязвимости как одного из контроля безопасности в рамках SDLC (Secure Development Life Cycle). Речь пойдет о сканировании уязвимостей на этапе тестирования сервисов, а также о сканировании сервисов, находящихся в промышленной эксплуатации. Мы рассмотрим проблемы, с которыми столкнулись, и объясним, почему в качестве основного механизма решили выбрать открытое программное обеспечение (сканер уязвимостей w3af), доработанное под наши нужды.

Сканирование уязвимостей со вкусом Яндекса. Тарас Иващенко, Яндекс

yaevents

Дмитрий Мольков, Facebook Бакалавр прикладной математики Киевского национального университета им. Тараса Шевченко (2007). Магистр компьютерных наук Stony Brook University (2009). Hadoop HDFS Commiter с 2011 года. Член команды Hadoop в Facebook с 2009 года. Тема доклада Масштабируемость Hadoop в Facebook. Тезисы Hadoop и Hive являются прекрасным инструментарием для хранения и анализа петабайтов информации в Facebook. Работая с такими объемами информации, команда разработчиков Hadoop в Facebook ежедневно сталкивается с проблемами масштабируемости и эффективности Hadoop. В докладе пойдет речь о некоторых деталях оптимизаций в разных частях Hadoop инфраструктуры в Facebook, которые позволяют предоставлять высококачественный сервис. Это может быть, например, оптимизация стоимости хранения в многопетабайтных HDFS кластерах, увеличение пропускной способности системы, сокращение времени отказа системы с помощью High Availability разработок для HDFS.

Масштабируемость Hadoop в Facebook. Дмитрий Мольков, Facebook

yaevents

Александр Козлов, Cloudera Inc. Александр Козлов, старший архитектор в Cloudera Inc., работает с большими компаниями, многие из которых находятся в рейтинге Fortune 500, над проектами по созданию систем анализа большого количества данных. Закончил аспирантуру физического факультета Московского государственного университета, после чего также получил степень Ph.D. в Стэнфорде. До Cloudera и после окончания учебы работал над статистическим анализом данных и соответствующими компьютерными технологиями в SGI, Hewlett-Packard, а также стартапе Turn. Тема доклада Контроль зверей: инструменты для управления и мониторинга распределенных систем от Cloudera. Тезисы Поддержание распределенных систем, состоящих из тысяч компьютеров, является сложной задачей. Компания Cloudera, которая специализируется на создании распределенных технологий, разработала набор средств для централизованного управления распределенных Hadoop/HBase кластеров. Hadoop и HBase являются проектами Apache Software Foundation, и их применение для анализа частично структурированных данных ускоряется во всем мире. В этом докладе будет рассказано о SCM, системе для конфигурации, настройки, и управления Hadoop/HBase и Activity Monitor, системе для мониторинга ряда ОС и Hadoop/HBase метрик, а также об особенностях подхода Cloudera в отличие от существующих решений для мониторинга (Tivoli, xCat, Ganglia, Nagios и т.д.).

Контроль зверей: инструменты для управления и мониторинга распределенных сист...

yaevents

Владимир Лосев, Google Закончил математико-механический факультет Санкт-Петербургского государственного университета в 1995 году. Работал в компаниях Motоrola, Fair Isaac и Yahoo. С 2008 года работает в Google, в группе, занимающейся вопросами повышения производительности инженеров. Тема доклада Юнит-тестирование и Google Mock. Тезисы В модульных (юнит) тестах каждый элемент программы тестируется по отдельности, в изоляции от других. Такие тесты исполняются очень быстро, поэтому их можно запускать когда угодно, что позволяет отлавливать дефекты на самых ранних стадиях разработки. Однако для тестирования объекта в изоляции от других необходимо имитировать поведение связанных с ним объектов, что на C++ довольно утомительное занятие. Разработанная в Googlе библиотека для создания и использования mock-объектов — Google Mock — позволяет существенно упростить этот процесс и ускорить написание тестов. В докладе пойдет речь о принципах и возможностях библиотеки, примерах её использования и её внутреннем устройстве.

Юнит-тестирование и Google Mock. Влад Лосев, Google

yaevents

Dave Abrahams, BoostPro Computing He is a founding member of Boost.org and an active participant in the ISO C++ standards committee. His broad range of experience in the computer industry includes shrink-wrap software development, embedded systems design and natural language processing. He has authored eight Boost libraries and has made contributions to numerous others. Dave made his mark on C++ standardization by developing a conceptual framework for understanding exception-safety and applying it to the C++ standard library. He created the first exception-safe standard library implementation and, with Greg Colvin, drafted the proposals that eventually became the standard library’s exception safety guarantees. Presentation topic: C++11 (formerly known as C++0x) is the new C++ language standard. Dave Abrahams, BoostPro Computing. Key points: The ISO C++ standardization committee has just unanimously approved its final draft international standard, and it's chock full of new features. Though a few of the features have been available for years, some are brand new, and nobody really knows what it's like to program in this new C++ language. As with C++03, Boost.org is expected to take a leading role in exploiting C++11. In this talk, I'll give an overview of the most important new developments.

C++11 (formerly known as C++0x) is the new C++ language standard. Dave Abraha...

yaevents

Алексей Воинов, Яндекс Закончил МГТУ им. Н.Э.Баумана в 1998 году. Посвятил часть своей жизни свободному программному обеспечению. Замечен в любви к языкам, как к алгоритмическим, так и к человеческим, как к естественным, так и к искусственным. Работает в Яндексе с 2009 года, занимается разработкой Яндекс.Почты. Тема доклада Зачем обычному программисту знать языки, на которых почти никто не пишет. Тезисы Есть категория алгоритмических языков, которые большинство программистов считает в лучшем случае странными. Это такие языки как Haskell, *ML, Lisp, Q. «Странные» языки не приживаются в промышленной разработке софта, потому что они не дают возможности писать стандартный «промышленный» код. Однако они бывают очень хороши для придумывания приёмов, которые помогают улучшить промышленный код. Впоследствии многие из них становятся стандартными промышленными. Знание «странных» языков очень полезно, когда в силу внешних обстоятельств сделать промышленный код радикально лучше невозможно, но его можно улучшать небольшими шагами.

Зачем обычному программисту знать языки, на которых почти никто не пишет. Але...

yaevents

Михаил Денисенко, Нигма Закончил факультет вычислительной математики и кибернетики МГУ. Завершает работу над диссертацией, посвященной математическим аспектам информационной безопасности. Занимался исследованиями в области обработки видеопоследовательностей и компьютерной безопасности в компании Intel. С 2009 года является старшим разработчиком математического сервиса в компании Nigma.ru. С 2011 года — системный архитектор поисковой системы ITim.vn. Тема доклада В поисках математики. Тезисы Nigma-Математика – это сервис, с помощью которого пользователи могут решать различные математические задачи (упрощать выражения, решать уравнения, системы уравнений и т. д.), вводя их прямо в строку поиска в виде обычного текста. Система распознает более тысячи физических, математических констант и единиц измерения, что позволяет пользователям производить операции с различными величинами (в том числе решать уравнения) и получать ответ в указанных единицах измерения. Помимо уравнений система решает все задачи, характерные для калькуляторов поисковых систем и конвертеров валют. В докладе будет описана общая схема функционирования сервиса, базовые и новые алгоритмы системы символьных вычислений (алгоритмы решения уравнений и неравенств, алгоритм учета области допустимых значений, алгоритм исследования функций и т.п.). Также будет рассказано об ускорении работы сервиса, распределении нагрузки на систему, распознавании математичности запроса, преобразовании валют и метрических величинах.

В поисках математики. Михаил Денисенко, Нигма

yaevents

Prof. Lior Wolf, Tel-Aviv University He is a faculty member at the School of Computer Science at Tel-Aviv University. Previously, he was a post-doctoral associate in Prof. Poggio's lab at MIT. He graduated from the Hebrew University, Jerusalem, where he worked under the supervision of Prof. Shashua. He was awarded the 2008 Sackler Career Development Chair, the Colton Excellence Fellowship for new faculty (2006-2008), the Max Shlumiuk award for 2004, and the Rothchild fellowship for 2004. His joint work with Prof. Shashua in ECCV 2000 received the best paper award, and their work in ICCV 2001 received the Marr prize honorable mention. He was also awarded the best paper award at the post ICCV workshop on eHeritage 2009. In addition, Lior has held several development, consulting and advisory positions in computer vision companies including face.com and superfish, and is a co-founder of FDNA. Presentation topic: Using classifiers to compute similarities between images of faces. Key points: The One-Shot-Similarity (OSS) is a framework for classifier-based similarity functions. It is based on the use of background samples and was shown to excel in tasks ranging from face recognition to document analysis. In this talk we will present the framework as well as the following results: (1) when using a version of LDA as the underlying classifier, this score is a Conditionally Positive Definite kernel and may be used within kernel-methods (e.g., SVM), (2) OSS can be efficiently computed, and (3) a metric learning technique that is geared toward improved OSS performance.

Using classifiers to compute similarities between face images. Prof. Lior Wol...

yaevents

Андрей Плахов, Яндекс Закончил с отличием механико-математический факультет МГУ в 2002 году. Защитил кандидатскую диссертацию по программированию в Институте прикладной математики им. Келдыша РАН. В Яндексе – три года, всё это время занимается повышением качества веб-поиска. Автор поискового релиза «Спектр». До Яндекса в течение семи лет делал компьютерные видеоигры. Внерабочие интересы: P-NP проблема, квантовые вычисления, структурная лингвистика, системная биология, рисование слонов шариковой ручкой. Тема доклада Поисковая технология «Спектр». Тезисы Большое количество запросов, отправленных в поиск Яндекса, формулируются неоднозначно. Например, по запросу [наполеон] кто-то хочет найти французского императора, а кто-то – рецепт торта. А задавая вопрос [пицца], человек может искать и ресторан с доставкой на дом, и рецепты, и даже фотографии пиццы. В основе работы «Спектра» лежит статистика поисковых запросов. Система исследует запросы всех пользователей Яндекса и выделяет в них различные объекты. Далее объекты распределяются по категориям: имена людей, названия фильмов и книг, города, модели автомобилей и т.д. «Спектр» учитывает, в какую категорию попадает объект, что обычно люди про него спрашивают, что пишут в интернете, и оценивает, какой процент людей ищут этот объект с каждой из возможных целей. Результаты поиска по многозначным запросам ранжируются с помощью вероятностной модели восприятия страницы результатов, при этом максимизируемой характеристикой является вероятность того, что пользователь получит нужный ему ответ.

Поисковая технология "Спектр". Андрей Плахов, Яндекс

yaevents

Julia Stoyanovich - Making interval-based clustering rank-aware

yaevents

Mike Thelwall - Sentiment strength detection for the social web: From YouTube...

yaevents

Evangelos Kanoulas — Advances in Information Retrieval Evaluation

yaevents

Ben Carterett — Advances in Information Retrieval Evaluation

yaevents

Raffaele Perego "Efficient Query Suggestions in the Long Tail"

yaevents

More from yaevents (20)