1. Облачный сервис с потоковой
моделью анализа и обработки
данных
Докладчик Пятков Владислав, АлтГУ
vldpyatkov@gmail.com
2012, Томск
2. Кому нужен анализ данных?
Управление производственным процессом
(фармакология, пищевое производство,
нефтехимическая промышленность и т.п.)
Поведенье потребителя на рынке (маркетинг)
Бизнес аналитика
Естественно научные исследования
Управление финансами
2
3. Возможности сервиса
Платформа для интеллектуального анализа
данных.
НО
Работающая в облакемодель анализа данных,
Потоковая (на удалённой машине).
НО
С возможностью анализа “Больших данных”.
Запуск модулей фреймворков для
распределённого, анализа данных
НО
Из потоковой модели.
3
4. Множество пользователей
Сервис может поддерживать десятков
пользователей одновременно.
Возможность работы в группе.
DMSaaServices
DMSaaS
Group Policy View
4
5. Как пользоваться системой?
Не нужен вычислительный ресурс.
Не нужно специального программного
обеспечения.
Достаточно доступа в интернет.
Any System
5
6. Интеграция фреймворков для
распределённого анализа данных
Hadoop является
одним из самых
популярных решения
для анализа больших
данных
DMSaaS Service
DMSaaS
Scheduler
View
6
8. Использование сторонних моделей
Модель – это данные специального вида.
Как любые данные модели можно разделять
между пользователями.
Model
Workflow
Node
Reader
User
Data
8
9. Расширение функциональности
(пользовательские модули)
public class CustomNode extends TemplateLocal { (ModuleMetaData.xml)
<root>
@Override
<mainClass>
public Properties makeProperties() {…} my.namespace.CustomNode
</mainClass>
@Override </root>
public Ports makePorts() {…}
@Override
public TaskPropertyNotValidEx validateProperty(name, property) {…}
@Override
public TaskConnectionNotValidEx validateConnection(connection, workflow) {…}
@Override
public Status calculate(Properties properties,
Map<String, DataReadable> dataByProperty,
9
10. Что происходит в облаке?
Взаимодействие происходит через внешний API
подсистем DM
Sa
aS
Clo
ud
Web-Client Core
Calculation
Strorage
Manager
Calculation Server
10
