微软交互创意大赛得奖

1. 2012微软精英挑战赛——引领交互未来，开启移动计算
体感水墨画唐诗教学辅助系统
一个体感水墨画创作及唐诗
教学系统：通过Kinect的体
感技术和人体识别技术，教
师可以用互动式、体验式的
教学手段， 给水墨画、
《唐诗》这有着悠久历史的
中国传统文化的瑰宝，注入
新的活力。系统可以辅助教
育儿童快速完成国画制作的
应用，通过体感控制来实现
简单快捷的组件式作画。

2. 团队信息
V-touching 中山大学 Sun yet-sen university
组长：万裕 概念设计、交互设计
成员：郭俊 概念设计、视觉支持
成员：高煊广 技术支持与实现
Contact
Blog: http://s
Weibo: http:weibo.com/v-touching
ALL material is the property of v-touching group.
Send our an email if you want to use any material.

3. Contents
1 概念介绍 Introduction
2 设计调查 Initial Studies
3 灵感来源 Inspiring Work
3 关注点 Focus
4 设计构想 Early Concepts
5 实现框架 Design Solution
5 资料引用 References
6 未来展望 Conclusion&Further Work

4. 体感水墨画唐诗教学辅助系统
通过Kinect的体感技术和人体识别技术，教师可以用互动式、体验式的教学手
段， 给《唐诗》这一有着悠久历史的中国传统文化的瑰宝之一，注入新的活
力。
老师在屏幕面前通过手势拖动一些基本元素进入屏幕画面，例如山丘、河流、
房屋等等。老师也可以通过手的动作在画面中画线条，以及利用像在触摸屏上
手势来放大或缩小图案和线条。综合完基本元素和线条后，整个水墨作画过程
就完成了，然后屏幕上会动态地作出一首最符合画面的唐诗出来。
学生可以通过预习唐诗的基础下使用我们的软件来作出诗中所描绘的内容，加
深对诗词的理解，例外可以对比理解软件所选择的诗词跟学生预习的诗词的内
容和意境。老师也可以先通过作画选诗词来给学生一个直观上的印象，加深学
生的理解，同时动画般的效果也更加吸引学生的关注。
通过水墨画创作和诗词教学的有机结合，调动起孩子们的热情和参与意识，生
动的画面、悠扬的背景音乐和传统的水墨技艺带领孩子仿佛回到了唐代——这
个在中国历史上曾经创造了无数辉煌的朝代。同时系统可以辅助教育儿童快速
完成国画制作的应用，通过体感控制来实现简单快捷的组件式作画。希望通过
诗文创作的介绍、水墨绘画的情景交融、古乐的震撼，不但能陶冶儿童的品
性，而且能纯洁儿童的心灵。
在最容易记忆的年龄里记住终身受益的……
概念介绍 Introduction

5. Keywords: 体感教学、儿童学习、中国文化
谈及中国文化，人们大多会不约而同地想到唐诗，唐诗拥有博大的中国式
审美意境，令人深深陶醉。唐诗里关于人与自然和谐的例子真是俯拾皆
是，如何与山水同乐？如何令心灵安宁？古人给出很多绝妙的答案。但遗
憾的是这门中国的传统文化艺术正在面临被人们遗忘的局面。
在教学中，存在儿童对唐诗兴趣不高、难以理解的问题，有的家长认为小
孩子学习唐诗没有什么用途 ,但事实是否真的就是这样子的呢?育儿专家指
出对于小孩子学习古诗只要将其中的诗句与日常生活中的小细节联系起
来,将抽象的事物转化成现实的实景,孩子可以轻松的能够记住很多唐诗,还
能增加孩子的内在修养呢!
关注点 Focous

6. 国画和诗歌
中国画强调“外师造化，中得心源”和深厚的传统文化内涵；融化物我，创
作意境，要求“意存笔先，画尽意在”，达到以形写神，形神兼备，气韵生
动。由于书画同源，两者在达意抒情上都强调骨法用笔、因此绘画同书
法、篆刻相互影响，相互促进。中华民族文化的中国画是具有“诗、书、
画”等中华民族文化特征，这是中中国画的根本；其最高境界就是诗情画
意。
国画：山水、花鸟、人物
诗歌：叙事诗、抒情诗、送别诗、边塞诗、山水田园诗、怀古诗（咏史
诗）、咏物诗、悼亡诗、讽喻诗
关注点 Focous

7. 7-11岁儿童的认知
这个年龄的孩童已经上小学了，开始学与语言，画画诗歌，使
我们关注的人群
• 融合和人沟通，但是收到了理解能力的限制。因此应该提供多样选择
• 孩子具有通过接受年长的人一点帮助来完成任务的能力，提供必要的支
援往往可以使孩子得到更加好的学习效果
• 儿童不按计划的行为
• 自主学习而不是被教学
• 学生的学习愿望归结于他们成长、爱与被爱、保护自我。提供自由灵活
的学习机会，迎合他们的兴趣。
• 儿童的注意力指儿童排除不必要影响，专注与某事的能力，还比较弱，
容易受旁边的事物影响
• 视觉敏感快速发展并成熟
• 记忆力模块接近成人，记忆力并不比成人差
• 对大多符号认知已经有掌握，但与现实不符的抽象表达则不知道
关注点 Focous

8. 1. Kinect Paint: Hand Painting Without the Mess
2. Kinect Graffiti
“Idea behind this project is to use the kinect to track the motion behind graffiti.
Visualizing the body and drawing trough different angles in realtime, Understanding
surrounding space, pausing the time, etc… Kinect Graffiti is a tool built in processing
& openGL, SimpleOpenNI, openNI and primeSense libraries.”
3.Kinect Teaching and Meeting Assistant
It is developed by Wuhan University & HUST.This project can make teaching and
conference presentations simpler and more convenience. It includes drawing
board, image viewer and PPT player.Speakers can directly show their content by
gestures, and no longer need any handheld device.
4. Kinect Paint
Kinect Paint is a skeleton tracking application that allows you to become the paint
brush! This application uses the Kinect for Windows SDK and its skeletal tracking
feature to create a painting experience. Use several different tools, a simple color
palette, and create a masterpiece!
This paint sample allows you to paint on a canvas using a
pen, paintbrush, airbrush, and eraser. It allows you to select different brush sizes
and colors, and to save and load.Use your right hand to control the cursor. Hover
over a button for a second to press it.To paint, hold your left hand up above your
shoulder. If the Kinect is not plugged in when you start the app, it will use the mouse
instead.
5. Let's Play Chinese Characters-
Mobile Learning Approaches via Culturally Inspired Group Games
设计调查 Initial Studies

9. 体感水墨画唐诗教学辅助系统
设计构想 Early Concept

10. 初步概念 组件式painting 将国画中常有的元素分离，形成单独的组件，
只需讲组件拖入画布中，即可形成一幅画
将国画中常有的元素分离，形成单独的组件，
画面识别诗歌生成 只需讲组件拖入画布中，即可形成一幅画
实用的操作手势 包括选择，添加，删除，旋转，转换选择，
缩放，层次透明度，一键拍照
通过季节的选择，快速变化整体画色，免去
季节的选择 复杂的调色
设计构想 Early Concept

11. 初步概念
① 季节选择框
② 组件选择框1
③ 组件选择框2
④ 画布
⑤ 垃圾桶
⑥ 完成
设计构想 Early Concept

12. 手势
在屏幕面前通过手势拖动一些基
本元素进入屏幕画面，例如山
丘、河流、房屋等等。老师也可
以通过手的动作在画面中画线
条，以及利用像在触摸屏上手势
来放大或缩小图案和线条。综合
完基本元素和线条后，整个水墨
作画过程就完成了，然后屏幕上
会动态地作出一首最符合画面的
唐诗出来。
① 缩放
② 转换选择
③ 旋转
④ 选择，层次透明度控制
⑤ 拍照
设计构想 Early Concept

13. 选择元素
设计构想 Early Concept

14. 选择元素
设计构想 Early Concept

15. 缩放元素
设计构想 Early Concept

16. 旋转元素
设计构想 Early Concept

17. 元素间的转换
设计构想 Early Concept

18. 删除元素
设计构想 Early Concept

19. 完成
设计构想 Early Concept