Pranešimas XVI kompiuterininkų konferencijos sekcijoje „Lietuvių kalba kompiuterinėse technologijose“, „Kompiuterininkų dienos – 2013“, Šiauliai 2013-09-21

1. Kompiuterininkų dienos 2013, Šiauliai
Lietuviškų fonemų dinaminių
modelių analizė ir sintezė
Gražina Pyž1
Virginija Šimonytė2
Vytautas Slivinskas2
1
VU Matematikos ir informatikos institutas
2 Lietuvos edukologijos universitetas

2. 2
Tyrimų sritis
Kalbos sintezės metodai:
• Konkatenacinė sintezė
• Formantinė sintezė
Konkatenacinė sintezė remiasi į duomenų bazę įrašytais
natūralios kalbos segmentais, kurie sintezės metu yra
jungiami į žodžius.
Formantinėje sintezėje šnekos išėjimas yra sukuriamas
naudojant adityvią sintezę ir akustinį modelį.

3. 3
Aktualios problemos
Garsai, sintezuoti formantinės sintezės metodu, skamba
nenatūraliai (panašiai kaip roboto šneka). Siekiant
sumažinti sintetinį skambėjimą, būtina kurti naujus kalbos
garsų matematinius modelius, kurie gali būti naudojami
kaip sintezatoriaus bazė.

4. 4
Darbo tyrimo objektas
Darbo tyrimo objektas yra dinaminiai lietuviškos šnekos
balsių ir pusbalsių fonemų modeliai.

5. 5
Tyrimo metodika
• Skaitmeninis signalų apdorojimas,
• sistemų teorija,
• optimizavimo metodai,
• matricų teorija,
• matematinė statistika,
• programavimas Matlab aplinkoje,
• programavimas C # kalba.

6. 6
Praktinė darbo reikšmė
Pasiūlyti balsių ir pusbalsių fonemų dinaminiai modeliai gali
būti panaudoti kuriant formantinį kalbos sintezatorių.
Fonemų modeliai taip pat gali būti pritaikyti kitoms
problemoms spręsti, pavyzdžiui, gydant kalbos sutrikimus,
mokantis užsienio kalbų ar taisyklingo žodžių tarimo.

7. 7
Lietuvių kalbos fonemos

8. 8
Balsių fonemos
• Trumpas nekirčiuotas balsis (mama)
• Trumpas kirčiuotas balsis (lazda)
• Ilgas nekirčiuotas balsis (drąsa)
• Ilgas balsis kirčiuotas dešininiu kirčio ženklu (k rdas)
• Ilgas balsis kirčiuotas riestiniu kirčio ženklu ( čiū)

9. 9
Balsių fonemų pagrindinio tono kitimo
tendencijos
Pagrindinis tonas [Hz]
270
250
230
210
190
170
150
"a"
"e"
"ė"
"i"
"o"
"u"
Trumpas nekirčiuotas balsis
Trumpas kirčiuotas balsis
Ilgas nekirčiuotas balsis
Ilgas balsis kirčiuotas dešininiu kirčio ženklu
Ilgas balsis kirčiuotas riestiniu kirčio ženklu

10. 10
Pusbalsių fonemos
• Nekirčiuotas pusbalsis (
lsas)
• Kirčiuotas pusbalsis (vi kas)
• Minkštas nekirčiuotas pusbalsis (valia)
• Minkštas kirčiuotas pusbalsis (gu ti)

11. 11
Pagrindinis tonas [Hz]
Pusbalsių fonemų pagrindinio tono
kitimo tendencijos
210
190
170
150
"j"
"l"
"m"
"n"
"r"
"v"
Nekirčiuotas pusbalsis
Kirčiuotas pusbalsis
Minkštas nekirčiuotas pusbalsis
Minkštas kirčiuotas pusbalsis

12. 12
Balsiai ir pusbalsiai – periodiniai
signalai
B a l s i s /a/
P u s b a l s i s /m/

13. 13
Siūlomi sintezės metodai
• Harmoninis
Fonemos signalas išskaidomas į harmonikas
• Formantinis
Fonemos signalas išskaidomas į formantes

14. 14
Fonemos signalo padalinimas į
harmonikas
•

15. 15
Amplitudė [vnt.]
Amplitudinės dažnuminės charakteristikos
padalinimas į dažnių juostas (1)
Dažnis [Hz]
15

16. 16
16

17. 17
Amplitudė [vnt.]
Amplitudinės dažnuminės charakteristikos
padalinimas į dažnių juostas (2)
17
Dažnis [Hz]

18. 18
Pirmosios trys fonemos /a:˜/
harmonikos
18

19. 19
Amplitudė [dB]
Fonemos signalo padalinimas į
formantes
Dažnis [Hz]
Formantės – spektro gaubtinės maksimumai

20. 20
Pirmosios trys fonemos /a:˜/
formantės
20

21. 21
Fonemos signalo modelio diagrama

22. 22
Impulsinės charakteristikos modelis

23. 23
Signalo išskaidymas į bazinių signalų
matricą ir koeficientų vektorių (1)
y
N
y ( 0 ),
y (1),
,
y ( 2 ),
y(N
1)
T
fonemos signalo atskaitos
N
Vektorius y gali būti išreikštas kaip matricos Ψ ir vektoriaus α sandauga:
y
čia
α
αk
A k 1 sin(
k1
),
A k 1 cos(
Ψ( )
θ
T
N
T
Ψ( ) α
T
T
[α 1 α 2  α K ]
k1
),
A k 2 sin(
k2
koeficientų vektorius
),
bazinių signalų matrica
1
,
1
,
,
A k 2 cos(
k2
),
k
k
A k 3 sin(
2
,
K
),
A k 3 cos(
fk t,
k
t,
Ak 1
K
k3
ak1,
Ak 2
ak 2 t,
Ak 3
ak 3 t ,
2
k
1, ..., K .
k3
)
T

24. 24
Signalo išskaidymas į bazinių signalų
matricą ir koeficientų vektorių (2)
Prielaida: impulsinė charakteristika užgęsta po trijų periodų
y
M
y ( 0 ),
y (1),
y ( 2 ),
y
,
M
y(M
1)
Φ (θ ) α
T
vieno fonemos periodo
atskaitos
e

25. 25
Charakteringojo periodo išrinkimas (1)
Periodas, kurio amplitudė didžiausia, laikomas
charakteringuoju periodu

26. 26
Amplitudė [vnt.]
Charakteringojo periodo išrinkimas (2)
Laikas [s]

27. 27
Impulsinės charakteristikos parametrų
įvertinimas
r2 θ
PΦ
θ
M
PΦ
Φ Φ Φ
θ
y
1
M
Φ
2
,
ΙM
ΦΦ .
27

28. 28
Levenbergo-Markvarto metodas
(Levenberg, 1944; Marquardt, 1963)
,
Iteracinė parametrų įvertinimo lygtis:
θ
l 1
θ
l
V θ Vθ
T
l
l
čia
V θ
cl
D
PΦ
θ
y,
cl I 2 K
D
b θ
0 .001 ,
1
V θ bθ , l
T
l
θ
PΦ
θ
l
0 , 1, 
,
y.
G. Golub, V. Pereyra parodė, kad:
D
PΦ
θ
PΦ θ D
Φ B
( PΦ θ D
Φ B)
T

29. 29
Impulsinių charakteristikų parametrų
įvertinimo algoritmas
29

30. 30
Vieno-įėjimo ir vieno-išėjimo sistema
su vienetinių impulsų įėjimais
Jei į sistemos įėjimą paduosime vienetinius impulsus
vienodais laiko tarpais, išėjime gausime signalą su
identiškais periodais

31. 31
Fonemos signalo modelio diagrama

32. 32
Amplitudė [vnt.]
Sistemos įėjimų parinkimas
Laikas [s]
1)
2)
3)
Fonemos signalas dalinamas į periodus ir užfiksuojami
padalinimo taškai
Fonemos signalo komponentės dalinamos į periodus
Perioduose surandami lokalūs maksimumo taškai

33. 33
Pirmų trijų fonemos /a:˜/ MISO
sistemos kanalų įėjimai

34. 34
Amplitudė [vnt.]
Bendra įėjimų kreivė
Laikas [s]

35. 35
Eksperimentiniai tyrimai
Eksperimentuose naudojamos realių garsų atskaitos
Garso formato parametrai: PCM 48 kHz, 16 bitų; stereo

36. 36
Balsių ir pusbalsių modeliavimas
harmoniniu ir formantiniu metodais
28 balsių fonemos
19 pusbalsių fonemų

37. 37
Fonemos /a/ tikro ir modelinio signalų
spektrai

38. 38
Balsių modeliavimo tikslumas
Formantinis metodas
Harmoninis metodas

39. 39
Pusbalsių modeliavimo tikslumas
Formantinis metodas
Harmoninis metodas

40. 40
Rezultatai ir išvados
1. Lietuvių kalboje yra devyniasdešimt dvi fonemos. Dvidešimt
aštuonios iš jų yra balsių fonemos, devyniolika – pusbalsių
fonemos. Balsiai ir pusbalsiai yra periodiniai signalai.
2. Nekirčiuotų balsių ir pusbalsių fonemų pagrindiniai tonai yra
didesni už tų pačių kirčiuotų balsių ir pusbalsių fonemų
pagrindinius tonus.
3. Harmoninis metodas naudoja aukštesnės eilės modelius su
didesniu parametrų skaičiumi palyginus su formantiniu
metodu, tačiau garsai sintezuoti harmoniniu metodu skamba
natūraliau. Visų vyriškų ir moteriškų balsių signalų spektrų
vidutinių kvadratinių paklaidų vidurkis yra lygus 13.9 %
formantinio metodo atveju ir 12.4 % harmoninio metodo atveju.
Visų vyriškų ir moteriškų pusbalsių signalų spektrų vidutinių
kvadratinių paklaidų vidurkis yra lygus 19.9 % formantinio
metodo atveju ir 16.7 % harmoninio metodo atveju.

41. Ačiū už dėmesį