Information Theory and coding - نظرية المعلومات و الترميز الفصل الرابع

1. 1 ‫الفريجي‬ ‫قاسم‬ ‫محمد‬ ‫الدكتور‬ ‫أعداد‬
Chapter 4
Channel coding
Humming distance (HD) :
( ‫الـــ‬ ‫اليجاد‬HD‫سبيل‬ ‫على‬ ‫مثال‬ ‫البتات‬ ‫من‬ ‫معين‬ ‫بعدد‬ ‫مقاطع‬ ‫شكل‬ ‫على‬ ‫المرسلة‬ ‫الرسالة‬ ‫السؤال‬ ‫في‬ ‫تعطى‬ )
‫الى‬ ‫مقسمة‬ ‫الرسالة‬ ‫اعطيت‬ ‫لو‬ ‫المثال‬3‫ال‬ ‫اليجاد‬ ‫الكالم‬ ‫هذا‬ ‫معنى‬ ‫مقاطع‬HD‫اي‬mind‫عدد‬ ‫مقارنة‬ ‫خالل‬ ‫من‬
( ‫وجدنا‬ ‫نكون‬ ‫عندها‬ ‫والثاني‬ ‫االول‬ ‫المقطع‬ ‫بين‬ ‫الخطأ‬ ‫البتات‬12d‫الكرة‬ ‫اعادة‬ ‫ثم‬ )‫بين‬ ‫الخطأ‬ ‫البتات‬ ‫عدد‬ ‫وحساب‬
( ‫اي‬ ‫والثالث‬ ‫الثاني‬23d( ‫والثالث‬ ‫االول‬ ‫بين‬ ‫ثم‬ )13d‫ال‬ ‫ستكون‬ ‫هي‬ ‫خطأ‬ ‫بتات‬ ‫اقل‬ ‫فيها‬ ‫تكون‬ ‫التي‬ ‫الحالة‬ )mind
‫ال‬ ‫نحسب‬ ‫نحن‬ ‫االساس‬ ‫في‬ ‫المطلوبة‬Humming( ‫الخطأ‬ ‫البتات‬ ‫وتحديد‬ ‫اليجاد‬error detected‫كذلك‬ ‫و‬ )
( ‫تصحيحها‬ ‫ممكن‬ ‫التي‬ ‫البتات‬ ‫عدد‬error correction: ‫التالية‬ ‫القوانين‬ ‫من‬ ‫وتحسب‬ )
: ‫الخطأ‬ ‫البتات‬ ‫عدد‬ ‫حساب‬ ‫قانون‬
2t = dmin – 1
‫الــ‬ ( ‫مالحظة‬t. ‫هي‬ ‫كما‬ ‫تبقى‬ ‫تطبق‬ ‫ال‬ ‫هنا‬ )
: ‫تصحيحها‬ ‫ممكن‬ ‫التي‬ ‫البتات‬ ‫عدد‬ ‫حساب‬ ‫قانون‬
t=
𝒅𝒎𝒊𝒏−𝟏
𝟐
Example: Find the minimum HD between the following cod words: Also
determine the possible error detection & the number of error correction bits.
C1 = [100110011] , C2 = [111101100] , C3= [101100101]
Answer:
‫الــ‬ ‫ايجاد‬ ‫اوال‬HD‫الــ‬ ‫بين‬C1 , C2‫وهو‬d12‫كاالتي‬
d12= 1 0 0 1 1 0 0 1 1
1 1 1 1 0 1 1 0 0
So d12 = 7 (bit error )
d23 = 1 1 1 1 0 1 1 0 0
1 0 1 1 0 0 1 0 1
So d23 = 3 (bit error)
D13 = 1 0 0 1 1 0 0 1 1
1 0 1 1 0 0 1 0 1

2. 2 ‫الفريجي‬ ‫قاسم‬ ‫محمد‬ ‫الدكتور‬ ‫أعداد‬
So d13 = 4 (bit error )
d12 = 7 , d23 = 3 , d13 = 4 ( HD = dmin = 3 )
Error detection :
2t = dmin – 1  2t = 3 – 1 = 2 bit
Error correction:
t=
𝒅𝒎𝒊𝒏−𝟏
𝟐

𝟑−𝟏
𝟐

𝟐
𝟐
= 1 bit
 Humming weight:
‫في‬ ‫الواحدات‬ ‫عدد‬ ‫اي‬code word‫السؤال‬ ‫في‬ ‫اعطي‬ ‫لو‬ ‫المثال‬ ‫سبيل‬ ‫على‬ ‫السؤال‬ ‫في‬ ‫المعطاة‬
: ‫االتي‬
C1 = [ 1011100]  w1 = 4 (‫الكود‬ ‫لهذا‬ ‫الواحدات‬ ‫عدد‬)
C2 = [ 1011000]  w2 = 3 (‫الكود‬ ‫لهذا‬ ‫الواحدات‬ ‫عدد‬)
 Parity check code (Error detection):
 Even code ‫زوجي‬ ‫يكون‬ ‫ان‬ ‫يجب‬ ‫الواحدات‬ ‫عدد‬ ‫انه‬ ‫اي‬
 Odd code ‫فــردي‬ ‫يكون‬ ‫ان‬ ‫يجب‬ ‫الواحدات‬ ‫عدد‬ ‫انه‬ ‫اي‬
‫مسئلة‬ ‫حل‬ ‫الجل‬Parity check code (Error detection & Correction)‫اضافة‬ ‫خالل‬ ‫من‬
( ‫واحدة‬ ‫بت‬0‫او‬1‫نهاية‬ ‫في‬ )Data word‫الى‬ ‫تحويلها‬ ‫الجل‬ ‫السؤال‬ ‫في‬ ‫اعطائها‬ ‫يتم‬ ‫الي‬code
word( ‫الزوجي‬ ‫حالة‬ ‫في‬ ‫اذا‬ ‫يعني‬ ‫السؤال‬ ‫في‬ ‫المطلب‬ ‫نوع‬ ‫حسب‬ ‫يكون‬ ‫و‬ ‫ارسالها‬ ‫لغرض‬Even)
( ‫واحدة‬ ‫بت‬ ‫اضافة‬ ‫يتم‬ ‫اال‬ ‫و‬ ‫زوجي‬ ‫الكود‬ ‫في‬ ‫يكون‬ ‫الواحدات‬ ‫عدد‬ ‫فيجب‬1‫عدد‬ ‫كان‬ ‫اذا‬ ‫بعكسه‬ ‫و‬ )
( ‫صفر‬ ‫اضافة‬ ‫فيتم‬ ‫زوجي‬ ‫الواحدات‬0( ‫فردي‬ ‫المطلب‬ ‫كان‬ ‫اذا‬ .)Odd‫يكون‬ ‫الواحدات‬ ‫عدد‬ ‫فيجب‬ )
‫ف‬ ‫الكود‬ ‫في‬( ‫واحدة‬ ‫بت‬ ‫اضافة‬ ‫يتم‬ ‫واال‬ ‫ردي‬1‫اضافة‬ ‫فيتم‬ ‫فردي‬ ‫الواحدات‬ ‫عدد‬ ‫كان‬ ‫اذا‬ ‫بعكسه‬ ‫و‬ ، )
( ‫صفر‬0.)
n= number of bits In code word
k= number of bits in data word
r= the bit of addition for data word is produced code word (even or odd)
n = k + r

3. 3 ‫الفريجي‬ ‫قاسم‬ ‫محمد‬ ‫الدكتور‬ ‫أعداد‬
Example: an even parity – check code (5, 4) which mean that (n=5, k=4) :
Data word Code word Data word Code word
0010 00101 0110 01100
1010 10100 1000 10001
Example: an odd parity – check code (5, 4) which mean that (n=5, k=4) :
Data word Code word Data word Code word
0010 00100 0110 01101
1010 10101 1000 10000
 Repetition codes:
( n , k )
Code word data word
Example : A receiver of (5,1) repetition code has been received :
[100100011010101, 100011001100111,111000000111110]
 Find the decoded data word and transmitted code word ?
 Find the minimum (HD) and error detection and error correction?
 Noise (Transmission XOR Received ) ?
Sol:
*Data word :
‫اساس‬ ‫على‬ ‫يكون‬ ‫التقسيم‬ ‫مجاميع‬ ‫الى‬ ‫وورد‬ ‫الداتا‬ ‫نقسم‬ ‫السؤال‬ ‫في‬ ‫المعطاة‬ ‫وورد‬ ‫الداتا‬ ‫من‬ ‫وورد‬ ‫الكود‬ ‫اليجاد‬
‫الــ‬repetition‫مقداره‬ ‫معطي‬ ‫السؤال‬ ‫هذا‬ ‫في‬ ‫هنا‬ ‫القوسين‬ ‫داخل‬ ‫المعطى‬5‫الى‬ ‫وورد‬ ‫الداتا‬ ‫بتات‬ ‫نقسم‬ ‫اذن‬
5‫وكل‬ ‫بتات‬5‫اكثر‬ ‫البتات‬ ‫اي‬ ‫نرى‬ ‫بتات‬0‫او‬1‫ال‬ ‫ضمن‬ ‫في‬5‫ب‬: ‫يلي‬ ‫كما‬ ‫ناخذه‬ ‫االكثر‬ ‫هذه‬ ‫تات‬
10010 00110 10101 10001 10011 00111 11100 00001 11110
0 0 1 0 1 1 1 0 1
 Data word = 001,011,101

4. 4 ‫الفريجي‬ ‫قاسم‬ ‫محمد‬ ‫الدكتور‬ ‫أعداد‬
‫في‬ ‫بت‬ ‫كل‬ ‫نكرر‬ ‫المرسل‬ ‫وورد‬ ‫الكود‬ ‫اليجاد‬‫التكرار‬ ‫بمقدار‬ ‫السابقة‬ ‫الخطوه‬ ‫في‬ ‫استخراجها‬ ‫تم‬ ‫التي‬ ‫وورد‬ ‫الداتا‬
‫هنا‬ ‫المعطى‬5‫سنكرره‬ ‫وورد‬ ‫الداتا‬ ‫في‬ ‫بت‬ ‫كل‬ ‫اي‬5: ‫كاالتي‬ ‫مرات‬
*Transmitted code word =
[000000000011111,000001111111111,111110000011111]
C1 C2 C3
‫اليجاد‬dmin‫نجد‬ ‫ان‬ ‫يجب‬d12‫و‬d23‫و‬d13: ‫كاالتي‬ ‫اعاله‬ ‫الكودات‬ ‫بين‬ ‫هنا‬ ‫سابقا‬ ‫تعلمنا‬ ‫كما‬
Hd  d12, d23 , d13
C1 = 00000 00000 11111
C2 = 00000 11111 11111
d12 = 5
C2= 00000 11111 11111
C3= 11111 00000 11111
d23 = 10
C1 = 00000 00000 11111
C3 = 11111 00000 11111
d13 = 5
So : dmin = 5
Error detection  2t = dmin – 1  2t = 5 – 1 = 4 bit
Error correction  t=
𝒅𝒎𝒊𝒏−𝟏
𝟐

𝟓−𝟏
𝟐

𝟒
𝟐
= 2bit
‫ال‬ ‫اليجاد‬Noise‫البتات‬ ‫تطابق‬ ‫حيث‬ ‫من‬ ‫المستلمه‬ ‫البيانات‬ ‫مع‬ ‫المرسله‬ ‫البيانات‬ ‫في‬ ‫مقطع‬ ‫كل‬ ‫بمقارنه‬ ‫نقوم‬
‫تاثير‬ ‫يتبين‬ ‫وهنا‬ ‫خاطئة‬ ‫بصوره‬ ‫وايها‬ ‫صحيحه‬ ‫بصوره‬ ‫وصلت‬ ‫البتات‬ ‫اي‬‫ال‬Noise: ‫كاالتي‬
Noise = transmitted XOR received
n1 = 000000000011111 XOR 100100011010101= 100100011001010
n2 = 000001111111111 XOR 100011001100111 = 100010110011000
n3 = 111110000011111 XOR 111000000111110 = 000110000100001

5. 5 ‫الفريجي‬ ‫قاسم‬ ‫محمد‬ ‫الدكتور‬ ‫أعداد‬
 Hamming code (7,4)
n=k+r
r=k-n
r= 3bit  ( P1 , P2 , P3)
k=4 bits  (d1 , d2 , d3 , d4)
: ‫يلي‬ ‫كما‬ ‫جدول‬ ‫بناء‬ ‫على‬ ‫الطريقة‬ ‫هذه‬ ‫تعتمد‬
: ‫ادناه‬ ‫الجدول‬ ‫بناء‬ ‫الحل‬ ‫في‬ ‫خطوه‬ ‫اول‬
7654321#Bits
d4d3d2P3d1P2P1Transmitted
Bit
Value
( ‫قيم‬d1,d2,d3,d4( ‫قيم‬ ‫نستخرج‬ ‫نحن‬ ‫السؤال‬ ‫في‬ ‫تعطي‬ )P1,P2,P3: ‫االتي‬ ‫القانون‬ ‫من‬ )
P1 = d1 d2 d4 ( d3 ‫عدى‬ ‫ما‬ ‫الكل‬ )
P2 = d1 d3 d4 ( d2 ‫عدى‬ ‫ما‬ ‫الكل‬ )
P3= d2 d3 d4 ( d1 ‫عدى‬ ‫ما‬ ‫)الكل‬
‫على‬ ‫اعاله‬ ‫السابقه‬ ‫الخطوه‬ ‫ادخال‬ ‫هي‬ ‫للحل‬ ‫الثانيه‬ ‫الخطوه‬syndrome: ‫كاالتي‬
*Syndrome
A= P1 d1 d2 d4
B= P2 d1 d3 d4
C= P3 d2 d3 d4
‫هو‬ ‫السابقة‬ ‫الخطوه‬ ‫من‬ ‫الناتج‬ABC‫اي‬ ‫االعلى‬ ‫الى‬ ‫االسفل‬ ‫من‬ ‫يؤخذ‬CBA‫اذن‬ ‫منها‬ ‫اصفار‬ ‫الناتج‬ ‫كان‬ ‫اذا‬
. ‫خطأ‬ ‫اي‬ ‫دون‬ ‫من‬ ‫ايصالها‬ ‫تم‬ ‫البيانات‬

6. 6 ‫الفريجي‬ ‫قاسم‬ ‫محمد‬ ‫الدكتور‬ ‫أعداد‬
‫ال‬ ‫خطوه‬ ‫ناتج‬ ‫قراءة‬ ‫خالل‬ ‫من‬ ‫وجد‬ ‫ان‬ ‫الخطا‬ ‫البت‬ ‫اليجاد‬CBA‫ثم‬ ‫الباينري‬ ‫بصيغة‬ ‫االعلى‬ ‫الى‬ ‫االسفل‬ ‫من‬
‫ال‬ ‫الديسمل‬ ‫الى‬ ‫تحويلها‬‫الحاله‬ ‫بعكس‬ ‫البت‬ ‫هذا‬ ‫ونقلب‬ ‫المستلمه‬ ‫البيانات‬ ‫نذهب‬ ‫الخطا‬ ‫البت‬ ‫رقم‬ ‫هو‬ ‫الناتج‬ ‫رقم‬
‫هو‬ ‫البت‬ ‫كان‬ ‫ان‬ ‫االن‬ ‫عليها‬ ‫هو‬ ‫التي‬0‫يصبح‬1‫الخطا‬ ‫البت‬ ‫ايجاد‬ ‫يطلب‬ ‫االسئلة‬ ‫بعض‬ ‫في‬ . ‫صحيح‬ ‫والعكس‬
. ‫التنويه‬ ‫اقتضى‬ ‫لذا‬ ‫وتصحيحه‬ ‫اين‬
Example : Suppose we want to transmit the data (1011) over noisy
communication channel determine the hamming code word(7,4) :
Sol:
( ‫بت‬ ‫البارتي‬ ‫ايجاد‬ ‫للحل‬ ‫االولى‬ ‫الخطوه‬Parity bit: ‫االتي‬ ‫الجدول‬ ‫الكمال‬ )
7654321#Bits
d4d3d2P3d1P2P1Transmitted
Bit
1100110Value
P1 = d1 d2 d4  1 0 1 = 0
P2 = d1 d3 d4  1 1 1 = 1
P3= d2 d3 d4  0 1 1 = 0
‫الــ‬ ‫الى‬ ‫البيانات‬ ‫ادخال‬ ‫االتية‬ ‫الخطوه‬Syndrome: ‫كاالتي‬
A= P1 d1 d2 d4  0 1 0 1 = 0
B= P2 d1 d3 d4  1 1 1 1 = 0
C= P3 d2 d3 d4  0 0 1 1 = 0
CBA = 000 ( No error detection )
( ‫يلي‬ ‫كما‬ ‫المستلمه‬ ‫البتات‬ ‫احد‬ ‫في‬ ‫خطأ‬ ‫حصل‬ ‫انه‬ ‫لتفرض‬(0110111‫البت‬ ‫ابن‬ ‫واكتشاف‬ ‫البيانات‬ ‫من‬ ‫للتاكد‬
‫الــ‬ ‫الى‬ ‫البتات‬ ‫ندخل‬ ‫الخطأ‬Syndrome: ‫كاالتي‬ ‫جديد‬ ‫من‬
A= P1 d1 d2 d4  0 1 1 1 = 1
B= P2 d1 d3 d4  1 1 1 1 = 0
C= P3 d2 d3 d4  0 1 1 1 = 1
CBA = 101  5 ‫الخطأ‬ ‫هو‬ ‫الخامس‬ ‫البت‬ ‫اذن‬
0110111  ‫للــ‬ ‫يقلب‬ ‫هنا‬ ‫الحاليه‬ ‫حالته‬ ‫عكس‬ ‫يقلب‬  0110011