More Related Content
Similar to [DL輪読会]Deep Learning 第3章 確率と情報理論 (16)
More from Deep Learning JP (20)
[DL輪読会]Deep Learning 第3章 確率と情報理論
- 2. ��
4.52•
����• 1���13�
����• ����
����• ����
����• ����
����• ������
����• ������3���
����• ��0������
����• ������0���
����• ���1����
�����• ���1��3��1��
�����• 967�
�����• ����3�����
�����• ����
�����• ��������
- 4. � � �������
����• ������������������
��– ������������
����• �������������
���– ���������������
����• ������
���– �����
����• ���x�������������������
���– ����������
���– ������
��• ���������������������)�
����– ���
- 5. ��� �������
• ����������������������
��– �y���������������
• �������������������������
• ����������������������
– �������������������nq����
���• ������������f������������������
��������������
����������������������������– ����������������
���• �����������������������
- 8. �������� � �����������
• ��������������������������������
����– �����
��– ������������������������������
������• !��������
!– ������x�f�������������������
��– ������������������������s�����������
���������������������������������������
��������
• ∀$ ∈ x, 0 ≤ !($) ≤ 1
���–
• ∑$ ∈ x!($) = 1
- 10. ����fl�� � �����fl����
• �����������������������������������
����– �fl��
fl����• !��������
!– ������x���������������������
– ∀$ ∈ x, !($) ≥ 0�����p(x) ≤ 1��������������
– ∫ / $ 0$ = 1
• fl����!($)���������fl�����b����
eu– �2$��������fl�!($)δ$�n����
- 17. �������������� 2 ���
• ������������
– �������������������������������������
• �������������������
�����– ��������
• �������������
���– ��������
��• ������������������������c�
- 18. ��� ���9���� 2 �������
• ������������������������
– ����������������
– ��������! ∈ [0,1]������
�����• �����
- 19. ��� �������� � ��������
• ������������ ��� ������������
!– ���������������������������!�����
����• " ∈ [0,1])*+������n �,-�.��������
��• �!���������1 − 0⊺
"�r����
��• ����������
– ������������������������� �����
• {0, … , 4])������������
������• ������������o����������������l��
��������
�����• ���������������������n
- 20. ��� �������� 2 �����
• �������������������������� ���������������������
– ��������! ∈ ℝ�$ ∈ (0, ∞)�����
- 21. ��� �������� � �����
��• 3 �����������! = #$%�������
������– �������������������
- 22. ��� ���L��c� � ���c�
r�c�• �������ltM���c����M��������L��
����������r��
– �����������������������
• �����L���t������Mr�c�ML�
��– L������������������m����������icM
c���������r�c�M�������������m���
– e�c����n����c�����r�c��ltM�����l�����L�
����m��
�������• ���������
- 23. ��� �������� � �����
• ����������������������������������
����– �ℝ"
�����
�����– #������ 9$��������� �����
– ����������������� % = $'(
������
- 25. ��� �������� � �����������
• �������������������������
– ���������! = 0������������������������
• ���������������������
– ����$
- 26. ��� �������� 9 ������������
• �(�����������������
– �(������������������� !(#)�������������
• ���������������������������������
– ����������������������� ����������p����
���• ���������������%���������������
&
'
����• �����������������������i��������
��• �������scn�������������
- 27. ��� �������� � �����
• ����������������������
��– �o������bE������������
!• (#)���������������
����• �����������
����– ������������������������
• �����������������
dm– ��nu��������
����• �������������#
- 28. ��� �������� 9 �����
• ����������������� ���
����– ! " # = % ������
���– �����������s�����&(()
����*(()
���
�����• �vt��������
��– ����������������%�m�� ������������������ ����
�
�o���• +, = -(# = %)
��o�• �"������o�� #
��– � ���������������������� -(#|/)� "������n������
��– �y������������������������������y����
������������ ����������������������� ���
- 32. ��������������� � ���
• ����������������
��– ������������������������
– ��������������
• ����������������
– �������������������
����• ���������������������t����������
��• �w��������������������������������
- 33. ��������������� 2 ���������
• ���������
– ����������������������
• �����������!, #������������������$����% = $(!)�
�������
– ����������������� �������������������������
• �����
- 34. �����sp�� � ��sp������������
sp• ������
��• x = #� �����������������
– I(x)�ay� ����� ��������
• �������
'
(
�����������r���sp�
• ����������������
������– �����������
��– �����������������sp�
��– �a���������������������t�������������
– x��������� �������������������� �����
- 35. ��������� � ()��������
• �(��������)�������()�������������
– ������x�a����������P(x)�Q(x)�����������������
���������u�
()– �����������
��•
����• ����������������������������������
�������������n������
�a�•
- 39. ���� �
����• ��)���� �
�����– ����� �� ���� � ��� ���� ��� ��� ���� �� ��� ���� �
� ��� ���� � ���
��������• ��� �� ������
��– ��