Podstawy Teorii Informacji

·      Opis kursu

Kurs składa się tylko z 8 dwugodzinnych wykładów. Pojęcie Informacji przedstawione zostało w podejściu obiektywnym, czyli matematycznym. Istnieje również tzw. podejście subiektywne, które zostanie zasygnalizowane tylko wskazaniem źródła do samodzielnego studiowania i potraktowane będzie fakultatywnie.

Podejście obiektywne opiera się na pojęciu entropii jako miary ilościowej Informacji. W takim przypadku Informacja traktowana jest jak własność fizyczna lub strukturalna zbioru obiektów.

W ramach kursu zaprezentowana zostanie tzw. teoria Shannona (twórcy Teorii Informacji) – wtedy entropia będzie prawdopodobieństwem zajścia zdarzenia generującego informację.

W trakcie kursu zaprezentowane będą następujące kwestie:

- modele źródeł Informacji, jako matematyczne modele obiektów fizycznych, które losowo generują ciągi symboli;

- przedstawienie tych źródeł na przykładzie DMS, CSM i MSM;

- pojęcia entropii jako miary ilościowej Informacji w podejściu Shannona;

- koncepcja kodowania;

- ilustracji kodowania na przykładzie kodu Huffmana.

Część merytoryczna kursu poprzedzona zostanie niezbędnym wprowadzeniem z zakresu podstaw matematyki i teorii prawdopodobieństwa.

·      Zasady zaliczenia kursu

Kurs kończy się zaliczeniem na ocenę na podstawie pracy pisemnej.

karta modułu 

materiały fakultatywne: podejście subiektywne do pojęcia informacji