ΕΠ03 Θεωρία Πληροφορίας και Στοιχεία Κωδίκων

• Κ01 - Ανάλυση Ι

Γενική θεώρηση. Πρώτες έννοιες. Ορισμός και μέτρο της ποσότητας πληροφορίας. Χρήσιμα μεγέθη και λειτουργίες. Μελέτη πηγών διακριτών μηνυμάτων (εντροπία, πλεονασμός, κώδικες πηγής, ρυθμός παροχής πληροφορίας). Πηγές χωρίς μνήμη και πηγές Marcov. Χωρητικότητα καναλιού διακριτών μηνυμάτων. Πηγές συνεχών μηνυμάτων και αναγωγή σε διακριτά. Θεωρήματα δειγματοληψίας. ’ριστο κανάλι, Ιδανικό σύστημα, κανάλι με θόρυβο, κανάλι συνεχούς μηνύματος. Σύγκριση συστημάτων επικοινωνίας. Στοιχεία κωδικοποίησης ελέγχου σφάλματος.