Universitatea Babeş-Bolyai Cluj-Napoca
Facultatea de Matematică şi Informatică
Ciclul de studii: Licenţă
Domeniul: Calculatoare şi tehnologia informaţiei
Programul de studii: Ingineria informatiei - in limba romana
Limba de predare: Română

SYLLABUS

I. Date generale
Codul	Disciplina	
MMP0006	Teoria informaţiei	

Semestrul	Ore: C+S+L+P	Categoria	Statutul	
5	2+2+0+0	specialitate	obligatorie	

II. Cadre didactice cu norma de bază în Universitate
Numele şi	Titlul	Gradul	Catedra	Tipul activităţii	
prenumele	ştiinţific	didactic		C	S	L	
LISEI Hannelore-Inge	Dr. 	Conf.	Matematică	*			

Cadre didactice asociate
Numele şi	Titlul	Instituţia	Tipul	Tipul activităţii	
prenumele	ştiinţific		postului	C	S	L	

III. Obiectivele disciplinei
Introducere în teoria informatiei, însusirea conceptelor de transmitere si prelucrare a informatiei.	

IV. Conţinutul disciplinei
* Entropie, cantitate de informatie, divergenta informationala 
* inegalitatea lui Fano, teorema de procesare a datelor
* surse de informatie, rata entropiei, lanturi Markov  
* compresia datelor,  coduri optime, coduri Huffman, coduri Shannon-Fano-Elias, coduri Shannon
* capacitatea canalelor de transmisie,  teorema de codificare a canalului
* distributii cu entropie maxima, teorema lui Burg, surse universale de coduri

V. Bibliografie
1. Blaga, P., Calculul probabilitatilor si statistica matematica. Vol. II. Curs si culegere de probleme, UBB, Cluj-Napoca, 1994
2. Cover T.M, Thomas J.A, 	Elements of Information Theory, 2nd edition, Wiley-Interscience, 2006
3. MacKay D., Information Theory, Inference and Learning Algorithms, Cambridge University Press, 2003
4. Murgan A. T., Principiile teoriei Informatiei în ingineria informatiei si a comunicatiilor, Editura Academiei Române, Bucuresti, 1998
5. W. Yeung, R.W., A First Course in Information Theory, Kluwer Academic Publishers, 2005 	

VI. Tematica activităţilor didactice pe săptămâni
Curs 1:
Scurta istorie a teoriei informatiei. Recapitularea unor notiuni de baza din teoria probabilitatilor 
Seminar 1:
Probleme din teoria probabilitatilor; aplicatii: variabile aleatoare, distributii discrete si continue, functia
de repartitie, densitatea, valoarea medie, varianta, probabilitati conditionate
Curs 2:
Recapitulare: functia logaritmica;  entropia, proprtietati ale entropiei
Seminar 2:
Example si probleme privind calculul unor entropii
Curs 3:
Cantitatea de informatie, divergenta informationala, proprtietati ale informatiei 
Seminar 3:
Example si probleme privind calculul unor cantitati de informatie
Curs 4:
Inegalitati de baza din  teoriei informatiei, functii convexe, inegalitatea lui Jensen, inegalitatea lui Gibbs si consecintele lor
Seminar 4:
Aplicatii ale inegalitatilor din  teoriei informatiei
Curs 5:
Teorema de procesare a datelor si consecintele ei, inegalitatea lui Fano’s , surse de informatie 
Seminar 5:
Generarea de numere aleatoare, metoda de inversiune si aplicatii pe calculator
Curs 6:
Rata de entropie, lanturi Markov, distributii stationare 
Seminar 6:
Exemple de surse Markov stationare, grafuri orientate
Curs 7:
Coduri, compresia datelor, inegalitatea lui Kraft, coduri optime 
Seminar 7:
Example de coduri optime
Curs 8:
Coduri optime, coduri Huffman, optimalitatea codurilor Huffman
Seminar 8:
Example de coduri Huffman 
Curs 9:
Coduri Shannon-Fano-Elias, proprietăţi
Seminar 9: Example de coduri Shannon-Fano-Elias
Curs 10:
Coduri Shannon, proprietatea de optimalitate competitivă
Seminar 10: Example de coduri Shannon
Curs 11:
Canale de comunicare, capacitatea canalelor de comunicare, teorema de codificare a canalului, coduri
corectoare 
Seminar 11:
Example de canale de comunicare si aplicatii ale teoremei de codificare a canalului
Curs 12:
Canale de transmisie Gaussiene, aplicatii ale teoriei informatiei în statistica
Seminar 12:
Example si aplicatii în statistica
Curs 13:
Distributii cu entropie maxima, teorema lui Burg
Seminar 13:
Example de distributii cu entropie maxima, rata entropiei pentru procese Gaussiene
Curs 14:
Coduri universale si capacitatea canalelor de transmisie, surse universale de coduri
Seminar 14:
Example surse universale de coduri

VII. Metode didactice folosite
Prelegerea introductivă şi de sinteză, descrierea, explicaţia, conversaţia, problematizarea noţiunilor 
introduse, prelegerea interactivă, descoperirea prin documentare, studiul individual şi/sau în echipă. 
Programarea in Matlab.	

VIII. Evaluare
Nota finala se constituie din:
Examen scris la sfârsit de semestru :  70%
Evaluarea la seminar:  30%	

IX. Bibliografie suplimentară
1.	Applebaum, D., Probability and Information, Cambridge University Press, 2008
2.	Gallager, R.G., Information Theory and Reliable Communication, Wiley, 1968
3.   Gray R.M., Entropy and Information Theory, Springer, 1999	

Decan,							Sef de catedra,
     Prof. Dr. Ţîmbulea Leon                                                 Prof. Dr. Octavian Agratini
	Data,							Titular curs,
	14.11.2011						Conf. Dr.  LISEI Hannelore-Inge