Universitatea Babeş-Bolyai Cluj-Napoca
Facultatea de Matematică şi Informatică
Ciclul de studii: Licenţă
Domeniul: Calculatoare şi tehnologia informaţiei
Programul de studii: Ingineria informatiei - in limba romana
Limba de predare: Română

SYLLABUS

I. Date generale
Codul	Disciplina	
MMP0006	Teoria informaţiei	

Semestrul	Ore: C+S+L+P	Categoria	Statutul	
5	2+2+0+0	specialitate	obligatorie	

II. Cadre didactice cu norma de bază în Universitate
Numele şi	Titlul	Gradul	Catedra	Tipul activităţii	
prenumele	ştiinţific	didactic		C	S	L	
LISEI Hannelore-Inge	Dr. 	Conf.	Matematică aplicată	*	*		

Cadre didactice asociate
Numele şi	Titlul	Instituţia	Tipul	Tipul activităţii	
prenumele	ştiinţific		postului	C	S	L	

III. Obiectivele disciplinei
Introducere în teoria informaţiei, însuşirea conceptelor de transmitere şi prelucrare a informaţiei.	

IV. Conţinutul disciplinei
► Entropie, cantitate de informaţie, divergenţă informaţională 
► inegalitatea lui Fano, teorema de procesare a datelor
► surse de informaţie, rata entropiei, lanţuri Markov  
► compresia datelor,  coduri optime, coduri Huffman, coduri Shannon
► capacitatea canalelor de transmisie,  teorema de codificare a canalului
► distribuţii cu entropie maximă, teorema lui Burg, surse universale de coduri
► complexitatea Kolmogorov, principiul lungimii minime a descrierii	

V. Bibliografie
1. Blaga, P., Calculul probabilităţilor şi statistică matematică. Vol. II. Curs şi culegere de probleme, UBB, Cluj-Napoca, 1994
2. Cover T.M, Thomas J.A, 	Elements of Information Theory, 2nd edition, Wiley-Interscience, 2006
3. MacKay D., Information Theory, Inference and Learning Algorithms, Cambridge University Press, 2003
4. Murgan A. T., Principiile teoriei Informaţiei în ingineria informaţiei şi a comunicaţiilor, Editura Academiei Române, Bucureşti, 1998
5. W. Yeung, R.W., A First Course in Information Theory, Kluwer Academic Publishers, 2005 	

VI. Tematica activităţilor didactice pe săptămâni
Curs 1:
Scurtă istorie a teoriei informaţiei. Recapitularea unor noţiuni de bază din teoria probabilităţilor 
Seminar 1:
Probleme din teoria probabilităţilor; aplicaţii: variabile aleatoare, distribuţii discrete şi continue, funcţia
de repartiţie, densitatea, valoarea medie, varianţa, probabilităţi condiţionate
Curs 2:
Recapitulare: funcţia logaritmică;  entropia, proprtietăţi ale entropiei
Seminar 2:
Example şi probleme privind calculul unor entropii
Curs 3:
Cantitatea de informaţie, divergenţa informaţională, proprtietăţi ale informaţiei 
Seminar 3:
Example şi probleme privind calculul unor cantităţi de informaţie
Curs 4:
Inegalităţi de bază din  teoriei informaţiei, funcţii convexe, inegalitatea lui Jensen, inegalitatea lui Gibbs şi consecinţele lor
Seminar 4:
Aplicaţii ale inegalităţilor din  teoriei informaţiei
Curs 5:
Teorema de procesare a datelor şi consecinţele ei, inegalitatea lui Fano’s , surse de informaţie 
Seminar 5:
Generarea de numere aleatoare, metoda de inversiune şi aplicaţii pe calculator
Curs 6:
Rata de entropie, lanţuri Markov, distribuţii staţionare 
Seminar 6:
Exemple de surse Markov staţionare, grafuri orientate
Curs 7:
Coduri, compresia datelor, inegalitatea lui Kraft, coduri optime 
Seminar 7:
Example de coduri optime
Curs 8:
Coduri optime, coduri Huffman, coduri Shannon
Seminar 8:
Example de coduri Huffman şi coduri Shannon  
Curs 9:
Canale de comunicare, capacitatea canalelor de comunicare, teorema de codificare a canalului, coduri
corectoare 
Seminar 9:
Example de canale de comunicare şi aplicaţii ale teoremei de codificare a canalului
Curs 10:
Inegalitatea lui Fano’s şi inversa teoremei de codificare a canalului
Seminar 10:
Example de calcul ale capacităţii unor canale de comunicare
Curs 11:
Canale de transmisie Gaussiene, aplicaţii ale teoriei informaţiei în statistică
Seminar 11:
Example şi aplicaţii în statistică
Curs 12:
Distribuţii cu entropie maximă, teorema lui Burg
Seminar 12:
Example de distribuţii cu entropie maximă, rata entropiei pentru procese Gaussiene
Curs 13:
Coduri universale şi capacitatea canalelor de transmisie, surse universale de coduri
Seminar 13:
Example surse universale de coduri
Curs 14: 
Complexitatea Kolmogorov, principiul lungimii minime a descrierii 
Seminar 14: 
Aplicaţii ale complexităţii Kolmogorov 	

VII. Metode didactice folosite
Prelegerea introductivă şi de sinteză, descrierea, explicaţia, conversaţia, problematizarea noţiunilor 
introduse, prelegerea interactivă, descoperirea prin documentare, studiul individual şi/sau în echipă.	

VIII. Evaluare
Nota finală se constituie din:
Examen scris la sfârşit de semestru :  70%
Evaluarea la seminar:  30%	

IX. Bibliografie suplimentară
1.	Applebaum, D., Probability and Information, Cambridge University Press, 2008
2.	Gallager, R.G., Information Theory and Reliable Communication, Wiley, 1968
3.	Gray R.M., Entropy and Information Theory, Springer, 1999	

	Decan,							Sef de catedra,
Prof. Dr. ŢÂMBULEA Leon		                 Prof. Dr.  AGRATINI Octavian

	Data,							Titular curs,
       27.09.2010	      				   Conf. Dr.  LISEI Hannelore-Inge