fişa disciplinei
1. Date despre program
1.1 Instituţia de învăţământ superior	Universitatea Babes-Bolyai Cluj-Napoca	
1.2 Facultatea	Facultatea de Matematica si Informatica	
1.3 Departamentul	Departamentul de matematica	
1.4 Domeniul de studii	Stiinţa calculatoarelor	
1.5 Ciclul de studii	Licenţă	
1.6 Programul de studiu / Calificarea	Ingineria Informaţiei	

2. Date despre disciplină
2.1 Denumirea disciplinei	Teoria informaţiei	
2.2 Titularul activităţilor de curs	Conf. dr. Trîmbiţaş Radu Tiberiu	
2.3 Titularul activităţilor de seminar	Asist. dr. Radu Zapotinschi	
2.4 Anul de studiu	3	2.5 Semestrul	5	2.6. Tipul de evaluare	E	2.7 Regimul disciplinei	Obligatoriu	

3. Timpul total estimat (ore pe semestru al activităţilor didactice)
3.1 Număr de ore pe săptămână	4	Din care: 3.2 curs	2	3.3 seminar/laborator	2	
3.4 Total ore din planul de învăţământ	56	Din care: 3.5 curs	28	3.6 seminar/laborator	28	
Distribuţia fondului de timp:	ore	
Studiul după manual, suport de curs, bibliografie şi notiţe	20	
Documentare suplimentară în bibliotecă, pe platformele electronice de specialitate şi pe teren	10	
Pregătire seminarii/laboratoare, teme, referate, portofolii şi eseuri	20	
Tutoriat	14	
Examinări 	4	
Alte activităţi: pregatire administrativa test+examen	1	
3.7 Total ore studiu individual	50	
3.8 Total ore pe semestru	125	
3.9 Numărul de credite	5	

4. Precondiţii (acolo unde este cazul)
4.1 de curriculum	•	Analiză matematică, probabilităţi	
4.2 de competenţe	•	programare MATLAB	

5. Condiţii (acolo unde este cazul)
5.1 De desfăşurare a cursului	•	de preferat videoproiector	
5.2  De desfăşurare a seminarului/laboratorului	•	de preferat reţea de calculatoare	

6. Competenţele specifice acumulate
Competenţe profesionale	•	Cunoaşterea, înţelegerea şi utilizarea conceptelor de bază ale Informaticii teoretice  
•	Cunoaşterea, înţelegerea şi utilizarea conceptelor de bază ale Ingineriei software
•	Abilitatea de a înţelege şi aborda probleme de modelare din alte domenii şi ştiinţe	
Competenţe transversale	•	Abilităţi de programare în limbaje de nivel înalt
•	Abilităţi de a dezvolta şi întreţine sisteme software
•	Înţelegerea în profunzime a unei organizaţii din lumea reală (structura şi procesele purtătoare de informaţie)
•	Abilităţi de a to analiza, sntetiza şi modela fenomene şi procese din diverse domenii (economie, ştiinţă, cercetare, educaţie) utilizând metode adecvate din matematică, statistică, informatică şi inginerie software.	

7. Obiectivele disciplinei (reieşind din grila competenţelor acumulate)
7.1 Obiectivul general al disciplinei	•	Cunoaşterea conceptelor de bază ale Teoriei informaţiei
•	Aplicarea lor în practică	
7.2 Obiectivele specifice

	•	concepte fundamentale ale Teoriei informaţiei ca: entropie, informaţie mutuală şi exemple de surse
•	rezultate privind compresia datelor şi coduri optimale, capacitatea canalului, rata de transmisie, complexitate  Kolmogorov 	

8. Conţinuturi
8.1 Curs	Metode de predare	Observaţii	
Scurta istorie a teoriei informatiei. Recapitularea unor notiuni de baza din teoria probabilitatilor 	Prelegerea, descrierea, conversaţia, descoperirea, studiul individual		
Recapitulare: functia logaritmica;  entropia, proprietati ale entropiei	Prelegerea, descrierea, conversaţia, descoperirea, studiul individual		
Cantitatea de informatie, divergenta informationala, proprtietati ale informatiei 	Prelegerea, descrierea, conversaţia, descoperirea, studiul individual		
Inegalitati de baza din  teoriei informatiei, functii convexe, inegalitatea lui Jensen, inegalitatea lui Gibbs si consecintele lor	Prelegerea, descrierea, conversaţia, descoperirea, studiul individual		
Teorema de procesare a datelor si consecintele ei, inegalitatea lui Fano’s , surse de informatie 	Prelegerea, descrierea, conversaţia, descoperirea, studiul individual		
Rata de entropie, lanturi Markov, distributii stationare 
	Prelegerea, descrierea, conversaţia, descoperirea, studiul individual		
Coduri, compresia datelor, inegalitatea lui Kraft, coduri optime 	Prelegerea, descrierea, conversaţia, descoperirea, studiul individual		
Coduri optime, coduri Huffman, optimalitatea codurilor Huffman	Prelegerea, descrierea, conversaţia, descoperirea, studiul individual		
Coduri Shannon-Fano-Elias, proprietăţi	Prelegerea, descrierea, conversaţia, descoperirea, studiul individual		
Coduri Shannon, proprietatea de optimalitate competitivă	Prelegerea, descrierea, conversaţia, descoperirea, studiul individual		
Canale de comunicare, capacitatea canalelor de comunicare, teorema de codificare a canalului, coduri corectoare 	Prelegerea, descrierea, conversaţia, descoperirea, studiul individual		
Canale de transmisie Gaussiene, aplicatii ale teoriei informatiei în statistica	Prelegerea, descrierea, conversaţia, descoperirea, studiul individual		
Distributii cu entropie maxima, teorema lui Burg	Prelegerea, descrierea, conversaţia, descoperirea, studiul individual		
Coduri universale si capacitatea canalelor de transmisie, surse universale de coduri	Prelegerea, descrierea, conversaţia, descoperirea, studiul individual		
Bibliografie
1. Blaga, P., Calculul probabilitatilor si statistica matematica. Vol. II. Curs si culegere de probleme, UBB, Cluj-Napoca, 1994
2. Cover T.M, Thomas J.A, 	Elements of Information Theory, 2nd edition, Wiley-Interscience, 2006
3. MacKay D., Information Theory, Inference and Learning Algorithms, Cambridge University Press, 2003
4. Murgan A. T., Principiile teoriei Informatiei în ingineria informatiei si a comunicatiilor, Editura Academiei Române, Bucuresti, 1998
5. W. Yeung, R.W., A First Course in Information Theory, Kluwer Academic Publishers, 2005 

6. Applebaum, D., Probability and Information, Cambridge University Press, 2008

7. Gallager, R.G., Information Theory and Reliable Communication, Wiley, 1968

8. Gray R.M., Entropy and Information Theory, Springer, 1999

	
8.2 Seminar / laborator	Metode de predare	Observaţii	
Exemple si probleme privind calculul unor entropii	Conversaţia, descoperirea, studiul individual, programare MATLAB		
Exemple si probleme privind calculul unor cantitati de informatie
	Conversaţia, descoperirea, studiul individual, programare MATLAB		
Aplicatii ale inegalitatilor din  teoriei informatiei
	Conversaţia, descoperirea, studiul individual, programare MATLAB		
Generarea de numere aleatoare, metoda de inversiune si aplicatii pe calculator	Conversaţia, descoperirea, studiul individual, programare MATLAB		
Rata de entropie, lanturi Markov, distributii stationare 
	Conversaţia, descoperirea, studiul individual, programare MATLAB		
Exemple de surse Markov stationare, grafuri orientate	Conversaţia, descoperirea, studiul individual, programare MATLAB		
Exemple de coduri optime	Conversaţia, descoperirea, studiul individual, programare MATLAB		
Exemple de coduri Huffman 	Conversaţia, descoperirea, studiul individual, programare MATLAB		
Exemple de coduri Shannon-Fano-Elias	Conversaţia, descoperirea, studiul individual, programare MATLAB		
 Exemple de coduri Shannon	Conversaţia, descoperirea, studiul individual, programare MATLAB		
Exemple de canale de comunicare si aplicatii ale teoremei de codificare a canalului	Conversaţia, descoperirea, studiul individual, programare MATLAB		
Exemple si aplicatii în statistica	Conversaţia, descoperirea, studiul individual, programare MATLAB		
Exemple de distributii cu entropie maxima, rata entropiei pentru procese Gaussiene	Conversaţia, descoperirea, studiul individual, programare MATLAB		
Exemple surse universale de coduri	Conversaţia, descoperirea, studiul individual, programare MATLAB		
Bibliografie	
1. Cover T.M, Thomas J.A, 	Elements of Information Theory, 2nd edition, Wiley-Interscience, 2006
2. MacKay D., Information Theory, Inference and Learning Algorithms, Cambridge University Press, 2003

	

9. Coroborarea conţinuturilor disciplinei cu aşteptările reprezentanţilor comunităţii epistemice, asociaţiilor profesionale şi angajatori reprezentativi din domeniul aferent programului
•	Cursul există în programa de studiu a universităţilor importante din România şi strainătate;
•	Cursul este considerat important pentru competenţe medii de programare de companiile cu procupări în domeniul prelucrării, codificării şi transmiterii informaţiei  

10. Evaluare
Tip activitate	10.1 Criterii de evaluare	10.2 metode de evaluare	10.3 Pondere din nota finală	
10.4 Curs	Cunoaşterea principiilor de bază ale Teoriei informaţiei	Examen	60%	
	Aplicare la codificare si transmisia informaţiei			
10.5 Seminar/laborator	Abilitatea de a implementa concepte si algoritmi	Verificare pe parcurs	40%	
	Abilitatea de a scrie aplicaţii in care sunt implicate conceptele predate			
10.6 Standard minim de performanţă	
•	 Minim 5 la examen şi minim 5 pentru activitatea de seminar

	

Data completării		  Titular de curs		               Titular de seminar
26/09/2012.		conf. dr. Trîmbiţaş Radu Tiberiu		asist. dr. Zapotinschi Radu

Data avizării în departament			                          Director de departament	
...........................................						…............................