Universitatea Babeş-Bolyai Cluj-Napoca
Facultatea de Matematică şi Informatică
Ciclul de studii: Licenţă
Domeniul: Informatică
Programul de studii: Informatică - linia de studiu maghiară
Limba de predare: Maghiară

SYLLABUS

I. Általános adatok
Kód	Tantárgy neve	
MMP0006	Teoria informaţiei	

Félév	Órák: C+S+L+P	Kategória	Típus	
5	2+1+0+0	Szaktantárgy	Opcionális	

II. Foállásban az  Egyetem  oktatói 
Név	Tudományos	Oktatói	Tanszék	Tevékenység	
	Fokozat	státus		E	Sz	L	
CSATÓ Lehel	Dr. 	Conf.	Programnyelvek és programozási módszerek	*			
BODÓ Zalán	Dr.	Asist.	Programnyelvek és programozási módszerek		*	*	

Társult oktatók
Név	Tudományos	Intézmény	Állás	Tevékenység 	
	Fokozat		típusa	E	Sz	L	

III. A tantárgy célkitűzései
A tantárgy célja a bevezetés a modern információelméletbe, a fontosabb információ-elméleti fogalmak elsajátítása. A cél az entrópia, a mutuális információ a csatornakapacitás fogalmainak használata a komplexitás, az adattömörítés fogalmainak a leírásakor. Az előadások során a hangsúly a lehetséges gyakorlati alkalmazásokon lesz, valamint bemutatjuk az információelmélet kapcsolatát a statisztikával és a valószínség-számítással. A gyakorlati részekben bemutatjuk az információelmélet alkalmazásait a sűrítési és tömörítési feladatoknál, a hibajavító kódoknál, illetve bemutatjuk a CDMA-típusú kódokat. Alkalmazzuk a maximum entrópia elvét feladatok megoldásánál. Bemutatjuk a Kolmogorov-féle programkomplexitást, illetve a komplexitás mérésének különböző módjait.	

IV. A tantárgy tartalma
A félév során megismerkedünk az információelmélet történeti hátterével, Shannon munkásságával. Példákon keresztül illusztráljuk az információelmélet mint tantárgy illetve az információelméleti fogalmak ismeretének a fontosságát.
Az előadások során kapcsolatokat teremtünk a valószínűség-számítás és statisztika valamint az információelmélet diszciplínái között, röviden ismételjük a fontosabb valószínűségszámitási alapfogalmakat.
Bemutatjuk a Shannon által bevezetett entrópia-fogalmat, annak a tulajdonságait, a relatív entrópiát és annak mérését. Az entrópia-egyenlőtlenségek tanulmányozása által betekintést nyerünk az entrópiával rendelkező rendszerek dinamikájába. 
Definiáljuk az információt, mint matematikai mennyiséget, az információ-forrást, illetve osztályozzuk a jellemzők szerint. 
A modern információelmélet egyik legismertebb alkalmazását, a csatornakódolást definiáljuk, alsó korlátot adunk a kód hosszára, majd különböző kódokat mutatunk be, azok jellemzőivel: Huffman-kód, Shannon-kód, univerzális kódok.
Bemutatjuk a veszteséges tömörítést és alkalmazzuk azt képekben használt információk tömörítésére. A modern információelmélet fontos alkalmazását, a hibajavító kódolást is bemutatjuk, tanulmányozva annak tulajdonságait.
A maximum-entrópia elvének alkalmazása után a Kolmogorov-féle komplexitást definiáljuk, majd a különböző alkalmazási területek bemutatása után ismétléssel zárjuk a félévet.	

V. Könyvészet
1.	Blaga, P., 	Calculul probabilităţilor şi statistică matematică. Vol. II. Curs şi culegere de probleme, UBB, Cluj-Napoca, 1994.
2.	Cover T.M, Thomas J.A, 	Elements of Information Theory, 2nd edition, Wiley-Interscience, 2006
3. 	Györfi L., Győri S., Vajda I., Információ- és kódelmélet, Typotex Kiadó, 2002.
4. 	MacKay D., Information Theory, Inference and Learning Algorithms, Cambridge University Press, 2003.
5.	Murgan A. T., Principiile teoriei Informaţiei în ingineria informaţiei şi a comunicaţiilor, Editura Academiei Române, Bucureşti, 1998.	

VI. Az oktatói tevékenység heti tematikája
1.	Történeti háttér:
Bemutatjuk az információelmélet kialakulásának a folyamatát, a Shannon által bevezetett fogalmak alapjaira épülő tudomány- és iparágakat. Hangsúlyt fektetünk a különböző alkalmazási területekre.
2.	Bevezető fogalmak, ismétlés:
Halmazelméleti alapfogalmak. A valószínűségi változók, változó-vektorok. Eloszlás- és sűrűségfüggvények. Feltételes eloszlások fogalma. Valószínűségi változók és feltételes valószínűségi változók jellemzői: átlag, szórás, deviancia, korreláció, korrelációs együttható.
3.	Entrópia
Entrópia és annak tulajdonságai. Relatív entrópia. Példák és gyakorlatok az entrópia mérésére.
Példák a relatív entrópia mérésére.
4.	Entrópia-egyenlőtlenségek
Jensen egyenlőtlenség, következmények. Log-szum egyenlőtlenség. Fano-egyenlőtlenség.
5.	Információ fogalma
Információ mérése, Shannon-féle információ-mérték. Diszkrét információ-források, ergodikus és nem-ergodikus források.
6.	Csatornák és csatorna-kódolás
Példák kódokra, Kraft egyenlőtlenség. Optimális kódok, Optimális kódhossz alsó korlátai,
7.	Huffman- és Shannon-kódok
Huffman kódok. Huffman kódok optimalitása, A Shannon-Fano-Elias kódolás és annak optimalitása.
8.	Univerzális kódolás
az aritmetikai kódolás illetve az univerzális kódolási algoritmusok bemutatása. Feladatok az algoritmusokkal.
9.	Tömörítési algoritmusok
Veszteséges sűrítési és tömörítési algoritmusok, példa képtömörítésre.
10.	Hibajavító kódolás
A különböző hibajavító kódolási algoritmusok bemutatása alkalmazásokon keresztül.
11.	Maximum-entrópia elve
A maximum-entrópia elve. Gyakorlatok oldása a max-ent princípium alapján.
12.	Információ-elmélet és statisztika kapcsolata
Nagy számok törvényei. Univerzális kódolás, Deviáció-elméletek. Sanov-tétel és annak alkalmazásai.
13.	Kolmogorov-komplexitás
Számítás-modellek, A Kolmogorov-komplexitás definíciója. Példák. A Kolmogorov komplexitás és az entrópia, Occam-borotva elve, az MDL-princípium.
14.	Alkalmazások és ismétlés
Alkalmazások a pénzügyi matematikában és kriptográfiában, a szerencsejátékok modellezésénél.	

VII. Alkalmazott didaktikai módszerek
Kifejtés módszere, a problematizálás módszere, rákérdezés és rávezetés, egyéni feladatok megoldására való ösztönzés. Használunk a megfelelő programnyelvekkel felszerelt számítógépeket gyakorlásra; vetítőt az előadásokhoz kivetítéséhez. Az előadások tematikája, a laborfeladatok és a kötelező olvasmányok letölthető anyaga közös gyűjtőhelye:
 		http://www.cs.ubbcluj.ro/~csatol/inf_elm	

VIII. Értékelés
A félév-végi jegy írásbeli vizsga eredménye. A vizsgán való részvételhez szükséges a szemináriumon kitűzött feladatoknak a leadása.
A félév során lehetőség van egyéni illetve legtöbb három főt tartalmazó projektek bemutatására, melyekkel a félév végi szóbeli vizsga részlegesen vagy teljesen kiváltható.

A feladatok értékelései a vizsgapontok 40%-át képezik, az írásbeli a maradék 60%-ot.	

IX. Kiegészíto könyvészet
1.	Gray R.M., Entropy and Information Theory, Springer, 1999.
2.	Chen P., Alajajiz F., Lecture Notes on Information Theory, Department of Mathematics & Statistics, Queen’s University, Kingston, Canada.
3.	Yeung R.W., A First Course in Information Theory, Springer 2002.	

	Dékán,							Tanszékvezető,

	Dátum,								Előadás felelőse,
	2010. október  1							Conf. Dr.  CSATÓ Lehel