A tantárgy adatlapja
1. A képzési program adatai
1.1 Felsőoktatási intézmény	Babeș–Bolyai Tudományegyetem	
1.2 Kar 	Matematika és Informatika Kar	
1.3  Intézet	Magyar Matematika és Informatika Intézet	
1.4 Szakterület	informatika	
1.5 Képzési szint	alapképzés	
1.6 Szak / Képesítés	informatika	

2. A tantárgy adatai
2.1 A tantárgy neve	Információelmélet	
2.2 Az előadásért felelős tanár neve	Bodó Zalán-Péter	
2.3 A szemináriumért felelős tanár neve	Bodó Zalán-Péter	
2.4 Tanulmányi év	3	2.5 Félév	1	2.6. Értékelés módja	vizsga	2.7 Tantárgy típusa	opcionális – szak	

3. Teljes becsült idő (az oktatási tevékenység féléves óraszáma)
3.1 Heti óraszám	3	melyből: 3.2 előadás	2	3.3 szeminárium/labor	1/0	
3.4 Tantervben szereplő össz-óraszám	42	melyből: 3.5 előadás	28	3.6 szeminárium/labor	14/0	
A tanulmányi idő elosztása:	óra	
A tankönyv, a jegyzet, a szakirodalom vagy saját jegyzetek tanulmányozása	30	
Könyvtárban, elektronikus adatbázisokban vagy terepen való további tájékozódás	30	
Szemináriumok / laborok, házi feladatok, portofóliók, referátumok, esszék kidolgozása	30	
Egyéni készségfejlesztés (tutorálás)	10	
Vizsgák	8	
Más tevékenységek: ..................	0	
3.7 Egyéni munka össz-óraszáma	108	
3.8 A félév össz-óraszáma	150	
3.9 Kreditszám	6	

4. Előfeltételek (ha vannak)
4.1 Tantervi	•	Nincs	
4.2 Kompetenciabeli	•	Valószínűségszámítás, statisztika	

5. Feltételek (ha vannak)
5.1 Az előadás lebonyolításának feltételei	•	Az elődásokhoz videoprojektor szükségeltetik.
•	A példák kifejtéséhez tábla szükséges.	
5.2 A szeminárium / labor lebonyolításának feltételei	•	A szemináriumi feladatmegoldáshoz tábla szükséges.	

6. Elsajátítandó jellemző kompetenciák
Szakmai kompetenciák	•	A Shannon-féle információelmélet alapfogalmainak ismerete
•	Hibajavító kódok ismerete és alkalmazása
•	Tömörítési algoritmusok ismerete és alkalmazása
•	Az algoritmusok implementálása	
Transzverzális kompetenciák 	•	Önálló tanulás
•	Munkamódszerek, módszertani kompetenciák
•	Kritikus gondolkodás és reflexió	

7. A tantárgy célkitűzései (az elsajátítandó jellemző kompetenciák alapján)
7.1 A tantárgy általános célkitűzése	•	A tantárgy célja a bevezetés a modern információelméletbe, a fontosabb információ-elméleti fogalmak elsajátítása. A cél az entrópia, a mutuális információ a csatornakapacitás fogalmainak használata a komplexitás, az adattömörítés fogalmainak a leírásakor. Az előadások során a hangsúly a lehetséges gyakorlati alkalmazásokon lesz, valamint bemutatjuk az információelmélet kapcsolatát a statisztikával és a valószínség-számítással.	
7.2 A tantárgy sajátos célkitűzései

	•	A használt fogalmak, elvek és algoritmusok ismerete és alkalmazása.
•	A tanultak alkalmazása nem kifejezetten információelméleti problémák megoldásában.	

8. A tantárgy tartalma
8.1 Előadás	Didaktikai módszerek	Megjegyzések	
1. Történeti háttér: Bemutatjuk az információelmélet kialakulásának a folyamatát, a Shannon által bevezetett fogalmak alapjaira épülő tudomány- és iparágakat. Hangsúlyt fektetünk a különböző alkalmazási területekre.	tanári magyarázat, munkáltatás		
2. Bevezető fogalmak, ismétlés: Halmazelméleti alapfogalmak. A valószínűségi változók, változó-vektorok. Eloszlás- és sűrűségfüggvények. Feltételes eloszlások fogalma. Valószínűségi változók és feltételes valószínűségi változók jellemzői: átlag, szórás, deviancia, korreláció, korrelációs együttható.	tanári magyarázat, munkáltatás		
3. Entrópia: Entrópia és annak tulajdonságai. Relatív entrópia. Példák és gyakorlatok az entrópia mérésére.
Példák a relatív entrópia mérésére.	tanári magyarázat, munkáltatás		
4. Entrópia-egyenlőtlenségek: Jensen egyenlőtlenség, következmények. Log-szum egyenlőtlenség. Fano-egyenlőtlenség.	tanári magyarázat, munkáltatás		
5. Információ fogalma: Információ mérése, Shannon-féle információ-mérték. Diszkrét információ-források, ergodikus és nem-ergodikus források.	tanári magyarázat, munkáltatás		
6. Veszteségmentes adattömörítések: Példák kódokra, Kraft-egyenlőtlenség. Optimális kódok, optimális kódhossz korlátai, híres egyenlőtlenségek.	tanári magyarázat, munkáltatás		
7. Huffman és Shannon-kódok: Huffman kódok. Huffman kódok optimalitása, a Shannon-Fano kódolás.	tanári magyarázat, munkáltatás		
8. Aritmetikai és univerzális kódolás: Az aritmetikai kódolás illetve az univerzális kódolási algoritmusok (LZ77, LZ78 és LZW) bemutatása. Feladatok az algoritmusokkal.	tanári magyarázat, munkáltatás		
9. Hibajavító kódolás: A különböző hibajavító kódolási algoritmusok bemutatása alkalmazásokon keresztül: alapfogalmak, Hamming-távolság, kódtávolság, hibajelzés, hibajavítás, törléses hiba, Singleton-korlát, lineáris kódok, bináris lineáris kódok, generátor és paritásmátrix, szindróma-dekódolás.	tanári magyarázat, munkáltatás		
10. Hibajavító kódolás II.: Reed-Solomon-kódok, hibajavító kódok a gépi tanulásban.	tanári magyarázat, munkáltatás		
11. Veszteséges tömörítési algoritmusok: Kvantálás, prediktív kódolás, Jayant-kvantáló.	tanári magyarázat, munkáltatás		
12. Képek tömörítése: SVD alapú képtömörítés, fraktál alapú képtömörítés, JPEG.	tanári magyarázat, munkáltatás		
13. Maximum-entrópia elve: A maximum-entrópia elve. Gyakorlatok oldása a max-ent princípium alapján.	tanári magyarázat, munkáltatás		
14. Összefoglalás, ismétlés	tanári magyarázat, munkáltatás		
Könyvészet
[1] Blaga, P. Calculul probabilităţilor şi statistică matematică. Vol. II. Curs şi culegere de probleme, UBB, Cluj-Napoca, 1994.
[2] Cover T.M, Thomas J.A. Elements of Information Theory. 2nd edition, Wiley-Interscience, 2006.
[3] Györfi L., Győri S., Vajda I. Információ- és kódelmélet, Typotex Kiadó, 2002.
[4] MacKay D. Information Theory, Inference and Learning Algorithms. Cambridge University Press, 2003.
[5] Murgan A. T. Principiile teoriei informaţiei în ingineria informaţiei şi a comunicaţiilor. Editura Academiei Române, Bucureşti, 1998.	
8.2 Szeminárium / Labor	Didaktikai módszerek	Megjegyzések	
Szeminárium:			
1. Valószínűségszámítási feladatok, feladatok az entrópiával	munkáltatás, individuális feladatok		
2. Kölcsönös (mutuális) információ	munkáltatás, individuális feladatok		
3. Veszteségmentes adattömörítések: Huffman, Shannon-Fano, aritmetikai, univerzális kódolás	munkáltatás, individuális feladatok		
4. Hibajavító kódolás: generátor és paritásmátrixok, kódtávolságok	munkáltatás, individuális feladatok		
5. Hibajavító kódolás: szindróma dekódolás	munkáltatás, individuális feladatok		
6. Veszteséges tömörítések: prediktív kódolás, Jayant-kvantáló	munkáltatás, individuális feladatok		
7. Maximum-entrópia feladatok	munkáltatás, individuális feladatok		
Labor:		Nincsenek laborórák, de vannak programozási feladatok. Ezek bemutatása általában szemináriumokon vagy órákon kívül történik.	
Nincs			
Könyvészet	
[1]–[5] +
[6] Gray R.M. Entropy and Information Theory. Springer, 1999.
[7] Chen P., Alajajiz F. Lecture Notes on Information Theory. Department of Mathematics & Statistics, Queen’s University, Kingston, Canada.
[8] Yeung R.W. A First Course in Information Theory. Springer 2002.	

9. Az episztemikus közösségek képviselői, a szakmai egyesületek és a szakterület reprezentatív munkáltatói elvárásainak összhangba hozása a tantárgy tartalmával.
•	A tantárgy tematikája nagy átfedésben van a [3] tartalmával.
•	A tantárgy tartalma egyezést mutat a [2] és [4] referenciák bizonyos részeivel.
•	A tantárgy tematikája nagyrészt egyezik a University of Cambridge-en David MacKay által tanított A Short Course in Information Theory című kurzus tartalmával (http://www.inference.phy.cam.ac.uk/mackay/info-theory/course.html).	

10. Értékelés
Tevékenység típusa	10.1 Értékelési kritériumok	10.2 Értékelési módszerek	10.3 Aránya a végső jegyben	
10.4 Előadás 	Vizsgafeladatok	Írásbeli vizsga	60%	
				
10.5 Szeminárium / Labor	Programozási feladatok bemutatása és/vagy szemináriumi bemutató	A megoldások/bemutató pontozása	40% (vagy több)	
				
10.6 A teljesítmény minimumkövetelményei	
Az elvárt minimális tudás:
•	A Shannon-féle információelmélet alapvető fogalmainak és problémáinak ismerete.
•	A kapcsolódó alapvető problémákat érintő feladatok megoldása.
Az átmenő jegy feltételei:
•	Az évközi tevékenységre kötelező a pontok felének összeszedése (minimum 20 pont; kizáró jellegű).
•	A szemináriumokon 50%+1 jelenlét.
•	A vizsgán legkevesebb a pontok felének összeszedése (kizáró jellegű).
•	A végső pontszám minimálisan 70 (=5; kizáró jellegű).	

Kitöltés dátuma			Előadás felelőse			Szeminárium felelőse
2012.09.21				Bodó Zalán-Péter			Bodó Zalán-Péter
Az intézeti jóváhagyás dátuma				Intézetigazgató	
..........................						Szenkovits Ferenc