NLP tantárgyak az európai MSc programokban: mi változott 2023 óta?
A természetes nyelvfeldolgozás (NLP) az AI oktatás egyik leggyorsabban változó területe. A 2022–2023-as évek technológiai robbanása — a ChatGPT, a GPT-4, a Llama és más nagy nyelvi modellek megjelenése — alapvetően írta át azt, amit egy AI-szakembernek az NLP területén tudnia kell.
Klyden 34 európai AI MSc program NLP-tematikáját vizsgálta meg 2021-es és 2024-es tantervek összehasonlításával. Az eredmények rámutatnak arra, hogy az intézmények milyen sebességgel és mélységgel reagálnak a terület változásaira.
A klasszikus NLP-től az LLM-ekig: amit a tantervek mutatnak
A 2021-es állapot szerint az NLP modulok jellemzően a következő tematikát fedték le: tokenizálás, szóbeágyazás (Word2Vec, GloVe), rekurrens neurális hálók (LSTM, GRU), és alapszintű Transformer-bevezetők. A BERT-modell legfeljebb egy néhány oldalas kitekintőben szerepelt.
2024-ben a vezető programoknál teljesen más a kép:
| Téma | Elterjedtség 2021 | Elterjedtség 2024 |
|---|---|---|
| Transformer-architektúra (mélyreható) | 22% | 91% |
| BERT és variánsai (RoBERTa, DeBERTa) | 34% | 88% |
| GPT-típusú generatív modellek | 9% | 74% |
| Instruction tuning / RLHF | 2% | 55% |
| Retrieval-Augmented Generation (RAG) | 0% | 41% |
| Prompt engineering és in-context learning | 0% | 63% |
| Többnyelvű modellek (mBERT, XLM-R) | 18% | 67% |
Hogyan reagálnak az intézmények?
Az adatokból három típusú intézményi stratégia rajzolódik ki:
1. Gyors adaptálók
Az ETH Zürich, a TU München és az Universiteit van Amsterdam már 2023 tavasszal frissítette NLP tananyagát, bevezetve a fine-tuning, az RLHF és a RAG tematikát. Ezek az intézmények jellemzően ipari partnerségekkel is alátámasztják az oktatást: a hallgatók valós vállalati adatokon dolgoznak LLM-projektekben.
2. Fokozatosan fejlődők
A programok nagyobb része — kb. 45% — a 2023–2024-es tanévben kezdte meg a tantervfrissítést. Jellemzően megtartják a klasszikus NLP alapokat (ami helyes is), de új, LLM-fókuszú modulokat adnak hozzá. A BME Budapest és az ELTE is ebbe a kategóriába tartozik.
3. Lemaradók
Az intézmények kb. 28%-a 2024 elején is a 2020–2021-es tantervet futtatja, ahol az LLM-ek legfeljebb egy-két prezentációs anyagban jelennek meg. Ez nem feltétlenül hiba — néhány program szándékosan koncentrál az elméleti alapokra —, de a hallgatók számára fontos tudni, hogy az ipari elvárásokhoz ezek a programok kevésbé igazodnak.
Mire figyeljen programválasztáskor: Ha NLP-specialistának készül, keressen olyan programot, amely tantervében expliciten szerepel a fine-tuning, a prompt engineering és a RAG. Ezek a témakörök 2024-ben már nem opcionálisak egy versenyképes NLP-karrierhez.
A legkiemelkedőbb NLP oktatási programok 2024-ben
KU Leuven — MSc Artificial Intelligence
Az NLP-specializáció 7 dedikált kurzust tartalmaz, beleértve a multilingual NLP és az LLM safety tematikákat. A kutatói output kiemelkedő: a csoport rendszeresen publikál az ACL és EMNLP konferenciákon.
Universiteit van Amsterdam — MSc AI
Az ILLC (Institute for Logic, Language and Computation) NLP-kutatócsoportja az egyik legerősebb Európában. A program egyedüli kombinációt kínál formális szemantika és neurális NLP között.
Következtetések
Az NLP oktatása 2024-ben egyszerre izgalmas és kihívásokkal teli terület. A legjobb programok rendkívüli sebességgel zárkóznak fel a legújabb fejleményekhez, míg a lemaradó intézmények hallgatóit a munkaerőpiacon hátrány érheti.
Kutatásunk legfontosabb üzenete az, hogy a programválasztás során a tantervdátumok és a kurzusleírások részletes elemzése elengedhetetlen. Egy MSc program neve és rangsorolása önmagában nem elegendő adat a döntéshez — az NLP esetében különösen fontos a konkrét tartalom vizsgálata.
NLP program részletes elemzés
Olvasson részletes elemzést az európai természetes nyelvfeldolgozás oktatási programokról, tantervekről és felvételi követelményekről.