Die Verarbeitung natürlicher Sprache, bzw. das Natural Language Processing (NLP), ist eins der ältesten Teilgebiete der Künstlichen Intelligenz. In den letzten Jahren gab es einen revolutionären Wandel bei der Verarbeitung natürlicher Sprache mit Computern. Insbesondere die Entwicklung von großen Sprachmodellen hob die Performanz der verschiedenen Disziplinen auf einen neuen Level.
Das Ziel dieses Kurses ist
- die Einführung des NLP und die wichtigsten Disziplinen innerhalb des Gebiets,
- zu erklären was Sprachmodelle eigentlich sind und wie sie erzeugt werden und wurden
- anhand des Beispiels der Textklassifikation auf eigenen Daten den (wirklich winzigen) Python Code zu erklären und zu demonstrieren, so dass es jeder zu Hause ausprobieren kann
Für den praktischen letzten Teil habe ich Google Colab benutzt. Hier gibt es für jedermann kostenfreien (beschränkten) Zugang zu GPU Computepower. Natürlich kann auch eigene Hardware genutzt werden. In dem Fall muss darauf geachtet werden, dass die Prozesse auf den GPUs laufen 🙂
In diesem Kurs benutzen wir die Bibliotheken von Hugging Face. Natürlich kann man auch andere Frameworks benutzen, wie z.B. PyTorch oder Tensorflow (oder auch andere).