Python für Linguisten mittels Natural Language Processing

Цільові групи:

keine Angaben

Професійні вимоги:

 Individuelle Eignung

Технічні вимоги:

Keine besonderen Anforderungen.

Номенклатура агенцій з працевлаштування:

• C 1435-10-10 Softwareentwicklung, Programmierung - allgemein

Зміст

Maschinelle Verarbeitung natürlicher Sprache. Natural Language Processing (NLP) verknüpft Erkenntnisse aus der Linguistik mit neuesten Methoden der Computerwissenschaft und der künstlichen Intelligenz. In diesem Kurs bieten wir einen Überblick über die Potenziale von Künstlicher Intelligenz (KI), einschließlich Tools wie ChatGPT (GPT). Wir möchten den Teilnehmenden eine interaktive und praxisnahe Lernerfahrung ermöglichen und ihre Fähigkeiten in diesem Bereich fördern.

Inhalt

Einleitung - Heranführen
Textdaten verarbeiten und vorverarbeiten
Grundlegende Techniken der Verarbeitung von Textdaten
Mit NumPy arbeiten
One-Hot-Encodierung und Bag‑of‑Words‑Modell
Grundlagen maschinellen Lernens
Lineare Regression
Eine Gerade in eine Punktewolke legen
Die Lage der Geraden bestimmen
Die Qualitat eines Modells bestimmen
Multivariate Regression
Praktische Umsetzung mit Python und Scikit-Learn
Logistische Regression
Verfahrensweise
Gutemase
Praktische Umsetzung mit Scikit-Learn
Softmax-Regression
Verfahrensweise
Praktische Umsetzung mit Scikit-Learn
Einfache Verfahren zur Vektorisierung von Textdaten
One-Hot-Encodierung und Bag‑of‑Words‑Ansatz
N-grams
TF-IDF-Vektorisierung
Umsetzung mit Scikit-Learn
Vektorisierung mit dem Count-Vectorizer
TF-IDF-Vektorisierung
Lemmatisierung
Einsatz eines N-gram-Modells
Deep Learning-Essentials
Neuronen und neuronale Netze
Wie neuronale Netze lernen
Architektur und Einstellungen eines neuronalen Netzes
Anzahl der Neuronen in der ersten aktiven Schicht
Anzahl der Neuronen in der Ausgabeschicht
Aktivierung der Neuronen der Ausgabeschicht
Auswahl einer passenden Verlustfunktion
Wahl des Optimierers
Aktivierung der Neuronen in der verdeckten Schicht
Ein neuronales Netz mit TensorFlow und Keras aufbauen und anlernen
Standardisierung der Features
Aufbau und Einstellungen eines neuronalen Netzes
Anlernen des Modells
Steuerung des Anlernprozesses (Early Stopping)
Generalisierung und Uberanpassung
Regularisierung
Dropout
Praktische Umsetzung
Rekurrente Netze
Aufbau und Funktionsweise rekurrenter Netze
Long Short Term Memory (LSTM) und Gated Recurrent Units (GRU)
Praxis rekurrenter Netze: eine automatische Rechtschreibkorrektur
Umsetzung der Encodierung
Aufbau und Anlernen des rekurrenten Netzes
Mit einem bidirektionalen rekurrenten Layer arbeiten
Anlernen neuronaler Netze mit Generatoren
Generatoren und Generator-Funktionen in Python
Daten batchweise ziehen
Neuronale Netze mit Generatoren anlernen
Die Rechtschreibkorrektur mit einem Generator anlernen
Konvolutionale Netze
Funktionsweise konvolutionaler Netze
Sequenzdaten mit konvolutionalen Netzen verarbeiten
Praxis des Anlernens eines konvolutionalen Netzes mit Textdaten
Word Embedding
Funktionsweise
Aufgabenubergreifende semantische Raume: word2vec- und fastText-Verfahren
Mit Word Embedding-Verfahren in der Praxis arbeiten
Vorverarbeitung und Implementierung mit Keras
Der Heidegger-Algorithmus: ein generatives Modell zur Erzeugung von Texten
Aufbau eines generativen Modells
Vorbereitung der Daten
Aufbau und Anlernen des Netzes
Texte erzeugen
Synonyme Worter identifizieren
Mit vortrainierten Worteinbettungen arbeiten (fastText)
fastText-Vektorraume aufbereiten
Austausch der Gewichte eines Embedding Layers
Den Vektorraum um unbekannte Worter erweitern
Komplexe Lernarchitekturen umsetzen
Die funktionale API von TensorFlow
Ein Modell mit zwei Eingangen aufbauen und anlernen
Architektur des Modells
Anlernen des Modells
Sequence-to-Sequence-Modelle
Encoder-Decoder-Modelle mit Teacher Forcing
Attention-Mechanismus
Encoder-Decoder-Architekturen in der Praxis
Ein einfaches Encoder-Decoder-Modell
Vorbereitung der Daten
Aufbau des Encoder-Decoder-Modells
Das Inferenzmodell aufbauen und einsetzen
Encoder-Decoder-Modelle mit Attention-Mechanismus
Vorbereitung der Daten
Zusammenstellung des neuronalen Netzes
Anlernen des Modells
Aufbau des Inferenzmodells
Das Modell fur Ubersetzungen einsetzen
Transformers
Aufbau und Funktionsweise
Self-Attention
Die Transformer-Architektur
Subwort-Tokenisierung
Mit der Hugging Face-Bibliothek arbeiten
Hauptklassen der Transformers-Bibliothek
Mit der Hugging Face-Pipeline arbeiten
Mit der Tokenizer-Klasse arbeiten
Mit der Model-Klasse arbeiten
Fine Tuning vortrainierter Netze
Ein vortrainiertes Modell mit einem nichttrainierten Kopf laden
Eine Durchleitung organisieren
Teile des Netzes auf nichttrainierbar stellen
Das Modell anlernen