Text analysis

Unter dem Corpus werden die Daten bezeichnet, die verwendet werden, um das NLP Model zu trainieren, damit dieses menschliche Sprache versteht und damit arbeiten kann.

Jeder Token ist beim Tokenizing eine sinnvolle Einheit. Wörter, Zeichen, Nummern oder Sonderzeichen sind dabei ein eigener Token, wobei Leerzeichen keine eigenen Token sind.

Tokenization wird vor allem für verschiedene Sprachen gebraucht, weil es in diesen immer unterschiedliche Regeln gibt.

In diesem Beispiel sah es zwar vielleicht noch danach aus, als könnte man eine normale split() Methode für solche Funktionalitäten verwenden. Allerdings spielt Tokenization besonders eine wichtige Rolle, wenn Besonderheiten einer Sprache richtig dargestellt werden sollen, wie im nächsten Beispiel zu sehen ist:

Wie der Name schon vermuten lässt, geht es hierbei um das Taggen von Wörtern zu deren zugehörigen Teil der Sprache (Part-of-speech).

Als Teil einer Sprache werden normalerweise Kategorien von Wörtern bezeichnet, die ähnliche grammatikalische Eigenschaften oder Nutzung besitzen. Im deutschen würden hierbei also die verschiedenen Wortarten gemeint sein.

Beim Tagging werden entweder Statistiken angewendet, wie beispielsweise, dass es sehr wahrscheinlich ist, dass nach einem Artikel ein Nomen folgt.

Außerdem gibt es sogenannte rule-based POS-taggers, welche vordefinierte Regeln verwenden, um das Tagging zu vollziehen oder diese Regeln basierend auf dem Corpus erstellen.

Ein Beispiel für POS-Tagging könnte also folgendermaßen aussehen:

Named Entity Recognition ist eine der wichtigsten Säulen von Natural language processing. Dabei werden Entities aus Texten erkannt und anschließend mit einem Tag der zugehörigen Kategorie versehen.

Beispiele für Entities wären also:

Andere häufig durchgeführte Schritte beim Preprocessing von Texten sind das Stemming sowie Lemmatization.

Beim Stemming werden die Suffixe und Prefixe der einzelnen Tokens des Textes mithilfe eines Stemmers in eine Form überführt, welche nur den Wortstamm zurücklässt.

Auch hierbei gibt es entweder die Möglichkeit selber einen Stemmer zu programmieren oder bereits vorgefertigte Stemmer zu verwenden.

Hier sind einige Beispiele fürs Stemming:

Unter diesem Begriff wird verstanden, dass alle verschiedenen Arten eines Wortes zu dem "root" Verb umgeformt werden.

Der Unterschied zwischen Stemming und Lemmatization ist, dass bei der Lemmatization versucht wird, dass auch der Kontext miteinbezogen wird. Wörter haben oftmals verschiedene Bedeutungen, je nachdem in welchem Kontext man sie verwendet und können sich dabei häufig sogar von ihrer Wortart unterscheiden.

Dennoch sind Stemmer leichter zu implementieren und laufen schneller und bei vielen Applikationen ist die höhere Genauigkeit auch vernachlässigbar.

Beispiele hierfür sind:

Es gibt zwei verschiedene Arten von Parsing. Dependency parsing und constituency parsing. Parsing könnte man so beschreiben, dass es eine Art ist um einen Satz auseinanderzuteilen, um die Struktur des Satzes zu verstehen.

Unter Stopwords werden Wörter verstanden, welche zwar häufig vorkommen, aber nicht wirklich viel zum Informationsgehalt eines Satzes beitragen.

Beispiele in der deutschen Sprache wären:

Systeme können durch Machine Learning Dinge voraussagen, basierend auf vorherigen Eingaben. Diese Systeme benötigen Trainingsdaten, um die Präzision davon zu steigern. Wenn man also sein System trainieren möchte benötigt man eine Darstellungsform, die auch Maschinen verstehen können. Hierbei kommen Vektoren zum Einsatz. Durch die Vektoren kann das System dann die wichtigsten Informationen extrahieren und daraus lernen.

Beim Natural Language Processing benötigt man sehr oft das sogenannte Skalarprodukt. Dieses kann auch als inneres Produkt oder Punktprodukt bezeichnet werden.

Das Skalarprodukt ordnet zwei Vektoren eine Zahl zu.

Ein Skalarprodukt berechnet man wie folgt:

Das Kreuzprodukt unterscheidet sich vom Skalarprodukt, indem beim Kreuzprodukt von zwei Vektoren das Ergebnis ebenfalls wieder ein Vektor ist.

Das Kreuzprodukt berechnet man, wie der Name schon vermuten lässt, indem man die Werte der Vektoren überkreuzt zusammenrechnet.

Es gibt hierzu viele Ansätze aber der berühmteste ist die sogenannte Bag of Words Vectorization. Es ist eine der leichtesten Techniken um Text numerisch zu repräsentieren.

Dabei wird zunächst jedes Wort, welches im Corpus vorkommt als sogenanntes Vokabular gespeichert. Danach wird jeder Satz durch 0en und 1en dargestellt, je nachdem ob das Wort im Vokabular existiert oder nicht.

Um die Überlappungen von Bag of Words zu berechnen, nutzt man das Skalarprodukt der beiden Vektoren von Sätzen, die man vergleichen will. Bei diesem Skalarprodukt kommt dann immer ein Wert (Skalar) als Ergebnis heraus.

Ein Bag of n-grams ist ziemlich ähnlich zu einem Bag of Words. Allerdings wird bei einem Bag of n-grams ein Text als eine unsortierte Collection von n-grams dargestellt.

In dem Bag of n-grams wird dann die Anzahl, wie oft ein n-gram vorkommt gespeichert.

Ein n-gram ist eine Sammlung von n aufeinander folgender Wörter. Wenn das n = 2 ist, spricht man von einem bigram, wenn n = 3 ist von einem trigram und so weiter.

Somit würde unser vorheriges Beispiel als bigram folgendermaßen aussehen:

Ein Vector space ist die Sammlung von allen möglichen Vektoren, die in diesem Raum vorhanden sein dürfen.

Eine weitere Repräsentation von Texten in Vektoren, kann mach erzielen, indem man die Vorkommen der Wörter in Sätzen zählt.

Der bekannteste und einfachste Weg um dies zu erledigen ist, indem man TF-IDF verwendet.

TF steht hierbei für Term Frequency. Dabei rechnet man die Anzahl eines Terms, der in einem Dokument vorkommt / Anzahl der Terme insgesamt.

IDF ist der log(N/n), wobei N die Anzahl der Dokumente ist und n die Anzahl des Terms, wie oft er vorkommt.

Wenn die IDF also hoch ist, bedeutet dies, dass das Wort eher seltener in Sätzen vorkommt. Außerdem können auf diese Weise auch Spamwörter weniger Beachtung geschenkt werden.

Ein Beispiel hierfür wäre der Satz This is a beautiful day. Bei dem Wort day ist der Count besonders hoch, weil das Wort selten vorkommt und so wird angenommen, dass dieses wichtig für die Bedeutung des Satzes ist.

Anfang des 20. Jahrhunderts erkannte der Stenograf Jean-Baptiste Estoup ein Muster beim Vorkommen von Dokumenten und er rechnete sich selbst diese aus. In den 1930ern nutzte der amerikanische Linguist George Kingsley Zipf diese Beobachtungen und formulierte ein Gesetz dazu.

Bei dem Modell des Zipfschen Gesetzes kann man bei bestimmten Größen, die in eine Rangfolge gebracht werden, deren Wert aus ihrem Rang abschätzen.

Vereinfacht besagt das Zipfsche Gesetz, dass wenn die Elemente einer Menge nach ihrer Häufigkeit geordnet werden, ist die Wahrscheinlichkeit ihres Auftretens umgekehrt proportional zum Platz auf der Häufigkeitsliste.

Das Zipfsche Gesetz wird benötigt, wenn man beispielsweise folgendes Szenario hat.

Wenn man die Häufigkeit dieser vergleicht, würde man davon ausgehen, dass Birne viel öfter vorkommt als Apfel, weil die Anzahl dieses Worts eine Exponenz von der Anzahl des Wortes Apfel ist. Deswegen besagt das Zipfsche Gesetz, dass man diese Häufigkeiten noch logarithmieren sollte. Danach kommt als Ergebnis raus, dass diese Wörter beide nicht wirklich oft vorkommen.

Word2Vec ist das berühmteste Model für Word Embedding.

Unter Word Embedding wird verstanden, dass Texte in denen Wörter dieselbe Bedeutung haben zusammen repräsentiert werden. Es werden also sozusagen alle Wörter in einem Koordinatensystem dargestellt, wobei Wörter, die zusammen gehören, nah beieinander sind.

Word2Vec nimmt einen großen Corpus an Text und produziert daraus einen Vektor mit den einzigartigen Wörtern, die ähnlich zueinander sind. Es ist sehr berühmt dafür, dass demonstriert werden kann, wie Wörter miteinander verbunden sind.

Ein Beispiel hierfür wäre, dass man erfährt, dass sich Mann zu Frau verhält, wie sich Onkel zu Tante verhält.