Sprachmodell

Ein Sprachmodell^{[A 1]} (englisch language model) ist ein mathematisches Modell, das die Abfolge von Elementen in einer Sequenz (zum Beispiel von Buchstaben oder Wörtern in natürlichsprachlichen Texten) modelliert, meist in Form eines stochastischen Prozesses.

Sprachmodelle spielen eine zentrale Rolle in der modernen Computerlinguistik und sind eine entscheidende Komponente dortiger Praxisanwendungen, etwa zur maschinellen Übersetzung oder Spracherkennung.^[1][2] Bekanntheit gewonnen haben sie durch das Aufkommen von Generativer Künstlicher Intelligenz. So ist auch das ChatGPT zugrunde liegende GPT ein Sprachmodell.

Sprachmodelle modellieren Sequenzen (zum Beispiel Sätze) als Abfolgen von Elementen (zum Beispiel Buchstaben oder Wörtern). In stochastischen Sprachmodellen sind diese Elemente Zufallsgrößen ${\displaystyle X_{1},X_{2},\ldots }$ und bilden einen zeitdiskreten stochastischen Prozess. Um dasselbe Modell für Sequenzen unterschiedlicher Länge ${\displaystyle n}$ einsetzen zu können, werden ihr Beginn und ihr Ende typischerweise durch zusätzliche Zufallsgrößen ${\displaystyle X_{0}}$ und ${\displaystyle X_{n+1}}$ markiert, die einen speziellen Wert (mögliche Notation: ${\displaystyle \bot }$) annehmen. Die Wahrscheinlichkeit einer konkreten Sequenz ${\displaystyle w_{1},\ldots ,w_{n}}$ lässt sich dann formulieren als die Wahrscheinlichkeit der Konjunktion

${\displaystyle P\left(X_{0}=\bot \wedge X_{1}=w_{1}\wedge \cdots \wedge X_{n}=w_{n}\wedge X_{n+1}=\bot \right)}$.

Eine häufige Kurzschreibweise^{[A 2]} für diese Wahrscheinlichkeit lautet

${\displaystyle P\left(\bot ,w_{1},\ldots ,w_{n},\bot \right)}$.

Nach dem Gesetz der totalen Wahrscheinlichkeit lässt sich diese Wahrscheinlichkeit auch so schreiben:

${\displaystyle {\begin{alignedat}{3}&P\left(X_{0}=\bot \wedge X_{1}=w_{1}\wedge \cdots \wedge X_{n}=w_{n}\wedge X_{n+1}=\bot \right)&{}={}&&&P\left(X_{0}=\bot \right)\\&&&&{}\cdot {}&P\left(X_{1}=w_{1}\mid X_{0}=\bot \right)\\&&&&{}\cdot {}&P\left(X_{2}=w_{2}\mid X_{0}=\bot \wedge X_{1}=w_{1}\right)\\&&&&&\vdots \\&&&&{}\cdot {}&P\left(X_{n}=w_{n}\mid X_{0}=\bot \wedge X_{1}=w_{1}\wedge \cdots \wedge X_{n-1}=w_{n-1}\right)\\&&&&{}\cdot {}&P\left(X_{n+1}=\bot \mid X_{0}=\bot \wedge X_{1}=w_{1}\wedge \cdots \wedge X_{n}=w_{n}\right){\text{.}}\end{alignedat}}}$

Oder kurz:

${\displaystyle P\left(\bot ,w_{1},\ldots ,w_{n},\bot \right)=P\left(\bot \right)\cdot P\left(w_{1}\mid \bot \right)\cdot P\left(w_{2}\mid \bot ,w_{1}\right)\cdot \cdots \cdot P\left(w_{n}\mid \bot ,w_{1},\ldots ,w_{n-1}\right)\cdot P\left(\bot \mid \bot ,w_{1},\ldots ,w_{n}\right)}$.

In Worten: Die Wahrscheinlichkeit der Sequenz ist das Produkt der Wahrscheinlichkeiten für das jeweils nächste Element gegeben die bisherigen Elemente.

Da in der Modellierung für ${\displaystyle X_{0}}$ stets der Wert ${\displaystyle \bot }$ verwendet wird (${\displaystyle X_{0}=\bot }$ fast sicher), gilt ${\displaystyle P\left(X_{0}=\bot \right)=1}$. Der entsprechende Faktor kann daher entfallen.

Unterschiedliche Arten stochastischer Sprachmodelle unterscheiden sich darin, wie sie die bedingten Wahrscheinlichkeiten ${\displaystyle P\left(w_{i}\mid \bot ,w_{1},\ldots ,w_{i-1}\right)}$ modellieren. Der Fall ${\displaystyle w_{i}=\bot }$ wird dabei häufig nicht gesondert betrachtet, sondern so getan, als ob auch ${\displaystyle \bot }$ ein gültiges Sequenzelement (zum Beispiel ein Wort) wäre.

Die Modellierung der bedingten Wahrscheinlichkeiten ${\displaystyle P\left(w_{i}\mid \bot ,w_{1},\ldots ,w_{i-1}\right)}$ muss mit beliebig langen Sequenzen ${\displaystyle w_{1},\ldots ,w_{i-1}}$ im Bedingungsteil umgehen können (${\displaystyle i}$ kann beliebig groß sein). Es stehen aber nur endlich viele Modellparameter zur Verfügung. Ein klassischer Umgang damit ist die Markov-Annahme (englisch markov assumption), laut der die Wahrscheinlichkeit des nächsten Elements nur von einer begrenzten Anzahl ${\displaystyle N}$ unmittelbar vorhergehender Elemente abhängt^[3] (Markow-Kette ${\displaystyle N}$-ter Ordnung). Die Wahrscheinlichkeit, dass ${\displaystyle w_{i}}$ auf ${\displaystyle \bot ,w_{1},\ldots ,w_{i-1}}$ folgt, hängt (für ${\displaystyle i\geq N}$) also nur von ${\displaystyle w_{i-N+1},\ldots ,w_{i-1}}$ ab:^{[A 3]}

${\displaystyle P\left(w_{i}\mid \bot ,w_{1},\ldots ,w_{i-1}\right)=P\left(w_{i}\mid w_{i-N+1},\ldots ,w_{i-1}\right)}$.

Die ${\displaystyle N}$-Tupel ${\displaystyle \left(w_{i-N+1},\ldots ,w_{i}\right)}$ werden ${\displaystyle N}$-Gramme genannt.

Für ${\displaystyle i<N}$ ergibt sich keine Vereinfachung der bedingten Wahrscheinlichkeit; sie hängt vom kompletten Präfix ${\displaystyle \bot ,w_{1},\ldots ,w_{i-1}}$ ab. Um auch diesen Fall mit ${\displaystyle N}$-Grammen ${\displaystyle \left(w_{i-N+1},\ldots ,w_{i}\right)}$ abdecken zu können, definiert man häufig ${\displaystyle w_{k}:=\bot }$ für ${\displaystyle k\leq 0}$.

Die Modellparameter sind dann die bedingten Wahrscheinlichkeiten ${\displaystyle P\left(w_{N}\mid w_{1},\ldots ,w_{N-1}\right)}$ für alle ${\displaystyle N}$-Gramme ${\displaystyle \left(w_{1},\ldots ,w_{N}\right)}$, die sich leicht als relative Häufigkeiten aus Textkorpora abschätzen lassen. Vor allem für große ${\displaystyle N}$ können bestimmte ${\displaystyle N}$-Gramme aber so selten sein, dass sie in einem betrachteten Korpus überhaupt nicht vorkommen (Beispiel: das 8-Gramm Buffalo buffalo Buffalo buffalo buffalo buffalo Buffalo buffalo). Ein Großteil der Forschung zu ${\displaystyle N}$-Grammen hat sich daher mit Techniken (im Englischen smoothing techniques genannt) beschäftigt, mit denen positive Wahrscheinlichkeiten auch für solche „unbeobachteten“ ${\displaystyle N}$-Gramme geschätzt werden können.^[4][5][2]

Obwohl natürliche Sprache die Markov-Annahme im Allgemeinen nicht erfüllt, liefern bereits relativ kleine ${\displaystyle N}$ gute Sprachmodelle. ${\displaystyle N}$-Gramme waren jahrzehntelang der dominierende Ansatz zur Sprachmodellierung.^[3]

In neuronalen Sprachmodellen werden die Wahrscheinlichkeiten ${\displaystyle P\left(w_{i}\mid \bot ,w_{1},\ldots ,w_{i-1}\right)}$ von künstlichen neuronalen Netzen berechnet. Statt Wahrscheinlichkeiten direkt abzuschätzen, werden also Parameter (Gewichte) des Netzes geschätzt. Die Berechnungsstruktur kann (etwa durch Verwendung von Softmax als Aktivierungsfunktion der letzten Schicht) so vorgegeben werden, dass Nullwahrscheinlichkeiten ausgeschlossen sind.

Auch neuronalen Sprachmodellen kann die Markov-Annahme zugrunde liegen. Ein Ansatz, Wahrscheinlichkeiten von Trigrammen (3-Grammen) nicht direkt aus einem Korpus zu schätzen, sondern von einem neuronalen Netzwerk berechnen zu lassen, findet sich bereits 1988.^[6] In einer neueren Architektur von Bengio et al. (2003) gibt es für jedes Element (Wort) und auch für den Start- und Endmarker je einen Parametervektor; zur Berechnung werden die Vektoren der ${\displaystyle N-1}$ Wörter aus dem Bedingungsteil (${\displaystyle w_{i-N+1},\ldots ,w_{i-1}}$) konkateniert und über eine oder mehrere Netzwerkschichten (englisch hidden layers) in eine Wahrscheinlichkeitsverteilung für das nächste Wort (${\displaystyle w_{i}}$) transformiert. Sowohl die Komponenten der Vektoren für die Wörter als auch die Gewichte der Netzwerkschichten werden als Modellparameter geschätzt.^[7][8] Die Wahrscheinlichkeiten ${\displaystyle P\left(w_{i}\mid \bot ,w_{1},\ldots ,w_{i-1}\right)}$ werden also mit einer Formel (der Berechnungsvorschrift des neuronalen Netzes) berechnet, statt aus einer Tabelle zum Beispiel ausgezählter relativer Häufigkeiten abgelesen zu werden.

Vorteile dieser Modellierung gegenüber „gewöhnlichen“ ${\displaystyle N}$-Grammen sind:^[9][8]

• Das Modell kann deutlich weniger Parameter haben. Die Anzahl der ${\displaystyle N}$-Gramme über einem Vokabular (zum Beispiel Menge aller vorkommenden Wörter inklusive Start- und Endmarker) der Größe ${\displaystyle k}$ beträgt ${\displaystyle k^{N}}$. Ein künstliches neuronales Netz der beschriebenen Form kann schon mit ${\displaystyle k^{2}d}$ Parametern auskommen, wobei ${\displaystyle d}$ die Dimension der Parametervektoren für die Wörter ist.
• Das Modell kann (über die Parametervektoren jedes einzelnen Wortes) Wörter zusammenfassen, die ähnliche Auswirkungen auf die Wahrscheinlichkeit des folgenden Wortes haben. Beispielsweise braucht keine eigene Wahrscheinlichkeit dafür gespeichert zu werden, dass „Auto“ auf „blaues“, „grünes“, „rotes“ oder „schwarzes“ folgt – die Wahrscheinlichkeit ist jedes Mal ähnlich.
• Das Modell kann (über die Gewichte der hidden layers) verschiedenen Wörtern unterschiedlich starken Einfluss auf die Wahrscheinlichkeit des folgenden Wortes zumessen, beispielsweise nähere Wörter stärker gewichten als weiter entfernte.

Mithilfe rekurrenter neuronaler Netze wie LSTMs ist es sogar möglich, auf die Markov-Annahme zu verzichten. Dabei wird die komplette Sequenz ${\displaystyle w_{1},\ldots ,w_{i-1}}$ vom neuronalen Netz verarbeitet, um die Wahrscheinlichkeitsverteilung für das ${\displaystyle i}$-te Wort zu berechnen. Die Transformer-Architektur^[10] wurde speziell für diese Aufgabe entwickelt.

Stochastische Sprachmodelle berechnen Wahrscheinlichkeiten von Sequenzen als Produkt der bedingten Wahrscheinlichkeiten jedes einzelnen Elements gegeben die jeweils vorhergehenden Elemente. Aus der so spezifizierten Wahrscheinlichkeitsverteilung können umgekehrt auch Sequenzen erzeugt werden (englisch sampling). Dazu wird zunächst das erste Element (zum Beispiel das erste Wort in einem Satz) ${\displaystyle w_{1}}$ entsprechend der Verteilung ${\displaystyle w\mapsto P\left(X_{1}=w\mid X_{0}=\bot \right)}$ bestimmt. Ist beispielsweise

${\displaystyle {\begin{alignedat}{2}&P\left(X_{1}={\text{Der}}\mid X_{0}=\bot \right)&{}={}&{\frac {1}{2}}{\text{,}}\\&P\left(X_{1}={\text{Die}}\mid X_{0}=\bot \right)&{}={}&{\frac {1}{6}}{\text{,}}\\&P\left(X_{1}={\text{Das}}\mid X_{0}=\bot \right)&{}={}&{\frac {1}{3}}{\text{,}}\end{alignedat}}}$

so wird mit Wahrscheinlichkeit ${\displaystyle {\frac {1}{2}}}$ das Wort „Der“ als erstes Wort gewählt, mit Wahrscheinlichkeit ${\displaystyle {\frac {1}{6}}}$ das Wort „Die“ und mit Wahrscheinlichkeit ${\displaystyle {\frac {1}{3}}}$ das Wort „Das“. Ist das erste Element (Wort) ${\displaystyle w_{1}}$ gewählt, wird analog das zweite entsprechend der Verteilung ${\displaystyle w\mapsto P\left(X_{2}=w\mid X_{0}=\bot \wedge X_{1}=w_{1}\right)}$ bestimmt. Wurde im obigen Beispiel etwa das Wort „Die“ gewählt, so könnten diese Wahrscheinlichkeiten

${\displaystyle {\begin{alignedat}{2}&P\left(X_{2}={\text{Frau}}\mid X_{0}=\bot \wedge X_{1}={\text{Die}}\right)&{}={}&{\frac {1}{10}}{\text{,}}\\&P\left(X_{2}={\text{Sonne}}\mid X_{0}=\bot \wedge X_{1}={\text{Die}}\right)&{}={}&{\frac {1}{9}}{\text{,}}\\&P\left(X_{2}={\text{Huhn}}\mid X_{0}=\bot \wedge X_{1}={\text{Die}}\right)&{}={}&{\frac {1}{100}}\\&\vdots \end{alignedat}}}$

lauten. So wird sukzessive das jeweils nächste Element (Wort) bestimmt, bis die Wahl auf den Endmarker (${\displaystyle \bot }$) fällt – dann endet die Sequenz.^[11]

Mitunter wird das nächste Element nicht anhand der gesamten Wahrscheinlichkeitsverteilung bestimmt, sondern es werden nur die ${\displaystyle k}$ Elemente mit der höchsten Wahrscheinlichkeit betrachtet bzw. nur die wahrscheinlichsten Elemente, deren Wahrscheinlichkeit aufsummiert gerade noch ${\displaystyle p}$ ergibt. Diese Strategie nennt man Top-${\displaystyle k}$- bzw. Top-${\displaystyle p}$-Sampling. Sie ist vor allem dann von Vorteil, wenn das Vokabular sehr groß ist (bei linguistischen Sprachmodellen, deren Elemente Wörter sind, meist der Fall), weil ansonsten häufig recht unwahrscheinliche Wörter ausgewählt werden.^[12] ${\displaystyle k}$ bzw. ${\displaystyle p}$ ist im Prinzip frei wählbar und steuert die Balance zwischen Kreativität und Kohärenz: je höher der Wert, desto kreativer können die Antworten sein. ChatGPT nutzt das Top-${\displaystyle k}$-Sampling.^[13]

Wenn nicht irgendeine Sequenz erzeugt werden soll, sondern ein Bezug zu Eingangsdaten gewünscht ist, etwa bei der maschinellen Übersetzung (hier bestehen die Eingangsdaten aus dem zu übersetzenden Text in der Ausgangssprache), muss das Modell zusätzlich die Abhängigkeit von den Eingangsdaten ausdrücken. Die zu modellierenden Wahrscheinlichkeiten haben dann nicht nur die Form

${\displaystyle P\left(w_{i}\mid \bot ,w_{1},\ldots ,w_{i-1}\right)}$,

sondern

${\displaystyle P\left(w_{i}\mid \bot ,w_{1},\ldots ,w_{i-1}\wedge E=e\right)}$

für Eingangsdaten ${\displaystyle e}$. In neueren Architekturen wird das mitunter bewerkstelligt, indem mit der Generierung der Ausgabesequenz nicht beim Startmarker ${\displaystyle \bot }$ begonnen wird, sondern als „Fortsetzung“ einer Eingabesequenz, getrennt durch ein weiteres spezielles Element (mögliche Notation: ${\displaystyle \$}$).^[14] Soll beispielsweise der englische Satz Time flies like an arrow ins Deutsche übersetzt werden, so beginnt die Generierung der deutschen Übersetzung als „Fortführung“ der Sequenz

${\displaystyle \left(\bot ,{\text{Time}},{\text{flies}},{\text{like}},{\text{an}},{\text{arrow}},\$\right)}$,

das erste Wort der deutschen Ausgabe richtet sich nach der Verteilung

${\displaystyle w\mapsto P\left(w\mid \bot ,{\text{Time}},{\text{flies}},{\text{like}},{\text{an}},{\text{arrow}},\$\right)}$

und so weiter.

Auch GPT-Architekturen zur Sprachgenerierung, auf denen unter anderem ChatGPT basiert, nutzen diese Strategie.^[15]

Laut Yoav Goldberg kann die Fähigkeit, das nächste Wort nach einer vorgegebenen Folge von Wörtern mit großer Genauigkeit vorherzusagen, als Indikator für Intelligenz auf menschlichem Niveau gesehen werden, da auch jedes Präfix der Form „Die Antwort auf Frage X ist“ vervollständigt werden können müsse und die Lösung dieser Aufgabe daher nicht nur Ausnutzung linguistischer Regularitäten, sondern auch eine große Menge an Weltwissen erfordere.^[16]

• Yoav Goldberg: Neural Network Methods for Natural Language Processing (= Graeme Hirst [Hrsg.]: Synthesis Lectures on Human Language Technologies. Nr. 37). Morgan & Claypool Publishers, 2017, ISBN 978-1-62705-295-5, Chapter 9 Language Modeling, S. 105–114, doi:10.2200/S00762ED1V01Y201703HLT037 (englisch). 
• Michael Collins: Language Modeling. Course notes for NLP, Columbia University. 2013 (englisch, columbia.edu [PDF; 203 kB]). 

1. ↑ Yoav Goldberg: Neural Network Methods for Natural Language Processing (= Graeme Hirst [Hrsg.]: Synthesis Lectures on Human Language Technologies. Nr. 37). Morgan & Claypool Publishers, 2017, ISBN 978-1-62705-295-5, Chapter 9 Language Modeling, S. 105, doi:10.2200/S00762ED1V01Y201703HLT037 (englisch). 
2. ↑ ^{a b} Stanley Chen, Joshua Goodman: An Empirical Study of Smoothing Techniques for Language Modeling. In: Aravind Joshi, Martha Palmer (Hrsg.): Proceedings of the 34th Annual Meeting of the ACL. Juni 1996 (englisch, arxiv.org [PDF; 227 kB]). 
3. ↑ ^{a b} Yoav Goldberg: Neural Network Methods for Natural Language Processing (= Graeme Hirst [Hrsg.]: Synthesis Lectures on Human Language Technologies. Nr. 37). Morgan & Claypool Publishers, 2017, ISBN 978-1-62705-295-5, Chapter 9 Language Modeling, S. 106, doi:10.2200/S00762ED1V01Y201703HLT037 (englisch). 
4. ↑ Yoav Goldberg: Neural Network Methods for Natural Language Processing (= Graeme Hirst [Hrsg.]: Synthesis Lectures on Human Language Technologies. Nr. 37). Morgan & Claypool Publishers, 2017, ISBN 978-1-62705-295-5, Chapter 9 Language Modeling, S. 107, doi:10.2200/S00762ED1V01Y201703HLT037 (englisch). 
5. ↑ Collins (2013), Abschnitt 1.4
6. ↑ Masami Nakamura, Kiyohiro Shikano: A study of English word category prediction based on neural networks. In: Journal of the Acoustical Society of America. Band 84, Nr. S1, 1988, S. 60–61, doi:10.1121/1.2026400 (aip.org [PDF; 842 kB]). 
7. ↑ Yoav Goldberg: Neural Network Methods for Natural Language Processing (= Graeme Hirst [Hrsg.]: Synthesis Lectures on Human Language Technologies. Nr. 37). Morgan & Claypool Publishers, 2017, ISBN 978-1-62705-295-5, Chapter 9 Language Modeling, S. 109, doi:10.2200/S00762ED1V01Y201703HLT037 (englisch). 
8. ↑ ^{a b} Yoshua Bengio, Réjean Ducharme, Pascal Vincent, Christian Janvin: A neural probabilistic language model. In: Journal of Machine Learning Research. Band 3, 2003, ISSN 1532-4435, S. 1137–1155, doi:10.1007/10985687_6 (neurips.cc [PDF; 1,6 MB]). 
9. ↑ Yoav Goldberg: Neural Network Methods for Natural Language Processing (= Graeme Hirst [Hrsg.]: Synthesis Lectures on Human Language Technologies. Nr. 37). Morgan & Claypool Publishers, 2017, ISBN 978-1-62705-295-5, Chapter 9 Language Modeling, S. 109-, doi:10.2200/S00762ED1V01Y201703HLT037 (englisch). 
10. ↑ Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Łukasz Kaiser, Illia Polosukhin: Attention Is All You Need. In: 31st Conference on Neural Information Processing Systems. 2017 (neurips.cc [PDF; 556 kB]). 
11. ↑ Yoav Goldberg: Neural Network Methods for Natural Language Processing (= Graeme Hirst [Hrsg.]: Synthesis Lectures on Human Language Technologies. Nr. 37). Morgan & Claypool Publishers, 2017, ISBN 978-1-62705-295-5, Chapter 9 Language Modeling, S. 112, doi:10.2200/S00762ED1V01Y201703HLT037 (englisch). 
12. ↑ Gerhard Paaß, Sven Giesselbach: Pre-trained Language Models. In: Foundation Models for Natural Language Processing. Springer International Publishing, Cham 2023, ISBN 978-3-03123189-6, S. 19–78, hier: S. 41, doi:10.1007/978-3-031-23190-2_2 (englisch). 
13. ↑ Top-k-Sampling in ChatGPT. 2. Mai 2023, abgerufen am 16. Juli 2023 (deutsch). 
14. ↑ Peter Liu, Mohammad Saleh, Etienne Pot, Ben Goodrich, Ryan Sepassi, Łukasz Kaiser, Noam Shazeer: Generating Wikipedia by Summarizing Long Sequences. 2018, S. 5, doi:10.48550/arXiv.1801.10198 (arxiv.org [PDF; 1,2 MB]). 
15. ↑ Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever: Improving Language Understanding by Generative Pre-Training. 2018, S. 4 (openai.com [PDF; 528 kB]). 
16. ↑ Yoav Goldberg: Neural Network Methods for Natural Language Processing (= Graeme Hirst [Hrsg.]: Synthesis Lectures on Human Language Technologies. Nr. 37). Morgan & Claypool Publishers, 2017, ISBN 978-1-62705-295-5, Chapter 9 Language Modeling, S. 105, doi:10.2200/S00762ED1V01Y201703HLT037 (englisch, insbesondere Fußnote 2). 

1. ↑ Wie meistens in der modernen Informatik ist auch hier die englische Bezeichnung präsenter. Die deutsche Bezeichnung Sprachmodell findet sich beispielhaft in:
   • Franziska Meyer: Sprachmodelle im Natural Language Processing. Seminararbeit an der Universität Leipzig. 2020 (uni-leipzig.de [PDF; 344 kB]). 
   • Sina Schmitt: Einfluss dynamischer Kontexterweiterungen auf die Schlussfolgerungsfähigkeiten neuronaler Sprachmodelle. Bachelorarbeit am Karlsruher Institut für Technologie. 2021 (archive.org [PDF; 2,8 MB]). 
   • Alena Behrens: Evaluation des Sprachmodells GPT-3 für den Einsatz an der ZBW – Leibniz Informationszentrum Wirtschaft. Masterarbeit an der Technischen Hochschule Wildau. 2022 (kobv.de [PDF; 3,3 MB]). 
2. ↑ so auch in Goldberg (2017) verwendet, allerdings teilweise ohne Start- und Endmarker; der Startmarker ist dort ansonsten <s> statt ${\displaystyle \bot }$ und der Endmarker </s>; bei Collins (2013) heißt der Endmarker STOP
3. ↑ Je nachdem, ob ${\displaystyle w_{i}}$ selbst mitgezählt wird oder nicht, kann es auch ${\displaystyle w_{i-N},\ldots ,w_{i-1}}$ sein. Dieser Artikel verwendet die bei ${\displaystyle N}$-Grammen übliche Konvention, dass ${\displaystyle w_{i}}$ mitgezählt wird, d. h. Unigramme (1-Gramme) betrachten die Wahrscheinlichkeiten der Elemente völlig unabhängig von ihrem Kontext.