09-Text Similarity Praxis

- Erstellt ein Textkorpus-Objekt aus Dokumenten./Syntax: Corpus(VectorSource(texts))/Beispiel: Corpus(VectorSource(c("Text A","Text B"))) → Korpus mit zwei Dokumenten.

- Wendet Transformationen auf alle Dokumente eines Korpus an./Syntax: tm_map(corpus, content_transformer(FUN))/Beispiel: tm_map(corpus, content_transformer(tolower)) → alles klein geschrieben.

- Entfernt Stoppwörter aus Texten./Syntax: tm_map(corpus, removeWords, stopwords("en"))/Beispiel: tm_map(corpus, removeWords, stopwords("de")) → häufige Wörter entfernt.

- Entfernt überflüssige Leerzeichen./Syntax: tm_map(corpus, stripWhitespace)/Beispiel: „Text mit Lücken“ → „Text mit Lücken“.

- Reduziert Wörter auf ihre Stammform (Stemming)./Syntax: wordStem(words, language="en")/Beispiel: wordStem(c("running","runs")) → „run“.

- Erstellt Matrix: Zeilen = Dokumente, Spalten = Wörter./Syntax: DocumentTermMatrix(corpus)/Beispiel: DocumentTermMatrix(corpus) → Häufigkeitstabelle.

- Wandelt DocumentTermMatrix in Standard-Matrix um./Syntax: as.matrix(dtm)/Beispiel: as.matrix(DocumentTermMatrix(corpus)) → numerische Matrix.

- Wandelt Term-Frequenzen in TF-IDF-Gewichte um./Syntax: weightTfIdf(dtm)/Beispiel: weightTfIdf(DocumentTermMatrix(corpus)) → TF-IDF-Werte statt Rohhäufigkeit.

- Zeigt Inhalt einer Term-Dokument-Matrix an./Syntax: inspect(dtm[1:5,1:5])/Beispiel: inspect(dtm) → Vorschau der Wortmatrix.

- Findet häufig vorkommende Wörter in Matrix./Syntax: findFreqTerms(dtm, lowfreq=5)/Beispiel: Wörter mit mindestens 5 Vorkommen.

- Findet assoziierte Wörter basierend auf Korrelationen./Syntax: findAssocs(dtm, "wort", corlimit=0.8)/Beispiel: Wörter, die stark mit „tumor“ korrelieren.

- Entfernt Satzzeichen aus Texten./Syntax: tm_map(corpus, removePunctuation)/Beispiel: „Hallo, Welt!“ → „Hallo Welt“.

- Wandelt Text in Kleinbuchstaben um./Syntax: tolower("Text")/Beispiel: tolower("Test") → „test“.

- Berechnet Distanzmatrix zwischen Dokumenten./Syntax: proxy::dist(x, method="euclidean")/Beispiel: proxy::dist(tfidf_matrix, "cosine") → Cosine-Distanz.

- Berechnet Ähnlichkeiten (z. B. Cosine, Jaccard)./Syntax: simil(x, method="cosine")/Beispiel: simil(tfidf_matrix) → Ähnlichkeitsmatrix.

- Berechnet Levenshtein-Distanz zwischen Strings./Syntax: adist("text1","text2")/Beispiel: adist("color","colour") → 1.

- Berechnet Jaccard- oder Dice-Ähnlichkeit sehr effizient./Syntax: JACCARD_DICE(list1, list2, method="jaccard")/Beispiel: textTinyR::JACCARD_DICE(list("A","B"), list("A","C")).

- Visualisiert Wortfrequenzen grafisch./Syntax: wordcloud(words, freq, max.words=100)/Beispiel: wordcloud(names(freq), freq) → Häufige Wörter größer dargestellt.

- Zerlegt Text in Tokens (z. B. Wörter)./Syntax: unnest_tokens(tbl, output="word", input="text")/Beispiel: unnest_tokens(df, "word", "text") → Token-Tabelle.

- Ersetzt verkürzte Formen durch vollständige Wörter./Syntax: replace_contraction(text)/Beispiel: „don't“ → „do not“.

- Führt Stemming in mehreren Sprachen durch./Syntax: wordStem(words, language="de")/Beispiel: „laufend“ → „lauf“.

- Berechnet Kosinus-Ähnlichkeit zwischen Vektoren./Syntax: cosine_similarity([x],[y])[0][0]/Beispiel: cosine_similarity(tfidf[0], tfidf[1]) → Ähnlichkeitswert zwischen zwei Dokumenten.

- Wandelt Texte in TF-IDF-Vektoren um./Syntax: TfidfVectorizer(stop_words='english').fit_transform(corpus)/Beispiel: erzeugt Sparse-Matrix mit TF-IDF-Werten.

- Erstellt Rohfrequenzmatrix (Bag-of-Words)./Syntax: CountVectorizer().fit_transform(corpus)/Beispiel: matrix mit Wortzählungen pro Dokument.

- Berechnet Levenshtein-Distanz in Python./Syntax: edit_distance("text1","text2")/Beispiel: edit_distance("kitten","sitting") → 3.

- Berechnet Jensen–Shannon-Distanz zwischen Verteilungen./Syntax: jensenshannon(P, Q)/Beispiel: jensenshannon([0.1,0.9],[0.8,0.2]) → Divergenzwert.

- Wandelt Liste in Menge für Jaccard-Vergleich um./Syntax: len(set(a)&set(b))/len(set(a)|set(b))/Beispiel: zwei Texte → Jaccard-Similarity.

- Enthält vordefinierte Stoppwortlisten für viele Sprachen./Syntax: stopwords.words("english")/Beispiel: Entfernt häufige Funktionswörter aus Text.

- Führt Stemming im Englischen durch (NLTK)./Syntax: PorterStemmer().stem(word)/Beispiel: „running“ → „run“.

- Führt Lemmatisierung basierend auf Wortart durch./Syntax: WordNetLemmatizer().lemmatize(word, pos='v')/Beispiel: „went“ → „go“.

- Berechnet Ähnlichkeitsmatrix für mehrere Dokumente./Beispiel: cosine_similarity(tfidf_matrix) → paarweise Cosine-Werte aller Texte.

- Berechnet Distanzmatrix (verschiedene Metriken)./Syntax: pairwise_distances(X, metric="cosine")/Beispiel: paarweise Dokumentdistanzen.

- Speichert TF-IDF- oder Ähnlichkeitsdaten tabellarisch./Syntax: pd.DataFrame(tfidf.toarray(), columns=vectorizer.get_feature_names_out())/Beispiel: TF-IDF-Tabelle zur Analyse.

- Berechnet Vektorlänge für Normalisierung./Syntax: x/np.linalg.norm(x)/Beispiel: Normierung vor Cosine Similarity.

- Visualisiert Ähnlichkeits- oder Distanzmatrix./Syntax: sns.heatmap(matrix)/Beispiel: heatmap(tfidf_similarity) → Clusterstrukturen sichtbar.

- Führt Clustering auf TF-IDF-Daten aus./Syntax: KMeans(n_clusters=3).fit(tfidf_matrix)/Beispiel: Cluster-Zuordnung für Dokumente.

- Zeichnet Dokumente nach zwei Hauptkomponenten (z. B. PCA)./Syntax: plt.scatter(x, y, c=labels)/Beispiel: Visualisierung von Textclustern.

- Speichert R-Objekt (z. B. TF-IDF-Matrix) auf Datenträger./Syntax: saveRDS(obj, "file.rds")/Beispiel: Wiederverwendung ohne Neuberechnung.

- Lädt gespeichertes R-Objekt wieder ein./Syntax: readRDS("file.rds")/Beispiel: tfidf <- readRDS("tfidf_matrix.rds").

- Zeigt erste Zeilen einer Matrix oder Tabelle./Syntax: head(x)/Beispiel: head(as.matrix(tfidf)) → Vorschau der TF-IDF-Werte.