Web Mining

• Verwendung von Data Mining Techniken um automatisch Informationen aus WWW-Dokumenten und -Diensten zu finden (Hyperlin Strukturen, Seiteninhalten, Nutzungsdaten)

• Rapides Wachstum —> Größte öffentlich zugängliche Datenquelle

• Verschiedene Datentype (Strukturiert & Unstrukturiert)

• Heterogene Informationen (unterschiedliche Webseiten, gleicher Inhalt)

• Verknüpfte Informationen (Referenzen auf ander Dokumente)

• Verauschte und fehler Fehlerhafte Daten (Keine Qualität)

• Dynamik: Daten können sich jederzeit ändern

• Web als virtuelle Gesellschaft (Analyse deren Interaktionen)

• Finden von Relevanten ist aufgrund Menge, Vielfalt und Dynamik sehr schwer —> Gibt einige Algorithmen die darauf spezialisiert sind

• Braucht Data Mining Kenntnisse

• Textvorverarbeitung: Bereinigung des Texts

• Tokenisierung: Aufteilen des Texten in einzelne Wörter (Token)

• Erstellung Vokabular: Liste aller eindeutigen Wörter im Text erstellen

• Vektorisierung: Zählen der Häufigkeit jedes Wortes in jedem Dokument

Bag Of Words

• Führt Textdaten in numerische Form

  • Texte werden als Vektor dargestellt

  • Vektoren sind abhängig vom Vokabular

  • Vektor-Werte sind Abhängig von der Häufigkeit des Auftretens eines Wortes

  • Vgl. Vektordarstellung im Vector Space Modell (IR)

• Vorteile:

  • Einfache Implementierung und Verständlickiet

  • Effektivität bei vielen Anwendungen wie Textklassifiziereng

• Nachteile:

  • Verlust Kontextinformationen

  • Hohe Dimensionalität (Rechenaufwand und Speicherbedarf)

• Automatisierte Prozess des systematischen Durchsuchen und Indexieren von Webseiten

• Erstellt Datenbank für Suchmaschine, spezielle Algorithmen um Links zu finden und Seiten zu klassifizieren

• Extraktion spezifischer Daten von Webseiten

• Verwendet Parser um Daten von HTML-Strukturen zu extrahieren

• Ergebnis: Strzkturierte Daten wie Tabellen, Texte, Bilder

• Erkennung spezifischer Meinungen zu verschiedenen Aspekten

• Nutzt Quellen wie Produktrezensionen, Foren, soziale Netzwerke

• Text Mining und Feature Extraktion werden genutzt um detailiertes Verständnis von Kunden zu erhalten

• Valence Aware Dictionary and sEntiment Reasoner: ist ein Lexikon- und regelbasiertes Tool zur Sentiment-Analyse. VADER berücksichtigt Satzzeichen, Großschreibung & Kontext-Effekte

1. Textvorverabitung (Kaum, das VADEr selbst viel macht)

2. Textanalyse (Text wird in einzelne Wörter und Phrasen zerlegt

3. Wörter im Lexikon (Gleicht Wörter mit Sentimentlexikon ab)

4. Intensifikatoren/Negationen (Analyse von Wörtern die positiv oder negativ verstärken)

5. Berechnung Sentimentwerte (z.B. Großartig +3,1)

6. Klassifikation (Aufsummieren der Werte)

• Marktdaten (Sammeln und Analysieren von Markt/Wettbewerberdaten)

• Content Recommendation System (Collaborative or Content Based Filterung durch Analyse Nutzerverhalten)

• Trend Analysis (Identifizierung und Verfolgen aufkommender Trends in Soziale Medien, Nachrichten durch Text Mining und Zeitreihenanalyse)

• Fraud Detection (Erkennen und Vorbeugen betrügerischer Aktivitäten durch Musteranalyse oder Anomalie Erkennung in Transaktionen, Kommentaren, etc.)

• Search Engine Optimization: Optimieren von Webseiteninhalten für bessere Suchmaschinenrankings durch Keyword-Analysen

Finden & Interpretieren von Mustern in Hyperlink-Strukturen & sozialen Beziehungen zwischen Akteuren des Webs

• Ranking von Webseiten

• Produkt & Freundesempfehlungen

• Besseres Verständnis von Usern

• Erkennen von Mustern

• Graph: Sammlung von knoten und Kanten

• Knoten: Geben Entitäten, Zustände oder Elemente an

• Kanten: Geben Beziehungen oder Interaktionen zwischen Knoten an

• Degree: Anzahl der Kanten die an einem Kniten grenzen

• Density: Grad der Verbundenheit, Anzahl vorhande Kanten im Verhältnis zu Anzahl der möglichen

• Clustering Coefficient: Miss lokale Dichte. Gibt an wie viele der möglichen Knoten zu Nachbar existieren

• Shortest Path: Kürzester Weg der von einem Knoten zum anderen führt (ungewichtete Graphen: Breitensuche, gewichtet: Dijkstra Algorithmus)

• Diameter: Maximale Länge des kürzesten Pfades zwischen irgendeinem Paar Knoten

Centrality:

• Wie zentral ist ein Knoten im Netzwerk

• Relationen werden ungerichtet interpretiert

• Muss oft in Kontext gesetzt werden

• Kann mit Social Power verglichen werden

Prestige:

• Bedeutung eines Knotes basierend auf eingehende Verbindungen von anderen Knoten

• Kann mit Reputation (Likes, Zitationen) verglichen werden

• Degree Centrality: Misst Anzahl der direkten Verbindungen eines Knotens (kann normalisiert durch die Anzahl der möglichen dargestellt werden)

• Betweeness Centrality: Musst wie oft ein Knoten auf dem kürzesten Pfad zwischen anderen Knoten liegt (Vermittler)

• Closeness Centrality: Misst durschnittle kürzeste Entfernung eines Knoten zu Nachbar -> Knoten der durchschnittlich nahe liegt kann als Vermittler fungieren

• Degree Prestige: Anzahl der eingehenden Verbindungen

• Proximity Prestige: Bewertet Knoten basierend auf Nähe zu anderen wichtigen Knoten

• Rank Prestige: Misst Bedeutung basierend auf Qualität der eingehenden Knoten

• Variation des Rank Prestige in welchem Prestige des Knoten auf alle ausgehenden Links verteilt wird

• Hilft relevante Suchergebnisse darzustellen

• Integration des Damping Facotr

  • Modellier Random Surfer Verhalten

  • 0,85 = 85% folgt der den Links auf derzeitigen Seite

  • Verhindert Nicht beachtung Dead-End Webseiten

  • Verhindert Dominanz von Zyklen, die auf sich gegenseitig verweisen

1. Graph der Verlinkungen repräsentiert als Adjazenzmatrix darstellen

2. Normierung zu spalten-stochastischen Matrix

3. Berücksichtigung des Damping Factors

4. Berechnung des Eingenvektor

• Community = Gruppe von Akteuren zwischen denen Interaktionen (relativ) häufig sind

• Analyse hilft Nutzer besser zu verstehen

• Vergleich zwischen Individuellem Verhalten und Gruppenerwartungen

• Gibt mehrere Methoden zur Identifizierung: K-Cores, Cliques, Divise hierarchical clusterung

K-Cores:

• Identifikation von stark verbundenen Subnetzen

• Basiert auf Degree (Grad) von Knoten

• Entfernen Sie alle Knoten mit Grad wneiger als K

• Wiederhole bis Graph in Komponeten zerfällt sie zusammenhängende Untergruppen bilden

Divise Hierarchical Clustering:

• Wähle Cluster der aufgeteilt werden soll (Gesamter Graph oder basierend auf Inhomogenität)

• Aufteilung K-Means oder ander CLustering Algorithmus, Entfernung basiered auf hoher Betweeness

• Wiederhole bis gewünschte Anzahl erreicht

Automatisierte Entdeckung und Analyse von Mustern in der Interaktion von

Nutzern mit Webseiten

Ziele:

• Kundenbindung

• Cross-Marketing-Strategien

• Wirkung von Werbekampagnen

• Personalisierte Inhalte präsentieren

1. Datensammlung & Vorverarbeitung (Datenbereinigung und Einebziehung von Domänenwissen)

2. Mustererkennung (Finden von Mustern die das typische Verhalten der Nutzer wiedergeben

3. Musternalyse (Verarbeitung hin zu Benutzermodellen zum Input für Verbesserungen)

• Webserver-Zugriffsprotokolle (IP-Adressen, Zugriffzeiten, Cookies)

• E-Commerce (Warenkorbänderungen, Werbe- oder Produktklickrate, Käufe)

• Nutzereignisse auf Social Media

• Datenvorverarbeitug: Erstellen eines geeignetes Zieldatensatzes

• Zeitaufwendiger und rechenintensiver Schritt aufgrund der Datenstruktur und -heterogenität

• Datenfusion: Zusammenführen der verteilten Log-Dateien

• Datensäuberung:

  • Eliminieren von verrauschten und überflüssigen Informationen

  • Irrelevante Logeinträge wie transferierte Bytes, HTTP-Protokoll, etc. wird entfernt

  • Löschen von Crawlereinträgen (50% Traffic)

• Pageview Identifizierung:

  • Identifizierung von Seitenzugriffen

  • Pageview kann eine Kollektion von Webobjekten oder anderen Ressourcen sein oder auch ein User Event

• Nutzeridentifizierung

  • Identifizierung von Nutzern (ohne konkretes Wissen über Identität)

  • Sequenz von Aktivitäten wird als User Activit Record bezeichnet

  • Identifizierung über Cookies oder einer Kombination aus IP-Adresse und anderen Attributen

• Session Identifizierung

  • Segmentierung der Records auf einzelne Sessions

  • Webseiten ohne Authentifizierungsinformationen müssen heuristische Methoden (Annahme basierend auf zeit oder IP)

• Statistische Analyse von Daten die sehr häufig verwendet wird und auch von vielen kommerzielle Analysetools angeboten wird

• Gewinnen von Erkenntnissen zu Besucherverhalten (Häufigst aufgerufene Seite, durchschnittliche Verweildauer, Ausstiegspunkte)

• Potenzielle Verbesserung der Systemleistung und Unterstützung von Marketingmaßnahmen

• Statistisches Erkennen von Gruppen von Artikeln oder Seiten, die oft zusammen gekauft bzw. aufgerufen werden

—> Effizienterer Seiteninhalt und effektivere „cross-sale“-Produkt Empfehlungen

• Gruppierung einer Menge von Objekten mit ähnlichen Merkmalen: Nutzer oder Webseiten Cluster sind möglich

• Clustern von Nutzern, die ähnliche Browsing-Muster aufweisen

• Ableitung von demographischen Merkmalen oder anderen Features für Marktsegmentierung

• Bereitstellung von Querverweisen zu ähnlichen Themen/Produkten

• Datenelemente werden vordefinierten Klassen zugeordnet

• Erstellen eines Profils von Benutzer, die einer gemeinsamen Klasse zugehören

• Klassifizierung der Nutzer nach Kaufneigung und daraus dann Ableitung von Marketingmaßnahmen

• Methode der Problemlösung, die auf der Wiederverwendung von WIssen aus vergangenen Fällen basiert

• Wenn ein neues Problem auftritt such das System nach ähnlichen bereits gelösten Fällen

• Einsatz ist Medizinischer Diagnose, Rechtssystemen, Technischer Support, Produktempfehlungen

• Fall (Case): Detaillierte Beschreibung eines spezifischen Problems, seiner Lösung und deren Beschreibung (Triple)

• Fallbibliothek (Case Livrary): Sammlung von früheren Fällen

• Ähnlichkeitsbewertung (Similarity Assessment): Prozess um ähnliche Fälle zu funden

• Anpassung (Adaption): Modifikation der früheren Lösungen für das neue Problem

1. Retrieve (Abrufen): Finden passende Fälle

2. Reuse (Wiederverwenden): Anwenden der Informationen und Lösungen aus den gefundenen Fällen

3. Revise (Überarbeiten): Anpassung der vorgeschlagenen Lösung an die spezifische Anforderungen des neuen Problems

4. Retain (Beibehalten): Integration des neuen Falls in die Fallbibliothek

Vorteile:

• Lernfähig: System wird kontinurilich besser

• Flexibilität: Kann auf Vielzahl von Problemstellungen angewandt werden

• Effizienz: Reduziert die Zeit zur Problemlösung

• Anpassungsfähigkeit: Lösungen können leicht an neue Situation angepasst werden

Nachteile:

• Qualität der Fallbasis entscheidend: Abhängig

• Skalierbarkeit: Bei großen Fallbibliotheken kann Effizienz leiden

• Ähnlichkeitsbewertung: Identifikation von Ähnlichkeitsmetriken sehr zentral aber schwer

1. Fall Sammlung

2. Fall Repräsentation (Darstellung in welchem Format)

3. Indexierung: Entwicjeln eines effizienten Systems zur Indexierung und schnellen Abrufbarkeit

4. Ähnlichkeitsbewertung: Implementierung von Algorithmen zur Bewertung der Ähnlichkeit

5. Anpassungsmechanismus: Stratgien zur Anpassung früherer Lösungen