B. Philipp Kleer
11. Oktober 2021
Nun tauchen wir in die Welt von dplyr ein. Das Paket nutzt man oft, um Datenstrukturen zu erkunden oder Transformationen vorzunehmen. Dabei gibt es einen Grundstock an Vokabeln, die über piping miteinander verbunden werden.
Dazu installieren wir zuerst tidyverse:
install.packages("tidyverse")
library("tidyverse")
# alternativ:
# install.packages("dplyr")
# library("dplyr")
Anschließend laden wir den Datensatz uni
ins environment.
Wir verschaffen uns einen Überblick über den Datensatz:
Einen Überblick über die Variablen:
# ID: laufende Nummer
# mot: Studienmotivation (0 <sehr niedrig> - 10 <sehr hoch>)
# study: Studienfach (1 <Political Science>, 2 <Sociology>, 3 <Educational Science>, 4 <Psychology>)
# city: Studienort (1 <Gießen>, 2 <Marburg>, 3 <Frankfurt>)
# distance: Anfahrtsdauer zur Uni in Minuten
# abi: Abiturnote
# term: Fachsemester
In dplyr gibt es nicht viele Vokabeln, die aber effektiv miteinander verbunden werden können, um Daten zu sortieren bzw. zu manipulieren.
Die Grundvokabeln lernen wir jetzt im Folgenden erstmal ohne piping kennen:
Mit select() wählen wir Spalten aus, die uns angezeigt werden
Demgegenüber können wir mit slice() Zeilen auswählen, also Fälle:
Mit filter() können wir spezifische Fälle des Datensatzes auswählen. Zur Erinnerung die logischen Verknüpfungen in R:
&
|
==
!=
>
<
<=
>=
Mit arrange() können wir den Datensatz sortieren.
Die Sortierung ist dabei immer aufsteigend. Dies kann man über die Funktion desc()
ändert (descending):
Alternativ kann man auch einfach ein Minuszeichen vor die Variable, nach der sortiert werden soll, setzen:
Mit mutate() werden neue Variablen geschaffen.
Zum Beispiel könnten wir eine Variable schaffen, die den Abstand zum Mittelwert in der Variable abi
misst:
Wichtig: Wir haben zwar hier die Variable abiDist
gespeichert, aber diese nicht im Datensatz gespeichert.
Bei der Erstellung kategorieller Variablen muss man zusätzlich die Funktion case_when() nutzen. case_when() funktioniert wie eine Aneinanderreihung von if-Bedingung, wobei die spezifischste Bestimmung zuerst kommen sollte. (spezifisch -> allgemein).
Im Beispiel schaffen wir eine Dummy-Variable, die anzeigt, ob die Person in Marburg studiert (1
) oder nicht (0
).
Die Grammatik in case_when() ist wie folgt:
mutate(uni,
dum.pum = case_when(city == "Marburg" ~ 1, # "Fallauswahl" ~ "neuer Codewert"
city == "Gießen" ~ 0,
city == "Frankfurt" ~ 0))
Auch hier könnten mehrere Bedingungen verknüpft werden: So möchten wir einen Dummy schaffen, der anzeigt, ob eine Person in Marburg Erziehungswissenschaften studiert.
Wir würden wie folgt beginnen:
Wenn man nicht alle verschiedenen Kombinationen eingeben möchte und zum Beispiel nur eine von Interesse ist, kann man mit TRUE ~ 0
allen restlichen Fällen direkt einen Wert zuordnen (aber nur denselben Wert!). Alle Kombinationen, die nicht vor TRUE ~ 0
definiert wurden, erhalten automatisch den in der TRUE
-Zeile definierten Wert.
mutate(uni,
dum.pum.es = case_when(city == "Marburg" & study == "Educational Science" ~ 1,
TRUE ~ 0))
Mit summarize() können vereinfacht erste Einblicke in die Daten erfolgen. So könnten wir uns z.B. den Mittelwert von term
ausgeben lassen.
In summarize() können verschiedene Funktionen genutzt werden, die auf die Variablen im Datensatz angewendet werden können. Auch können direkt mehrere Werte ausgegeben werden. Wichtig: Das Ausgabe-Format ist immer ein tibble.
Die Unterfunktion summarize_if() bietet dazu die Möglichkeit leicht auf eine Gruppe von Variablen Funktionen anzuwenden, also zum Beispiel auf alle numerischen Variablen:
Wer weiß, warum hier teils NA
angezeigt wird?
Die Unterfunktion summarise_at() bietet die Möglichkeit nur bei bestimmten Variablen die Funktion anzuwenden:
Mit group_by() kann der Datensatz gruppiert werden, also zum Beispiel nach eine kategoriellen Variable. In uni
-Datensatz zum Beispiel nach study
:
Was sehen wir? Nichts!
group_by() macht nichts weiter als die Daten zu gruppieren, die Ausgabe verändert sich dabei erstmal nicht. Erst in Kombination mit weiteren Funktionen, wird dies sichtbar:
Jetzt haben wir für jeden Studienort einen Mittelwert für das Fachsemester (term
).
**Wichtig:* Wenn Daten gespeichert oder übergeben werden, sollte am Ende die Befehlskette immer mit ungroup()
enden, um die Datenteilung nicht zu übergeben!
Mit den sogenannte pipes können Ergebnisse von Ausführungsschritten weitergegeben werden. Dies ist vorteilhaft, da so verschiedene Schritte direkt ausgeführt werden können. Auch kann so Code oftmas leichter nachvollzogen werden.
Den pipe-Operator %>%
kann man einfach per Tastenkürzel hinzufügen (Strg
/Cmd
+ Shift
+ M
).
Seit R Version 4.0 gibt es den Pipe-Operator auch in R Base, allerdings wird in R Base |>
als pipe-Operator genutzt. Es kann sein, dass es bereits packages gibt, die damit umgehen können, allerdings benötigt das auf Entwicklerseite meist etwas Zeit.
Hier mal ein Beispiel: Das Ziel ist es eine Variable zu erstellen, die den Abiturschnitt pro Uni-Stadt ausgibt. Das könnte die Frage beantworten, ob besonders gute Schüler:innen einen der drei Studienorte präferieren.
Die Schritte, die wir hierbei machen, sind folgende:
uni
weiter.city
.abiMean
.uni <- uni %>% # Schritt 1 / Schritt 5/0
group_by(city) %>% # Schritt 2
mutate(abiMean = mean(abi,
na.rm = TRUE)) %>% # Schritt 4
ungroup() #Schritt 5
table(uni$city, uni$abiMean)
2.51 2.51597633136095 2.58269230769231
Gießen 0 338 0
Marburg 350 0 0
Frankfurt 0 0 312
Alternativ könnten wir uns dies auch erstmal nur ausgeben lassen.
Ein weiteres Beispiel: Wir möchten Studierende nach der Anzahl des Fachsemesters kategorisieren. Die neue Variable termg
soll zwischen:
unterscheiden.
uni <- uni %>%
mutate(termg = case_when(term <= 2 ~ "Anfänger:in",
term > 2 & term <= 6 ~ "Erfahrene",
term > 6 ~ "Langzeit"))
table(uni$termg)
Anfänger:in Erfahrene Langzeit
93 468 439
chr [1:1000] "Erfahrene" "Erfahrene" "Erfahrene" "Erfahrene" "Langzeit" ...
Etwas komplexer wäre folgende Aufgabe: Wir möchten nicht die Abweichung zum Mittelwert des Abiturs in unserer gesamten Erhebung berechnen, sondern die Abweichung zum Mittelwert der einzelnen Universitäten. Damit wir die Gruppen-Mittelwerte angezeigt bekommen, berechnen wir auch eine Variable für den Gruppen-Mittelwert.
uni <- uni %>%
group_by(city) %>%
mutate(abigm = mean(abi)) %>%
mutate(abid = abi - abigm) %>%
ungroup()
uni[, c("ID",
"abi",
"city",
"abigm",
"abid")]
Alternativ könnten wir die Daten auch hierarchisch nach Standort und Studienfach gruppieren und uns dann einfach die unterschiedlichen Mittelwerte mit summarize() ausgeben lassen:
Versucht euch mit dem Grundvokabular an folgenden Aufgaben in den Breakout-Rooms oder allein:
Teile den Datensatz uni in drei Datensätze, die jeweils nur eine Universitätsstadt inkludieren.
Berichte die durchschnittliche Semesterzahl pro Uni und Studiengang!
Berechne eine Variable, die die Abweichung von der durchschnittlichen Semesterzahl nach Studienfach angibt.
In der nächsten halbe Stunde sollt ihr euch in Gruppen (Breakout-Rooms) oder einzeln an den folgenden Aufgaben versuchen. Es müssen nicht alle Aufgaben in der Zeit geschafft werden, es geht viel mehr um die Auseinandersetzung mit dem neuen Vokabular.
Nutzt dazu den Datensatz pss
(Panem Social Survey).
Filter den Datensatz, so dass ein Subset nur mit Personen aus Distrikt 1 entsteht. Lass dir mit pipes jeden 150. Fall anzeigen.
Filter den Datensatz, so dass ein Subset entsteht, dass keine Personen aus Distrikt 1 oder Distrikt 5 beinhaltet. Lass dir mit pipes die letzten 50 Fälle anzeigen.
Filter den Datensatz, so dass ein Subset mit Personen entsteht, die entweder in Distrikt 7 oder nicht in Distrikt 12 leben. Lass dir im Pipen die ersten 15a Fälle anzeigen.
Woher kommen die 10 ältesten Personen.
Wie stufen sich die 10 jüngsten personen auf der Links-Rechts-Selbsteinschätzung ein.
Gruppiere den Datensatz nach Distrikten und lasse dir deskriptive Werte für die Links-Rechts-Selbsteinschätzung ausgeben.
Zeigen sich, gruppiert nach Alter (!), deskriptive Differenzen auf der Links-Rechts-Selbsteinschätzung.