slides-10 - apply

תמליל

1 עיבוד נתונים "עיבוד נתונים" כולל מבואלתכנותמדעיוסטטיסטי R חלק 10 פעולות נתונים מתקדמות שליפת נתונים סידור הנתונים מחדש קריאה בשמות אחרים לעמודות יצירת עמודות חדשות יצירת טבלה חדשה איחוד כמה טבלאות סיכום נתונים נעבוד גם עם פונקציות בסיסיות של R, וגם עם פונקציות מחבילות ייעודיות R חלק 10 2 R חלק 10 1 cats חילוץ אברים מווקטור / עמודה > library(mass) > head(cats) Sex Bwt Hwt 1 F F F F F F > str(cats) 'data.frame': 144 obs. of 3 variables: $ Sex: Factor w/ 2 levels "F","M": $ Bwt: num $ Hwt: num איך מחלצים את משקל הגוף של החתולים הזכרים בלבד? אפשר דרך ערכיT/F, ואפשר דרך אינדקסים R חלק 10 3 > males.tf <- cats$sex == "M" > head(males.tf) [1] FALSE FALSE FALSE FALSE FALSE FALSE > males.ind <- which(cats$sex == "M") > head(males.ind) [1] R חלק 10 4

2 / עמודה וקטוריזציה חילוץ אברים מווקטור > Bwt.males.TF <- cats$bwt[males.tf] > head(bwt.males.tf) [1] > Bwt.males.ind <- cats$bwt[males.ind] > head(bwt.males.ind) [1] > cats[males.tf, "Bwt"] > subset(cats, Sex == "M", select=bwt) חלק 10 אפשר גם כך: וגם כך: R וקטוריזציה כמעט תמיד עדיפה על לולאות יותר מהיר, יותר ברור הרבה פונקציות ב- R בנויות עבור וקטורים / מטריצות > mean(log(cats$hwt)) [1] > head(is.na(cats), 5) Sex Bwt Hwt 1 FALSE FALSE FALSE 2 FALSE FALSE FALSE 3 FALSE FALSE FALSE 4 FALSE FALSE FALSE 5 FALSE FALSE FALSE R חלק 10 ב' תש"ף, /20 6 משפחת apply apply משפחת הפונקציות apply מרחיבה את אפשרויות הווקטוריזציה נלמד ראשית על פונקציות מהתקנת הבסיס של R apply lapply tapply פונקציות בסיס קרובות, שלא נלמד עליהן aggregate,mapply,sapply apply מיועדת לעבוד עם מטריצות (וגם מערכים) > A <- matrix(1:6, 2, 3) > A [,1] [,2] [,3] [1,] [2,] > apply(a, 1, sum) [1] 9 12 > apply(a, 2, sum) [1] בשביל סכומים או ממוצעים, יותר יעיל לעבוד עם colsums, rowsums, colmeans, rowmeans R חלק 10 R חלק 10 ב' תש"ף, /20 8

3 apply apply f <- function(v){ return(sum(v%%2 == 0)) } > apply(a, 2, f) [1] כמה איברים זוגיים יש בכל עמודה? > apply(a, 2, function(v){sum(v%%2 == 0)}) [1] אפשר גם כך אפשר להעביר דרך apply ארגומנטים לפונקציה שמפעילים על השורות / עמודות g <- function(v, k){ return(sum(v%%k == 0)) } > apply(a, 2, g, k=2) [1] > apply(a, 2, g, k=3) [1] חלק 10 R חלק 10 ב' תש"ף, /20 R 10 apply lapply > B [,1] [,2] [,3] [1,] [2,] > apply(b, 2, unique) [[1]] [1] 1 5 כשאין ברירה, apply מחזירה רשימה הפונקציה lapply מקבלת כקלט וקטור (או רשימה), ומפעילה על כל אחד מהאברים (או פריטים) פונקציה נתונה lapply תמיד מחזירה רשימה [[2]] [1] 2 [[3]] [1] 3 6 R חלק 10 R חלק 10 ב' תש"ף, /20 12

4 lapply lapply > lapply(1:4, sqrt) [[1]] [1] 1 [[2]] [1] [[3]] [1] [[4]] [1] 2 חלק 10 R חלק 10 ב' תש"ף, /20 R > y <- list(c(1,3,3), c(4,4,4,5,5,6,8)) > y [[1]] [1] [[2]] [1] > lapply(y, unique) [[1]] [1] 1 3 [[2]] [1] tapply tapply tapply מקבלת נתונים (בד"כ כווקטור), מפצלת אותם לקבוצות לפי פקטור, ומחזירה את תוצאת הפעלת פונקציה נתונה על כל קבוצה > tapply(cats$bwt, cats$sex, summary) $F Min. 1st Qu. Median Mean 3rd Qu. Max > max.bwt <- tapply(cats$bwt, cats$sex, max) > max.bwt F M $M Min. 1st Qu. Median Mean 3rd Qu. Max R חלק 10 R חלק 10 ב' תש"ף, /20 16

5 החבילה dplyr ncyflights13 החבילה dplyr מאפשרת עיבוד נתונים בגישה אחרת נתקין ונטען חבילה גדולה יותר,,tidyverse שכוללת את dplyr לצד חבילות נוספות שנצטרך לא להיבהל מהודעות המערכת בזמן ההתקנה > library(tidyverse) נדגים את dplyr דרך נתונים שבחבילה,ncyflights13 הכוללת מידע על 336,776 טיסות פנים שיצאו מניו-יורק בשנת 2013 > library(nycflights13) הנתונים שנעבוד איתם נמצאים במשתנה flights R חלק R חלק > flights # A tibble: 336,776 x 19 year month day dep_time sched_dep_time dep_delay arr_time <int> <int> <int> <int> <int> <dbl> <int> # with 336,766 more rows, and 12 more variables: # sched_arr_time <int>, arr_delay <dbl>, carrier <chr>, # flight <int>, tailnum <chr>, origin <chr>, dest <chr>, # air_time <dbl>, distance <dbl>, hour <dbl>, minute <dbl>, # time_hour <dttm> tibble tibble המשתנה flights הוא מסוג,tibble שזה מעין מסגרת נתונים "משופרת" למשל, בהדפסת tibble למסך, לכל עמודה מופיע בכותרת <int> עבור מספרים שלמים <dbl> עבור מספרים ממשיים <chr> עבור מחרוזות יש גם הבדלים קלים בטיפול בנתונים; למשל, עמודה של תווים לא נשמרת אוטומטית כפקטור תרגיל: לכמה יעדים שונים יצאו טיסות? הופכים מסגרת נתונים ל- tibble R חלק ע"י הפקודה as_tibble > cats.2 <- as_tibble(cats) > cats.2 # A tibble: 144 x 3 Sex Bwt Hwt * <fct> <dbl> <dbl> 1 F F F F F F F F F F # with 134 more rows R חלק 10 20

6 tibble dplyr קוראים tibble ישירות מקובץ (מופרד ע"י טאבים) ע"י > branches <- read_tsv("branches.txt") > branches # A tibble: 20 x 6 name city region employees area revenue <chr> <chr> <chr> <int> <int> <dbl> 1 Bialik Tveria north Carmel Haifa north Shoshanim Raanana center Hadar Tel Aviv center Orot Tel Aviv center שפע פרטים בתיעוד הפונקציה read_tsv R חלק 10 הפונקציות הבסיסיות של dplyr הן filter בחירת שורות על פי תנאים R חלק 10 ב' תש"ף, /20 22 arrange שינוי סדר שורות select בחירת עמודות על פי השם שלהן mutate יצירת עמודות חדשות מתוך עמודות קיימות summarize סיכום עמודות group_by עבודה עם קבוצות של שורות כל הפונקציות עובדות גם על מסגרות נתונים רגילות, וגם על tibble םי- נקרא לשניהם להלן "טבלאות" dplyr filter כל הפונקציות הנ"ל עובדות באופן דומה: הארגומנט הראשון הוא טבלה הארגומנטים הבאים מתארים את הפעולה שיש לבצע, לפי שמות העמודות (שמופיעים ללא גרשיים) התוצאה היא טבלה חדשה אפשר לבצע סדרת פעולות זו אחר זו, כדי לקבל את התוצאה הסופית הפונקציה filter בוחרת שורות על פי תנאי אחד או יותר למשל, כל הטיסות שהמריאו ב- 3 בנובמבר: R חלק > filter(flights, month == 11, day == 3) # A tibble: 902 x 19 year month day dep_time sched_dep_time dep_delay arr_time <int> <int> <int> <int> <int> <dbl> <int> R חלק 10 24

7 filter תרגילים arrange כתבו פקודות הבוחרות את כל הטיסות שהמריאו בתאריכים בנובמבר כל הטיסות שהמריאו ב- 1 בינואר או ב- 1 במרץ כל הטיסות שהמריאו משדה התעופה JFK ושנחתו באיחור של שעתיים לפחות הפונקציה arrange ממיינת טבלה הארגומנט הראשון הוא הטבלה, ואחריו שמות העמודות לפיהן צריך למיין > arrange(flights, dep_time) # A tibble: 336,776 x 19 year month day dep_time sched_dep_time dep_delay arr_time <int> <int> <int> <int> <int> <dbl> <int> R חלק R חלק arrange arrange הארגומנט השלישי קובע את המיון במקרי תיקו של הארגומנט השני; הרביעי במקרי תיקו של השלישי, וכו' > arrange(flights, dep_time, month, day) # A tibble: 336,776 x 19 year month day dep_time sched_dep_time dep_delay arr_time <int> <int> <int> <int> <int> <dbl> <int> R חלק 10 > arrange(flights, desc(dep_time), month, day) # A tibble: 336,776 x 19 מיון לפי סדר יורד: year month day dep_time sched_dep_time dep_delay arr_time <int> <int> <int> <int> <int> <dbl> <int> R חלק 10 ב' תש"ף, /20 28

8 select select הפונקציה select בוחרת עמודות מטבלה > select(flights, month, day, air_time) # A tibble: 336,776 x 3 month day air_time <int> <int> <dbl> היזהרו מקונפליקט עם select של החבילה!MASS R חלק 10 > select(flights, month, day, starts_with("dep")) # A tibble: 336,776 x 4 month day dep_time dep_delay <int> <int> <int> <dbl> > select(flights, month, day, ends_with("time")) # A tibble: 336,776 x 7 month day dep_time sched_dep_time arr_time sched_arr_time <int> <int> <int> <int> <int> <int> > select(flights, month, day, contains("de")) # A tibble: 336,776 x 7 month day dep_time sched_dep_time dep_delay arr_delay dest <int> <int> <int> <int> <dbl> <dbl> <chr> IAH R חלק 10 ב' תש"ף, /20 30 select mutate עוד פונקציות ממשפחת :select > rename(flights, y = year, m = month, d = day) # A tibble: 336,776 x 19 y m d dep_time sched_dep_time dep_delay arr_time <int> <int> <int> <int> <int> <dbl> <int> > select(flights, origin, dest, everything()) # A tibble: 336,776 x 19 origin dest year month day dep_time sched_dep_time dep_delay <chr> <chr> <int> <int> <int> <int> <int> <dbl> 1 EWR IAH LGA IAH כל הפונקציות הנ"ל לא שינו את תוכן flights שבזיכרון הפונקציה mutate מוסיפה עמודות חדשות לטבלה נגדיר קודם טבלה מצומצמת, שאיתה נעבוד > flights.2 <- select(flights, origin, distance, air_time, arr_delay, dep_delay) > flights.2 # A tibble: 336,776 x 5 origin distance air_time arr_delay dep_delay <chr> <dbl> <dbl> <dbl> <dbl> 1 EWR LGA JFK JFK LGA R חלק R חלק 10 32

9 mutate mutate > mutate(flights.2, speed = distance / (air_time / 60), gain = arr_delay - dep_delay) # A tibble: 336,776 x 7 origin distance air_time arr_delay dep_delay speed gain <chr> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> 1 EWR LGA JFK JFK LGA EWR EWR תרגיל: צרו טבלה חדשה בשם,flights.3 הכוללת את כל העמודות של,flights ובנוסף להן, את העמודות dep_hour dep_min arr_hour arr_min חלק 10 R חלק 10 ב' תש"ף, /20 R 34 mutate transmute כדי להשמיט עמודה מטבלה: > mutate(flights.2, origin = NULL) # A tibble: 336,776 x 4 distance air_time arr_delay dep_delay <dbl> <dbl> <dbl> <dbl> # with 336,766 more rows R חלק 10 > transmute(flights.2, origin, # A tibble: 336,776 x 3 origin speed gain <chr> <dbl> <dbl> 1 EWR LGA JFK JFK LGA EWR הפונקציה transmute יוצרת טבלה חדשה speed = distance / (air_time / 60), gain = arr_delay - dep_delay) R חלק 10 ב' תש"ף, /20 36

10 summarize summarize הפונקציה summarize (או (summarise מסכמת נתונים של עמודה > summarize(flights, mean_dist = mean(distance)) # A tibble: 1 x 1 mean_dist <dbl> פונקציות נפוצות לשימוש בתוך :summarize R חלק 10 median min, max n summarize שימושית בעיקר כשהיא מופעלת יחד עם,group_by שזו פונקציה שיוצרת טבלה "מקובצת" > flights_by_origin <- group_by(flights, origin) > flights_by_origin # A tibble: 336,776 x 19 # Groups: origin [3] year month day dep_time sched_dep_time dep_delay arr_time <int> <int> <int> <int> <int> <dbl> <int> > summarize(flights_by_origin, mean_dist = mean(distance)) # A tibble: 3 x 2 origin mean_dist <chr> <dbl> 1 EWR JFK LGA 780. R חלק 10 ב' תש"ף, /20 38 summarize summarize עוד דוגמא: > flights_by_date <- group_by(flights, year, month, day) > summarize(flights_by_date, flight_count = n()) # A tibble: 365 x 4 # Groups: year, month [?] year month day flight_count <int> <int> <int> <int> # with 355 more rows R חלק 10 נציג גרפית את הקשר בין המרחק ליעד לבין ממוצעמשך האיחור בטיסה אליו ראשית, ניצור טבלה חדשה, מקובצת ע"פ היעד by_dest <- group_by(flights, dest) לכל יעד, נחשב את ממוצע מרחק הטיסה, ואת ממוצע האיחור בנחיתה delay <- summarize(by_dest, dist = mean(distance, na.rm = T), delay = mean(arr_delay, na.rm = T)) R חלק 10 ב' תש"ף, /20 40

11 summarize pipe נציג דיאגרמת פיזור של שני המשתנים plot(delay$dist, delay$delay, xlab="mean distance", ylab="mean delay") הפתרון האחרון היה קצת מסורבל, כי נאלצנו להשתמש ב"טבלת ביניים", by_dest גישה אחרת: להשתמש ב- pipe של,dplyr שהאופרטור שלו הוא %<% delay <- flights %>% group_by(dest) %>% summarize(dist = mean(distance, na.rm = TRUE), delay = mean(arr_delay, na.rm = TRUE)) plot(delay$dist, delay$delay) ה- pipe מעביר את הפלט של הפונקציה שמשמאלו, להיות "כאילו" הארגומנט הראשון של הפונקציה שמימינו R חלק 10 R חלק 10 ב' תש"ף, /20 42 pipe תרגילים פורמט "רחב" מול "ארוך" חזרו על התרגיל הקודם, אבל שהפעם בגרף ייכללו רק יעדים שהגיעו אליהם יותר מ- 20 טיסות, ולא ייכלל היעד הונולולו (HNL) מהו היעד שממוצע האיחור בנחיתה בו הוא הגדול ביותר? במהלך איזו שעה האיחור הממוצע בהמראה מ- JFK הוא הגדול ביותר, ומהו האיחור הממוצע? מהו שדה התעופה הנוסף, פרט להונולולו, שהמרחק אליו גדול מ- 3000? בניסוי קליני, מודדים אצל כל נבדק רמה של חומר מסוים בדם שלוש פעמים: לפני הטיפולים (pre) אחרי טיפול א' (treat.a) אחרי טיפול ב' (treat.b) את הנתונים ניתן לשמור במסגרת נתונים בשני פורמטים: פורמט רחב :(wide) שורה אחת לכל נבדק, עם עמודות נפרדות לכל מדידה פורמט ארוך :(long) שלוש שורות לכל נבדק, עם מדידה בודדת בכל שורה R חלק 10 R חלק 10 ב' תש"ף, /20 44

12 פורמט "רחב" מול "ארוך" פורמט "רחב" מול "ארוך" > dat_wide subject sex pre treat.a treat.b 1 1 M F F M חלק 10 R חלק 10 ב' תש"ף, /20 R > dat_long subject sex condition measurement 1 1 M pre M treat.a M treat.b F pre F treat.a F treat.b F pre F treat.a F treat.b M pre M treat.a M treat.b פורמט "רחב" מול "ארוך" פורמט "רחב" מול "ארוך" יש פונקציות / תוכנות שבנויות לעבוד עם פורמט רחב, ויש כאלה עם פורמט ארוך ממירים מפורמט ארוך לרחב ע"י הפונקציה spread > spread(dat_long, condition, measurement) subject sex pre treat.a treat.b 1 1 M F F M ממירים מפורמט רחב לארוך ע"י הפונקציה gather > gather(dat_wide, condition, measurement, pre:treat.b) subject sex condition measurement 1 1 M pre F pre F pre M pre M treat.a F treat.a F treat.a M treat.a M treat.b 10.7 R חלק 10 R חלק 10 ב' תש"ף, /20 48

13 פורמט "רחב" מול "ארוך" pull כדי להיות עוד יותר דומה ל- dat_long : > gather(dat_wide, condition, measurement, pre:treat.b) %>% arrange(subject) subject sex condition measurement 1 1 M pre M treat.a M treat.b F pre F treat.a F treat.b F pre F treat.a F treat.b 13.8 R חלק 10 הפונקציה pull שולפת עמודה מטבלה, ומחזירה אותה כווקטור (או פקטור) > flights %>% pull(origin) [1] "EWR" "LGA" "JFK" "JFK" "LGA" "EWR" "EWR" "LGA" [9] "JFK" "LGA" "JFK" "JFK" "JFK" "EWR" "LGA" "JFK" [17] "EWR" "LGA" "LGA" "EWR" "LGA" "LGA" "EWR" "JFK" [25] "EWR" "EWR" "JFK" "JFK" "JFK" "EWR" "EWR" "LGA" [33] "LGA" "EWR" "LGA" "JFK" "JFK" "EWR" "LGA" "LGA" [41] "EWR" "EWR" "LGA" "LGA" "JFK" "EWR" "EWR" "EWR > flights %>% pull(origin) %>% head(15) [1] "EWR" "LGA" "JFK" "JFK" "LGA" "EWR" "EWR" "LGA" "JFK" [10] "LGA" "JFK" "JFK" "JFK" "EWR" "LGA" R חלק 10 ב' תש"ף, /20 50 טבלאות איחוד טבלאות איחוד > musicians.1 # A tibble: 3 x 3 name yr.birth cntry <chr> <dbl> <chr> 1 John Lennon 1940 UK 2 Stevie Wonder 1950 USA 3 Beyonce 1981 USA > musicians.2 # A tibble: 1 x 3 name yr.birth cntry <chr> <dbl> <chr> 1 Miles Davis 1926 USA נתונות שתי טבלאות קל לאחד "לאורך" טבלאות עם אותו סדר עמודות, ע"י הפונקציה :bind_rows > bind_rows(musicians.1, musicians.2) # A tibble: 4 x 3 name yr.birth cntry <chr> <dbl> <chr> 1 John Lennon 1940 UK 2 Stevie Wonder 1950 USA 3 Beyonce 1981 USA 4 Miles Davis 1926 USA R חלק 10 R חלק 10 ב' תש"ף, /20 52

14 איחוד טבלאות טבלאות איחוד > musicians.3 # A tibble: 3 x 2 name sex <chr> <chr> 1 John Lennon M 2 Stevie Wonder M 3 Beyonce F > bind_cols(musicians.1, musicians.3) # A tibble: 3 x 5 name yr.birth cntry name1 sex <chr> <dbl> <chr> <chr> <chr> 1 John Lennon 1940 UK John Lennon M 2 Stevie Wonder 1950 USA Stevie Wonder M 3 Beyonce 1981 USA Beyonce F חלק 10 איך מאחדים "לרוחב"? R > bind_cols(musicians.1, select(musicians.3, sex)) # A tibble: 3 x 4 name yr.birth cntry sex <chr> <dbl> <chr> <chr> 1 John Lennon 1940 UK M 2 Stevie Wonder 1950 USA M 3 Beyonce 1981 USA F R חלק 10 ב' תש"ף, /20 54 איחוד טבלאות איחוד טבלאות > musicians.1 # A tibble: 3 x 3 name yr.birth cntry <chr> <dbl> <chr> 1 John Lennon 1940 UK 2 Stevie Wonder 1950 USA 3 Beyonce 1981 USA > musicians.4 # A tibble: 3 x 2 name sex <chr> <chr> 1 Beyonce F 2 John Lennon M 3 Stevie Wonder M איך מתמודדים עם סדר שורות שונה? R חלק 10 > left_join(musicians.1, musicians.4, by="name") # A tibble: 3 x 4 name yr.birth cntry sex <chr> <dbl> <chr> <chr> 1 John Lennon 1940 UK M 2 Stevie Wonder 1950 USA M 3 Beyonce 1981 USA F יש כמה סוגים של,join ואפשר לבצע אתם פעולות יותר מורכבות R חלק 10 ב' תש"ף, /20 56