יסודות ההסתברות פרופ' משה חביב, המחלקה לסטטיסטיקה, האוניברסיטה העברית מבוסס על קורס "יסודות הסתברות נתונים ומחשבים" (52220) להערות:

תמליל

1 יסודות ההסתברות פרופ' משה חביב, המחלקה לסטטיסטיקה, האוניברסיטה העברית מבוסס על קורס "יסודות הסתברות נתונים ומחשבים" (52220 להערות: נחי

2 תוכן עניינים 5 סטטיסטיקה תיאורית I מדדי מרכז ממוצע חשבוני mean Arithmetic או (Average. 8 ממוצע הנדסי mean (Geometric ממוצע הרמוני mean (Harmonic בחירת סוג ממוצע חציון (median מדדי פיזור 2 5 שונות (Variance סטיית תקן deviation (Standard אי שוויון צ'בישב ציוני תקן (תיקנון היסטוגרמה סוגי משתנים מדדי קשר בין משתנים שונות משותפת (Covariance (Correlation מקדם המתאם coecient רגרסיה לינארית regression.linear או: ישר הריבועים הפחותים נסיגה לממוצע mean (Regression to the מבוא לתורת הקבוצות II מונחים יסודיים כללי דה מורגן שכיחות יחסית חלוקה III תורת ההסתברות 4 46 קומבינטוריקה IV מדגם סדור עם החזרה מדגם סדור ללא החזרה מדגם לא סדור ללא החזרה הבינום של ניוטון מדגם לא סדור עם החזרה דוגמאות זריקת קוביות ימי הולדת זריקת כדורים לתאים קלפי ברידג' חברי כנסת

3 הסתברויות היפר גאומטריות הסתברות מותנה probability (Conditional נוסחת ההסתברות השלמה נוסחת ביאס theorem (Bayes' שכיחות יחסית מותנה אי תלות (Independence דוגמה: אוניברסיטת ברקלי דוגמה: גנטיקה משתנים מקריים V פונקציית התפלגות מצטברת התפלגויות מיוחדות 8 7 התפלגות ברנולי התפלגות אחידה התפלגות בינומית התפלגות גאומטרית התפלגות פואסון התפלגות בינומית שלילית התפלגות היפר גאומטרית מדדי מרכז של משתנים מקריים 9 78 תוחלת של משתנה מקרי value (Expected תוחלת של מ"מ ברנולי תוחלת של מ"מ אחיד תוחלת של מ"מ בינומי תוחלת של מ"מ פואסון תוחלת של מ"מ גאומטרי תוחלת של מ"מ בינומי שלילי תוחלת של מ"מ היפר גאומטרי שכיח שכיח של מ"מ ברנולי שכיח של מ"מ פואסון שכיח של מ"מ בינומי שכיח של מ"מ גאומטרי תוחלת של פונקציות של משתנים מקריים תוחלת של פונקציה לינארית תוחלת של הרכבת פונקציות מדדי פיזור של משתנים מקריים שונות של משתנים מקריים סטיית תקן של משתנה מקרי נוסחה לחישוב השונות שונות של מ"מ ברנולי שונות של מ"מ פואסון שונות של מ"מ בינומי שונות של מ"מ גאומטרי שונות של מ"מ אחיד

4 פרדוקס המהמר (או: פרדוקס סנט פטרבורג הערה: הסתברות ושכיחות יחסית הערה: סופיות התוחלת/השונות חציון תיקנון משתנים מקריים התפלגויות משותפות VI משתנים מקריים רב ממדיים פונקציה של משתנים מקריים קשרים בין משתנים מקריים שונות משותפת של משתנים מקריים מקדם המתאם של משתנים מקריים ישר הרגרסיה בין משתנים מקריים 3.3 אי תלות בין משתנים מקריים VII שקלול בין משתנים מקריים דוגמה: השקעה אופטימלית אי שוויונים VIII 8 אי שוויון מרקוב אי שוויון צ'בישב 6 2 החוק החלש של המספרים הגדולים

5 חלק I סטטיסטיקה תיאורית תפקידה של הסטטיסטיקה התיאורית הוא לעבד נתונים. למשל, נניח שנתונות ההכנסות של כל משקי הבית בישראל. כלומר, נתונים לנו כמה מיליוני מספרים שכל אחד מהם הוא הכנסה של משק בית כלשהו בישראל. אנו נרצה לראות את ה"יער" מתוך ה"עצים". נרצה לסכם נתונים בתמציתיות או לתאר אותם באמצעות המחשות כמו דיאגרמה או גרף, כך שנקבל תמונה כללית על ההכנסות במשקי בית בישראל. הסטטיסטיקה התיאורית עוסקת בעיקר (אך לא רק במשתנים כמותיים. נניח שמתייחסים לגובה של אנשים השייכים לאוכלוסייה מסויימת. נסמן את המשתנה המספרי שמקבל את ערך הגובה של כל אדם ב- Y. נקבע יחידות מדידה קבועות, למשל מטרים, וכל התצפיות (האנשים השייכים לאוכלוסייה יימדדו באותן יחידות. נניח כי נתונים לנו n אנשים באוכלוסיית היעד, כך שקיימות התצפיות המתאימות.Y, Y 2,..., Y n הערה: נשים לב כי Y הוא שמה של התצפית שאנו קוראים לה ראשונה. "ראשונה" איננו יותר מאשר שם או כינוי לצורכי התייחסות. כלומר, האינדקס אינו מעיד על הערך של התצפית אלא רק על המספר הסידורי שלה בתוך כלל התצפיות. האינדקס מאפשר להתייחס לאוכלוסייה כאל סדרה, כלומר קבוצה שיש בה סדר. מדדי מרכז נרצה לסכם את התצפיות שקיבלנו במספר או שניים שמייצגים באיזשהו אופן את כלל התצפיות. מספרים אלה מייצגים במידה מסוימת את התכונות של כלל האוכלוסייה הנמדדת, ועל כן הם מאפשרים להשוות באופן כללי בין אוכלוסיות שונות.. ממוצע חשבוני mean Arithmetic או (Average.(Y, Y 2,..., Y n אוסף התצפיות (כלומר, {Y i } n i הגדרה: נניח כי נתונה הסדרה נאמר שהממוצע החשבוני של הסדרה הוא: Y Y + Y Y n n ( n n Y i i דוגמה: נניח שהערכים הנתונים הם,.,0,2,4 7 נשתמש בנוסחה שהגדרנו ונקבל שהממוצע החשבוני הוא:

6 תכונות הממוצע החשבוני. הממוצע החשבוני משמר את יחידות המדידה. i {Y i } n (כלומר, (Y, Y 2,..., Y n ביחידות של מטרים, אז למשל אם נתונה הסדרה גם הממוצע החשבוני Y מתקבל ביחידות של מטרים. 2. הממוצע החשבוני אדיש ל"טרנספורמציה לינארית". כלומר, עבור כל זוג מספרים קבועים כלשהם,a b מתקיימת הנוסחה: a Y + b a Y + b i Y} i } n הממוצע החשבוני הוא Y, אז עבור הסדרה נסביר: אם עבור הסדרה.aY +b הממוצע החשבוני יהיה (ay +b, ay 2 +b,..., ay n +b (כלומר, {ay i + b} n i נשים לב שחיבור וכפל הן פעולות שנקראות לינאריות, ולכן הממוצע אדיש גם לחיבור של קבוע וגם לכפל בקבוע. דוגמה לשימוש היא חישוב הממוצע לאחר שינוי ביחידות המדידה. כך למשל אם נתון ממוצע ביחידות של מטרים, נשתמש בטרנספורמציה הלינארית f (x 00x כדי לקבל את הממוצע ביחידות של סנטימטרים. 3. ממוצע של סכום שווה לסכום הממוצעים. i {X i } n i,{y i} n מתקיימת הנוסחה: כלומר, עבור כל זוג סדרות X + Y X + Y גם תכונה זו נובעת מהלינאריות של הממוצע החשבוני. 4. הממוצע הוא פונקציה שתלויה בכל הערכים כולם. כלומר, אם נשנה ערך אחד - לא משנה איזה ערך - הממוצע בהכרח ישתנה. כמובן, אם שינוי זה הוא כלפי מעלה או מטה, יתקיים שינוי מתאים בממוצע (אך לא באותו ערך. 5. הממוצע החשבוני מביא למינימום את סכום ריבועי הסטיות של הנתונים מכל מספר. i Y} i } n ונניח ש- x הוא מספר כלשהו. נסביר: נניח כי נתונה הסדרה נתבונן בפונקציה שמודדת את סכום ריבועי המרחקים של איברי הסדרה מ- x. כלומר הפונקציה הבאה: f (x (Y x 2 + (Y 2 x (Y n x 2 (Y i x 2 i נוכיח שהממוצע החשבוני Y הוא המספר x שמביא למינימום את הפונקציה (x f שהגדרנו. כלומר לא משנה איזה x נבחר, תמיד יתקיים (x f. ( Y f 6

7 ראשית נשתמש בנוסחת הכפל הידועה,(a b 2 a 2 2ab + b 2 ונסיק כי מתקיים: f (x (Y i x 2 (Y x 2 + (Y 2 x (Y n x 2 i ( Y 2 2Y x + x 2 + ( Y 2 2 2Y 2 x + x ( Y 2 n 2Y n x + x 2 ( Y 2 + Y Y 2 n 2x (Y + Y Y n + nx 2 i Y 2 i 2x Y i + nx 2 נשים לב שקיבלנו פרבולה "צוחקת" מהצורה,ax 2 +bx+c כאשר הקבועים המתאימים במקרה שלנו הם: i a n b 2 c i עבור פרבולה צוחקת הנוסחה למציאת הערך x, min כלומר הערך שעבורו הפרבולה (x f מגיעה למינימום, היא: x min b 2a 2 n i Y n i i Y i Y 2n n מכאן שהממוצע Y הוא הערך שמביא למינימום את פונקציית סכום ריבועי המרחקים של הנתונים מ- x. i Y 2 i Y i 6. הממוצע בריבוע קטן או שווה לממוצע הריבועים. כלומר, מתקיים תמיד אי השוויון Y. 2 Y 2 כמו כן המקרה של שוויון Y 2 Y 2 מתקיים אך ורק כאשר כל איברי הסדרה שווים. כלומר, ה"שונות" (שתוגדר פורמלית בהמשך שווה ל- 0. הוכחה: 0 f (x min 4ac b2 4a 4n n i Y i 2 4 ( n i Y i 2 n (Y 4n 2 Y 2 7. אם נתונים בסדרה k איברים זהים, ניתן להכפיל את האיבר המתאים ב- k. 7

8 ,Y, Y 2, Y,..., Y,..., Y אז הממוצע הוא: כלומר, אם נתונה הסדרה } n {{} k times Y Y + Y 2 + k {}}{ Y Y Y n n Y + Y 2 + ky Y n n.2 ממוצע הנדסי mean (Geometric i {Y i } n שכל איבריה אי שליליים. הגדרה: נניח כי נתונה הסדרה נאמר שהממוצע ההנדסי (או הגאומטרי של הסדרה הוא: x n Y Y 2... Y n.{y i } n i הסבר: נניח שנתונה סדרה של מספרים חיוביים.{log Y i } n i נתבונן בסדרה שבה מוציאים לוגריתם מכל אחד מהאיברים. כלומר, הסדרה נגדיר פונקציה (x g שתיקרא פונקציית הפסד, באופן הבא: g (x (log Y log x 2 +(log Y 2 log x (log Y n log x 2 נשים לב שמהדיון לעיל בו הראינו שממוצע הוא הערך שממזער את פונקציית סכום ריבועי המרחקים, נובע שהערך שממזער את הפונקציה (x g הוא הערך של x עבורו.log x log Y נשים לב עוד שמתקיים לפי חוקי הלוגריתמים: log Y n (log Y + log Y log Y n n log (Y Y 2... Y n ( log (Y Y 2... Y n n log n Y Y 2... Y n (log Y i log x 2 i נסיק מכך: log x log Y log n Y Y 2... Y n x n Y Y 2... Y n מכאן שבדומה לממוצע החשבוני שהוגדר כמספר שממזער את סכום ריבועי המרחקים של איברי הסדרה ממנו, הממוצע ההנדסי מוגדר כמספר שהלוגריתם שלו ממזער את סכום ריבועי המרחקים של לוגריתם איברי הסדרה ממנו. פונקציית הלוגריתם היא פונקציה הפיכה, ולכן ניתן לצמצם אותה משני הצדדים. 8

9 תכונות הממוצע ההנדסי. הממוצע ההנדסי משמר את יחידות המדידה. n ay ay 2... ay n a n Y Y 2... Y n.2 לכל 0 a מתקיים: (כלומר, הממוצע ההנדסי לינארי ביחס לכפל בקבוע. n (Y + b (Y 2 + b... (Y n + b n Y Y 2... Y n + b.3 לכל 0 b מתקיים: (כלומר, הממוצע ההנדסי אינו לינארי ביחס לחיבור של קבוע. j {x j } n מתקיים: 4. לכל סדרה מהצורה n x Y x 2 Y 2... x n Y n n x x 2... x n n Y Y 2... Y n.3 ממוצע הרמוני mean (Harmonic i,{y i } n שכל איבריה שונים מ- 0. הגדרה: נניח כי נתונות הסדרה נאמר שהממוצע ההרמוני של הסדרה הוא: n x Y + Y Y n.4 בחירת סוג ממוצע אי שוויון הממוצעים: ראשית נזכיר (מבלי להוכיח תוצאה ידועה של המתמטיקאי אוגוסטין קושי, שנקראת "אי שוויון הממוצעים". i,{x i } n מתקיים עבור שלושת הממוצעים משפט זה קובע שלכל סדרה של מספרים חיוביים שהגדרנו אי השוויון הבא: n x + x x n n x x 2... x n x + x x n n המשפט קובע ששוויון מתקיים אם ורק אם כל המספרים בסדרה זהים. 9

10 דוגמה ברוקר נוכח שבשלוש שנים עוקבות מניה הכפילה את עצמה בערכים,.., כלומר, שווי המניה לאחר שלוש השנים הוכפל בערך של בממוצע חשבוני, ערך המניה הוכפל בשנה בערך של.077 נשים לב שאם כל שנה היינו מכפילים את ערך המניה ב-.077 היינו מרוויחים יותר ממה שהושג במציאות: כעת נמצא תשואה קבועה כזאת שב- 3 שנים תניב את הרווח שהתקבל בפועל (.277: x x נשים לב שזה התקבל למעשה באמצעות חישוב הממוצע ההנדסי. מכאן שבחישוב תשואות הממוצע ההנדסי הוא מדד מרכזי מהימן יותר מאשר הממוצע החשבוני. הערה: בהתאם לאי שוויון הממוצעים, נוכחנו שהממוצע ההנדסי קטן מהממוצע החשבוני. דוגמה 2 מכונית נוסעת מחיפה לתל אביב, מרחק של 00 ק"מ, במהירות קבועה של 00 קמ"ש. דרך זו כמובן תארך שעה. המכונית חוזרת את אותה הדרך במהירות של 50 קמ"ש, וכעת הדרך תארך שעתיים. מהי המהירות הממוצעת של המכונית? תשובה פזיזה עלולה לקבוע שהמהירות הממוצעת היא 75 קמ"ש. אולם לכאורה זו תשובה שגויה, כי מהירות ממוצעת מוגדרת כסך המרחק חלקי סך הזמן ולכן הממוצע הוא ,{50} 20 i ואכן אם היינו דוגמים את מהירות המכונית בכל דקה היינו מקבלים את הנתונים {00}, 60 כך שהממוצע החשבוני בכל הדקות הוא: j לעומת זאת נשים לב שאם היינו בודקים את מהירות המכונית בכל קילומטר היינו מקבלים {00}, 00 כך שהממוצע החשבוני של הכל יחד הוא: j,{50}00 i אם כן מהי התשובה הנכונה? אין תשובה נכונה יחידה. ממוצע חייב להתייחס ליחידות המדידה שבהן אנו בוחרים למדוד. במקרה זה עלינו להחליט האם מעוניינים לבדוק מהירות ממוצעת לדקה (זמן או מהירות ממוצעת לקילומטר (מרחק. דוגמה 3 נכליל את הדוגמה האחרונה בה עסקנו. 0

11 i נניח כי עוברים מרחק בגודל a מספר כלשהו של פעמים שנסמן n. בכל אחת מהפעמים עוברים את המרחק במהירות Y. i כלומר נתונה לנו סדרת המהירויות.{Y i } n i בכל פעם:, a Y i ולכן הזמן שאורך לעבור את המרחק נשים לב שמשך הזמן שאורכת הדרך בפעם ה- i הוא הכולל na הוא a. Y i שאלה: מהי המהירות הקבועה (שנסמן כנעלם x שאם נשתמש בה בכל n הפעמים, סך הזמן שיארך לעבור את המרחק na יהיה שווה לסך הזמן שאורך לעבור את אותו המרחק במהירויות i {Y i } n בהתאמה? אם נתרגם את השאלה לסימונים בהם השתמשנו, נחפש x שיקיים את השוויון: וזו בדיוק הגדרת הממוצע ההרמוני. a i x na Y x i n n i Y i נשים לב שבתרגום למונחי פונקציית הפסד, נחפש x שימזער את הפונקציה: ( 2 Y i x i x Y נקבל מינימום של הפונקציה, כפי שהסברנו לעיל בנוגע לממוצע החשבוני. אם נבחר ולכן נציב בשוויון הנדרש את התוצאה ונקבל: x Y n n i n n Y i i Y i הערה: עד כה ניגשנו להגדיר מדדי מרכז או ממוצעים למיניהם כדי שימזערו פונקציות מסוימות. קיימת גישה אחרת להגדיר את הממוצעים, לפיה מעוניינים להחליף את כל איברי הסדרה במספר קבוע שיביא אותנו לאותו מקום. n, נקבל ממוצע חשבוני: אם נבדוק מהו הקבוע c המקיים i X i c + c c }{{} n times.c X n את הממוצע החשבוני n i X i n, נקבל את i X i c } c {{... } ממוצע הנדסי: אם נבדוק מהו הקבוע c המקיים c n times c n n (עבור איברים שכולם חיוביים. הממוצע ההנדסי i X i, n i X i ממוצע הרמוני: אם נבדוק מהו הקבוע c המקיים c c + }{{ c } n times נקבל את הממוצע ההרמוני.c n n i Xi

12 .5 חציון (median {Y i } n i הגדרה: נניח כי נתונה הסדרה נאמר שהחציון של הסדרה הוא ערך אמצעי של הערכים, והוא מסומן ב-(.med Y כלומר, אם מספר התצפיות הוא אי זוגי, מסדרים את הערכים שבסדרה בסדר עולה (או יורד ובוחרים את הערך האמצעי. אם מספר התצפיות הוא אי זוגי, החציון מוגדר להיות כל ערך שנמצא בין שני הערכים האמצעיים של הסדרה. דוגמה: נניח שנתונות התצפיות 7} {, 0, 2, 4,,Y אז 2 (Y.med הסבר: נראה שגם החציון ממזער פונקציית הפסד כלשהי. נגדיר פונקציית הפסד (x h באופן הבא: h (x Y x + Y 2 x Y n x h (x i Y i x n n Y i x i Y i x n Y x i נשים לב שמתקיים: בדוגמה שהזכרנו, הפונקציה המתקבלת היא: 5x + 2 for x 3x + 4 for x 0 x + 0 for 0 x 2 h (x x + x + 2 x + 4 x + 7 x x + 0 for 2 x 4 3x + 2 for 4 x 7 5x 2 for 7 x נסביר: נשים לב שעבור x כל הביטויים בתוך סימני הערך המוחלט הם חיוביים, ולכן בתחום זה ניתן לוותר על סימנים אלו, ואז הפונקציה מוגדרת 2+5x h. (x כאשר 0 x עובדה זו נכונה רק עבור ארבעת המחוברים האחרונים. עבור המחובר הראשון הערך המוחלט הופך את סימנו של הביטוי הרשום בתוכו והוא +x, לכן עבור תחום זה הפונקציה מוגדרת + 4 3x h. (x בתחום 2 x 0 שני המחוברים הראשונים הופכים סימן ושלושת האחרונים לא, ולכן עבור תחום זה הפונקציה מוגדרת + 0 x h. (x וכן הלאה. הגרף של פונקציה זו הוא: 2

13 ניתן לראות כי עבור < 2 x הפונקציה מונוטונית יורדת, ועבור x 2 היא מונוטונית עולה. בפרט הנקודה 2 x היא מינימום שבו הפונקציה משנה את כיוון המונוטוניות. נשים לב ש- 2 Y.med כלומר, פונקציית ההפסד שהגדרנו מתמזערת בנקודת החציון. במקרה שבו קיים מספר זוגי של ערכים בסדרה, כל הקטע שבין שני הערכים האמצעיים יהיה בשיפוע 0 וכל הנקודות שבו יהוו מינימום של פונקציית ההפסד שהגדרנו. נתבונן בפונקציית ההפסד שהגדרנו (x h. ניתן להבחין שעבור מחצית הערכים הגדולים מהחציון הסימן אינו משתנה כי מתקבל מספר חיובי, ועבור מחצית הערכים הקטנים מהחציון הסימן משתנה משלילי לחיובי. לכן נוכל להסיק שערך פונקציית ההפסד בחציון הוא ההפרש בין סכום המחצית העליונה של הערכים לבין סכום המחצית התחתונה שלהם. כלומר, אם נתונה הסדרה,Y Y 2... Y n אז מתקיים: n 2 Y i Y i if nis odd i h (med (Y n+ i 2 n 2 Y i Y i if n is even i n 2 + i תכונות החציון. החציון משמר את יחידות המדידה. 3

14 2. לכל,a b קבועים מתקיימת הנוסחה: med (ay + b a med (Y + b med (X + Y med (X + med (Y.3 נשים לב שחיבור קבוצות מהצורה שסימנו Y X + הוא חיבור של זוגות איברים בעלי אותו אינדקס. נתבונן למשל בסדרות הבאות: med (, 2, 4 2 med (, 3, 2 2 med ( +, 2 + 3, med (2, 5, החציון אינו רגיש כמו הממוצע לשינוי בערכי הסדרה. שינוי של ערך בסדרה יכול להשפיע על החציון רק אם הערך היה גדול (קטן מהחציון והפך להיות קטן (גדול ממנו. הרחבה: נדון בדוגמה מעניינת שתשקף יתרון לשימוש בחציון כמדד מרכזי על פני הממוצע. נתונה שורה של בתים לאורך רחוב אחד. מתכנן מרכזי מעוניין למקם תחנת אוטובוס שתשרת את כלל הדיירים. המתכנן אינו יודע היכן נמצא כל בית, והוא סומך על המידע שנמסר לו מהדיירים. המתכנן מחליט להשתמש במדד מרכזי כדי להחליט היכן למקם את תחנת האוטובוס. נניח שלאחר שנאסף כל המידע על מיקום הבתים, הדייר x מקבל את הזכות לתקן את האמירה הקודמת שלו ולשקר. כלומר הוא יכול למסור מידע שקרי אודות המיקום של ביתו. האינטרס ברור: ייתכן ועל ידי מידע שגוי שיימסר לאחר קבלת ההחלטה על מיקום התחנה, הדייר השקרן יצליח לשפר את מיקום התחנה ביחס לביתו. טענה: אם המתכנן המרכזי מחליט למקם את התחנה במיקום ממוצע, וכן x יודע את מיקום כל הבתים האחרים ברחוב, אז הוא יכול למסור מידע כך שמיקום התחנה יהיה במרחק 0 מהבית שלו. לעומת זאת אם המתכנן המרכזי מחליט למקם את התחנה במיקום חציוני (כלומר, המיקום שחצי מהבתים נמצאים מצידו האחד החצי מצידו האחר אז ל- x אין אפשרות לשפר את מיקום התחנה ביחס לבית שלו על ידי שקר. נימוק: נניח שעל פי המידע הראשוני התחנה נמצאת משמאל לבית (כלומר קרוב יותר לאפס. קל להבין שאם מיקום התחנה נקבע בממוצע, הדייר x יכול לבחור להגדיל את המרחק של הבית שלו מספיק, כך שהתחנה תזוז ימינה עד למיקום האמתי של ביתו. 4

15 ניתן לראת כי אם נסמן את המיקומים האמיתיים של שאר הבתים X,,,... X n אז הדייר x ידווח על מיקום שקרי a המקיים: ( n X i + a X i n i כעת נבין מדוע אם מיקום התחנה נקבע באופן חציוני, אין לדייר x אפשרות לדווח על מיקום אחר שישפר את מצבו. נחלק לשתי אפשרויות את הדיווח השקרי של הדייר x: ייתכן שלפי הדיווח השקרי הבית של x יישאר באותו צד של החציון, וייתכן שהדיווח השקרי יעביר את הבית של x לצד האחר של החציון. באפשרות הראשונה ההכרעה על מיקום התחנה כלל אינה משתנה, ולכן ודאי לא יחול כל שיפור במצב הדייר x. באפשרות השנייה ישתנה מיקום התחנה ויזוז בית אחד קרוב יותר למיקום השקרי של ביתו של x, שבמציאות נמצא מהעבר האחר של החציון. מצב זה מרע את מצבו של הדייר x. 2 מדדי פיזור i המידע שטמון במדדים מרכזיים מתעלם מהפיזור של הערכים סביב אותו מדד מרכזי. כך למשל הממוצע של {0,0},5 והממוצע של {6,4},5 שניהם שווים ל- 5, על אף שהערכים בסדרה הראשונה מפוזרים במרחקים גדולים יותר מהממוצע. נחפש מדדים שנכנה מדדי פיזור, שייתנו לנו מידע אודות מידת הפיזור של הערכים סביב המדד המרכזי. פיזור של אוכלוסייה כלשהי תמיד ייקבע ביחס למדד מרכזי כלשהו של האוכלוסייה הרלוונטית. נציע מדד שנראה טבעי (אך למעשה שגוי למדידת הפיזור של ערכים סביב הממוצע: i {Y i } n כך ש- Y הוא הממוצע שלה. נניח כי נתונה הסדרה נגדיר מדד פיזור כממוצע הסטיות בין האיברים לבין הממוצע. : { Y i Y } n כלומר הממוצע של הסדרה i ( Y Y + ( Y 2 Y ( Y n Y Y Y ( Yi Y n n נזכור שהראינו כי,aY + b ay + b ולכן נסיק: 2 Y Y Y Y 0 לכן נסיק שמדובר במדד פיזור חסר משמעות, כי הוא קבוע ושווה ל שונות (Variance i {Y i } n כך ש- Y הוא הממוצע שלה. הגדרה: נניח כי נתונה הסדרה. ( Y i Y 2 נגדיר את השונות של הסדרה כממוצע של ריבועי הסטיות מהממוצע - 2 נשים לב ש- Y Y 5

16 { (Yi : Y } 2 n כלומר הממוצע של הסדרה i V ar (Y ( Y Y 2 + ( Y2 Y ( Yn Y 2 n n ( Yi Y 2 i נוסחה: נשים לב שמתקיים: ( Yi Y 2 n ( Yi 2 2Y i Y + Y 2 i i i Y 2 i 2Y Y i + ny 2 i ( n n Yi 2 2Y n i i Y i + ny 2 ny 2 2nY 2 + ny 2 n (Y 2 Y 2 ומכאן נובעת נוסחה עבור השונות: V ar (Y Y 2 Y 2 מנוסחה זו ניתן להסיק שוב שמתקיים,Y 2 Y 2 שכן תמיד 0 (Y.V ar תכונות השונות. השונות מתקבלת ביחידות מדידה שהן ריבוע של יחידות המדידה של ערכי הסדרה. למשל אם ערכי הסדרה נמדדים ביחידות של מטר, השונות מתקבלת ביחידות של מטר רבוע. ניתן להוציא שורש ולקבל את השונות במונחי היחידות המקוריות. n i V ar (Y + b n V ar (Y + b V ar (Y ( Yi + b ( Y + b 2 i ( Yi + b ( Y + b 2 n 2. השונות אדישה לחיבור בקבוע: ההוכחה לכך פשוטה: ( Yi Y 2 V ar (Y i V ar (ay a 2 V ar (Y 3. עבור הכפלה בקבוע מתקיים: 6

17 V ar (ay n i ( ayi ay 2 n ( ayi ay 2 i הוכחה: n ( ( a Yi Y 2 a 2 n i ( Yi Y 2 a 2 V ar (Y i נקבל משתי התוצאות הקודמות שלכל,a b קבועים מתקיים: V ar (ay + b a 2 V ar (Y 2.2 סטיית תקן deviation (Standard i.{y i } n סטיית התקן של Y היא: הגדרה: נניח כי נתונה הסדרה SD (Y V ar (Y תכונות סטיית התקן. כמו השונות, סטיית התקן אדישה לחיבור קבוע: SD (Y + b SD (Y SD (ay a SD (Y 2. עבור הכפלה בקבוע מתקיים: [נשים לב: a a 2 [. נקבל משתי התוצאות הקודמות שלכל,a b קבועים מתקיים: SD (ay + b a SD (Y 2.2. אי שוויון צ'בישב מהתצפיות k אי שוויון צ'בישב קובע שבכל סדרת תצפיות Y עבור כל > 0 k, לפחות 2 נופל במרחק של עד Y k± SD מהממוצע מהתצפיות נמצאות במרחק של עד 3 סטיות תקן למשל עבור 3 k, לפחות (למעלה או למטה מהממוצע. אי שוויון זה מעניק משמעות פורמלית לטענה שלא ייתכן שחלק גדול מידי מהאוכלוסייה נמצא במרחק רב מידי מהממוצע, כאשר היחידות בהן נמדד המרחק הן מספר סטיות התקן של הערך מממוצע הסדרה Y. נשים לב שמרחק זה יכול להיות שלילי. 7

18 2.3 ציוני תקן (תיקנון i Y}, i } n כך ש- Y הוא הממוצע שלה ו-( SD Y הוא סטיית הגדרה: נניח שנתונה הסדרה התקן. נגדיר את סדרת ציוני התקן באופן הבא: { } n {Z i } n i Yi Y SD (Y i Y ( נקראת "תיקנון" של SD(Y וחיברנו טרנספורמציה זו שביצענו (כפלנו ב-( SD(Y הסדרה. ציוני התקן אינם תלויים ביחידות המדידה המקוריות. כך למשל נתבונן בציון תקן של סדרה ביחידות של ס"מ וביחידות של מטרים: 00Y i 00Y SD (00Y 00Y i 00Y 00 SD (Y Y i Y SD (Y הסבר: נניח שנתונה אוכלוסייה של אנשים ולכל אחד מהם נתון ה- IQ שלו. קיבלנו מידע שה- IQ של אדם מסוים גבוה מהממוצע. מידע זה מקבל משנה חשיבות אם ידוע שהפיזור סביב הממוצע הוא קטן, יותר מאשר במצב שבו הפיזור רב. במצב שבו הפיזור קטן סביב הממוצע "קשה" יותר להתרחק מהממוצע, ולכן IQ גבוה במקרה זה מהווה תופעה משמעותית יותר מאשר במקרה האחר. כדי להעניק חשיבות לעובדה שאדם זה מעל לממוצע תוך התחשבות במידת הפיזור, נתקנן את ה- IQ שלו. היבט נוסף בו תיקנון שימושי, הוא מצב בו מעוניינים להשוות בין פרטים שונים באוכלוסיות שונות. למשל השוואה בין גובהם היחסי של שחקן ושחקנית כדורסל. כמו כן תיקנון שימושי במצב בו מעוניינים להשוות בין פרטים הנמדדים ביחידות מידה שונות. למשל האם אדם מסוים הוא גבוה יותר או שמן יותר. תכונות ציוני התקן. הממוצע של ציוני תקן הוא תמיד 0. הוכחה: Z Y SD (Y Y SD (Y Y SD (Y Y SD (Y 0 2. השונות של ציוני תקן היא תמיד, ולפיכך גם סטיית התקן היא. הוכחה: ( ( Y V ar (Z V ar SD(Y Y Y SD(Y V ar SD(Y SD(Y 2 V ar (Y V ar(y V ar(y 8

19 2.4 היסטוגרמה היסטוגרמה היא שיטה להצגה של נתונים מרובים. כדי ליצור היסטוגרמה עבור אוסף נתון של תצפיות נעבוד באופן הבא:. נקבע טווחים של ערכים שבכל אחד מהם ייפלו כמה תצפיות (הטווחים יכולים להיות שונים זה מזה באורכם, ונמספר כל אחת מקבוצות התצפיות שבטווחים קביעת הטווחים היא משימה מורכבת לעתים ולא חד משמעית, כי מצד אחד חלוקה לטווחים מצומצמים (כלומר לקבוצות רבות של ערכים מעניקה מידע יותר מדויק, אבל מאידך מטשטשת את התמונה הכללית. 2. בשלב הבא נחשב את השכיחות היחסית של כל אחת מקבוצות הערכים. כלומר נבדוק מהו השיעור של כל קבוצה מתוך כלל התצפיות. 3. נשרטט גרף לפי השכיחויות היחסיות בשיטה הבאה: - ניצור מערכת צירים שעל ציר ה- x יחידות המדידה של ערכי התצפיות ועל ציר ה- y השכיחות היחסית של כל קבוצה. - נקבע שרירותית יחידת שטח כללית על המישור, וגודלה של יחידה זו יוגדר וייצג את כלל האוכלוסיה. - נשרטט מלבן לכל קבוצה. רוחב המלבן (על ציר ה- x ייקבע לפי הטווח המתאים לקבוצה, וגובה המלבן שמכונה צפיפות (על ציר ה- y יהיה השכיחות היחסית חלקי אורך הטווח של הקבוצה. הסבר על מושג הצפיפות עד כה עסקנו ביחידות ציר ה- x ובשכיחות היחסית שמייצג שטח המלבן. היחידות שעל ציר ה- y יוגדרו כצפיפות. מקור המונח הוא שגובה המלבן מגדיר את קצב צבירת השכיחות היחסית, ליחידת x. הצפיפות לא מייצגת שטח כמובן, והיא גם לא השכיחות היחסית. הצפיפות היא השכיחות היחסית חלקי יחידות המדידה של x. נשים לב שמתקבל שהשטח של כל מלבן, דהיינו הצפיפות (גובה כפול יחידות המדידה (בסיס, שווה לשכיחות היחסית של הקבוצה המתאימה. כך למשל גובה של 0.9 אומר שכל פעם שנתקדם יחידה לאורך ציר ה- x, נצבור עוד.9% מהשכיחות היחסית. נציין כי בספרים ותוכנות שונים, לעיתים יחידות המדידה של ציר ה- y מוגדרות כ"הסתברות" או "שכיחות יחסית". זה רחוק מלהיות נכון. למשל, צפיפות יכולה להיות גדולה בערכה מ-! בערכים נומרים, כאשר רוחבי הקטעים שווים, הערכים הרשומים על ציר ה- y הם פרפורציונליים לשכיחות היחסית של הקטעים הרלוונטיים, אך אין הם יחידות המדידה שלו, כנדרש מכל פונקציה. דוגמה: נתונים 00 אנשים שהתפלגות הגילאים שלהם היא: 9

20 היסטוגרמה של נתונים אלה תיראה כך: age frequency relativefrequency sum 00 נשים לב שבדוגמה זו הטווחים נבחרו להיות שווים באורכם (0, ולכן ספציפית במקרה זה גובהה של כל עמודה הוא השכיחות היחסית. פוליגון פוליגון הוא מצולע שקודקודיו הם אמצעי הפאה העליונה של המלבנים בהיסטוגרמה. בדוגמה הקודמת פוליגון מתאים הוא: 3 סוגי משתנים כל משתנה מקבל ערך כלשהו. הערכים הם התצפיות או הנתונים שיש לנו עבור כל משתנה. 20

21 משתנה קטגוריאלי: משתנה שמקבל ערך מתוך סדרה מוגדרת ובדרך כלל מצומצמת של ערכים שמכונים "קטגוריות". למשל המשתנה "אדם" מקבל ערך אחד מתוך הסדרה "מין" שמכילה שתי קטגוריות - "זכר" ו"נקבה". קיימות שתי דרכים מקובלות להצגת משתנים מסוג זה. - דיאגרמת מקלות (אופקית או אנכית: מציירים מקלות שגובהם הוא השכיחות היחסית (שלא כמו ההיסטוגרמה ושלרוחבם אין משמעות. - דיאגרמת עוגה: מחלקים את שטח העוגה לפי השכיחות היחסית של כל קבוצה. משתנה נומרי: משתנה שמקבל ערכים מספריים. משתנה זה יכול להיות בדיד ורציף, והאבחנה בין שני המקרים לא תמיד ברורה. כך למשל מספר הילדים במשפחה הוא תמיד בדיד, אולם הממוצע שלהם הוא רציף. פונקציית צפיפות: מחזירה עבור כל ערך את גובה העמודה המתאימה בהיסטוגרמה. נתבונן בפונקציית צפיפות בעלת נקודת מקסימום יחידהת שהיא שכיח הסדרה. כלומר קיים שכיח יחיד. נניח עוד שעד לנקודה זו הפונקציה עולה וממנה היא יורדת. 3 - כאשר פונקציית הצפיפות סימטרית: שכיחחציוןממוצע. - כאשר פונקציית הצפיפות מוטה חיובית: שכיח חציון ממוצע. - כאשר פונקציית הצפיפות מוטה שלילית: שכיח חציון ממוצע. החוק האמפירי: עוסק בפונקציות צפיפות טיפוסיות שניתן מידי פעם לפגוש באוכלוסיות. לפי החוק האמפירי בין סטיית תקן אחת למעלה וסטיית תקן אחת למטה מהממוצע יתקבלו כ- 67% מהתצפיות, בין שתי סטיות תקן סביב הממוצע יתקבלו כ- 95% מהתצפיות, ובין 3 סטיות תקן סביב הממוצע יתקבלו כ- 98% מהתצפיות. החוק אינו נכון תמיד, אך בניגוד לאי שוויון צ'בישב המחמיר הוא מהווה "כלל אצבע" ונותן ערכים מציאותיים יותר. 4 מדדי קשר בין משתנים לאחר שעסקנו בכל משתנה בנפרד נרצה לאפיין קשר בין משתנים שונים וכיצד הם נעים יחד. למשל, האם ניתן ללמוד משהו על ערכו של האחד אם ידוע ערכו של השני? האם ניתן לקבוע בהכללה שכאשר ערכו של אחד גדל כך גם השני? או להיפך? ואם כן, באיזו מידה הכללה זו נכונה? מדדי הקשר שנדון בהם כעת וישר הרגרסיה שיבוא אחר כך, עוסקים בשאלה זו. 3 פונקציות מסוג זה מכונות "יונימודליות".(unimodal 2

22 4. שונות משותפת (Covariance הגדרה: נניח שנתונים שני משתנים,X. Y השונות המשותפת להם מוגדרת להיות: Cov (X, Y n [( X X ( Y Y ( X n X ( Y n Y ] ( Xi X ( Y i Y n i דוגמה: נניח כי 4,X.SD (Y 4,SD (X 2,Y 6 נסדר את הנתונים בטבלה: ( X Y X i X Y i Y Xi X ( Y i Y נחשב את השונות המשותפת וניווכח ש- 0 > 4.2 Y.Cov (X, המשמעות של העובדה שהשונות המשותפת של X ו- Y חיובית, היא שהמשתנים הללו תלויים באופן חיובי. כלומר, אם אחד גדל - האחר גדל. n Cov (X, Y n X i Y i n i ( Xi X ( Y i Y i X i Y n i XY i + n i נוסחה: ניתן לראות שמתקיים: XY i X Y 2X Y + X Y X Y X Y ולכן קיבלנו את הנוסחה: Cov (X, Y X Y X Y תיאום בין משתנים: נאמר שהמשתנים,X Y מתואמים חיובית (שלילית אם השונות המשותפת שלהם חיובית (שלילית. נאמר שהמשתנים,X Y בלתי מתואמים אם השונות המשותפת שלהם היא 0. 22

23 תכונות השונות המשותפת. הזזה באמצעות חיבור קבועים לשני המשתנים (גם אם התזוזות שונות זו מזו בערכן אינה משנה את השונות המשותפת. כלומר, לכל,a b קבועים מתקיים: Cov (X + a, Y + b Cov (X, Y הסיבה לכך היא ששינוי כל התצפיות בקבוע מזיז את הממוצע בדיוק באותו קבוע, ולכן ההפרשים מהממוצע לא משתנים. Cov (ax, by ab Cov (X, Y 2. לכל,a b קבועים מתקיים: משתי התכונות הללו נובע שלכל,a,b,c d קבועים מתקיים: Cov (ax + b, cy + d ac Cov (X, Y Cov (X, Y Cov (Y, X.3 Cov (X + Y, Z Cov (X, Z + Cov (Y, Z.4 V ar (X ± Y V ar (X + V ar (Y ± 2Cov (X, Y.5 V ar (X ± Y n [ (Xi ± Y i ( X ± Y ] 2 i הוכחה: [( Xi X ± ( Y i Y ] 2 n i [ (Xi X 2 ( + Yi Y ± 2 ( X i X ( Y i Y ] 2 n i V ar (X + V ar (Y ± 2Cov (X, Y 23

24 (Correlation 4.2 מקדם המתאם coecient הגדרה: מקדם המתאם בין,X Y מוגדר להיות: Corr (X, Y Cov (X, Y SD (X SD (Y Corr (X, Y n ( n i Xi X ( Y i Y SD (X SD (Y n Cov (X, Y SD (X SD (Y הרחבה: נוכל לפתח את הביטוי ולקבל: ( Xi X ( SD (X Yi Y SD (Y נשים לב שקיבלנו שההגדרה של מקדם המתאם של,X Y שקולה לשונות המשותפת של ציוני התקן של X ושל Y. i תכונות מקדם המתאם. מדד זה נייטרלי ביחס ליחידות המדידה. ניתן לראות תכונה זו בכך שמדובר בשונות משותפת של ציוני תקן, שכפי שראינו הם נייטרלים ליחידות המדידה. Corr (X, Y Corr (Y, X.2 Corr (ax + b, cy + d.3 לכל a, b, c, d קבועים מתקיים: { accov (X, Y a SD (X c SD (Y Corr (X, Y if a c > 0 Corr (X, Y if a c < 0 ( X X Corr SD (X, Y Y Corr (X, Y SD (Y ובפרט מתקיים: תכונה יסודית של מקדם המתאם: Corr (X, Y (נוכיח טענה זו בהמשך. מתכונה זו נובע שכאשר מקדם המתאם הוא למשל 0.8 מדובר בקשר חזק בין שני המשתנים. 24

25 5 רגרסיה לינארית regression.linear או: ישר הריבועים הפחותים נגדיר קו ישר מהצורה y, b + ax כך ש- b הוא החותך ו- a הוא השיפוע..y במישור לבין הישר {(X i, Y i } n i נרצה לעסוק במרחק שבין סדרה כלשהי של נקודות נשים לב שכאשר 0 a, b Y מקבלים את הישר הקבוע y, Y ולעיל כשעסקנו בממוצע הגדרנו ביטוי למרחק של הסדרה ממנו: S yy,y b + ax מישר כללי {(X i, Y i } n i ( Yi Y 2 i (Y i (b + ax i 2 i נכליל את הביטוי הזה למרחק של סדרת נקודות ונגדיר מרחק זה להיות: (Y i b ax i 2 i {(X i, Y i } n מהישר כעת נרצה למצוא,a b כאלה שימזערו את המרחק של סדרת הנקודות.y b + ax הישר שיתקבל לאחר הצבת הנקודות,a b שנבחר ייקרא ישר הרגרסיה או ישר הריבועים הפחותים של Y על X. בישר זה נשתמש כדי לחזות את Y בהינתן X. למשל בהינתן X 3 נצפה ש- Y 3 יהיה שווה ל-.b + ax 3 פעמים רבות תחזית זו תהיה לא נכונה לגמרי, וייווצר פער בין Y 3 האמתי לבין Y 3 החזוי שמכונה שארית. המטרה היא למזער את השארית. הערה: בניגוד לשונות המשותפת ולמקדם המתאם בהם יש סימטריה ביחס שבין X ל- Y, בישר הרגרסיה הדבר לא כך, והישר של X על Y שונה מהישר של Y על X. משפט: ישר הרגרסיה של Y על X הוא הישר היחיד שעובר דרך הנקודה Y (,X וששיפועו.a Corr (X, Y SD(Y הוא SD(X או באופן שקול: הישר היחיד שהחותך שלו הוא b Y ax וששיפועו הוא: a Corr (X, Y a Corr (X, Y i SD (Y SD (X נשים לב שמתקיים: SD (Y Cov (X, Y SD (Y Cov (X, Y SD (X SD (X SD (Y SD (X V ar (X הוכחה: ראשית נשים לב שבהינתן שקיים a קבוע כלשהו, הערך של b שממזער את הביטוי.b Y ax הוא n i (Y i b ax i 2 טענה זו נובעת מכך שהראינו ליעל שמיזעור פונקציית הפסד מסוג זה מתקבל באמצעות.{Y i ax i } n i הממוצע של הסדרה שבמקרה שלנו ולכן בהינתן a נבחר את b להיות.b Y ax Y ax 25

26 נשים לב שטענה זו מספיקה כדי להראות שהנקודה Y (,X על הישר המבוקש, שכן היא מקיימת את המשוואה Y b + ax עבור b שמצאנו.. n i ( Yi ( Y ax ax i 2 אם כן נותר למצוא a שימזער את הביטוי נפתח את הביטוי באופן הבא: ( Yi ( Y ax 2 n [( ax i Yi Y a ( X i X ] 2 i i ( Yi Y 2 n ( 2a Yi Y ( X i X n + a 2 ( Xi X 2 i i כעת נשים לב שניתן להתייחס לביטוי שהתקבל כאל פרבולה צוחקת כשהמשתנה הוא.a, d 2c לפרבולה צוחקת מהצורה cx2 + dx + e יש מינימום שמתקבל על ידי הנוסחה ואם נציב במקרה שלנו נקבל שהמינימום מתקבל: 2 n ( i Yi Y ( X i X n ( ( Xi X n i Yi Y ( X i X 2 ( Xi X 2 2 n i n n i i Cov (X, Y V ar (X הרחבה: עבור c > 0 y, cx 2 +dx+e (פרבולה צוחקת הערך המינימלי מתקבל באמצעות.e d2 הביטוי 4c נציב את הערכים של הביטוי שקיבלנו: ( Yi Y [ n ( 2 2 i Yi Y ( X i X ] 2 i i 4 n i ( Xi X 2 ( Yi Y [ n ( 2 i Yi Y ( X i X ] 2 n ( i Xi X 2 i ( Yi Y [ 2 [ n n i ( Yi Y ( X i X ] 2 n ( n i Yi Y 2 n ( n i Xi X 2 ( Yi Y 2 [ Corr 2 (X, Y ] i ראשית ניכר שככל שהביטוי Y Corr 2,X קרוב יותר ל-, סכום ריבועי השאריות מישר הרגרסיה של Y על X קטן יחסית לסכום ריבועי השאריות מ- Y. כעת ניזכר בכך שהביטוי כולו התקבל כסכום של ריבועים ולכן הוא לא יכול להיות שלילי, ומכאן בהכרח Y Corr,X, כפי שטענו לעיל מבלי להוכיח. {(X i, Y i } n i מסקנה: נשים לב שהמשמעות של מקרה בו השאריות מתאפסות, היא שכל הנקודות ממוקמות על ישר אחד. ] 26

27 (Y i b ax i 2 i נזכור שהביטוי שמתאר את השאריות הוא: ( Yi Y 2 [ Corr 2 (X, Y ] 0 i ומכאן שהתאפסות מתרחשת אם ורק אם Y.Corr 2 (X, נסיק שכל הנקודות ממוקמות על ישר אחד אם ורק אם Y.Corr 2,X ( S xx Xi X 2 i סימונים: S ee i S xy S yy ( Yi Y 2 i ( Xi X ( Y i Y i ( Y i Ŷi 2 ŷ b + ax Ŷ i b + ax i Sŷŷ 2 (Ŷi Y i.a Sxy S xx נשים לב שבסימונים אלה, שיפוע ישר הרגרסיה הוא נסמן את מידת הקירבה של הנקודות לישר הרגרסיה בהשוואה למידת הקירבה של הנקודות לממוצע: Corr 2 (X, Y R 2 R 2 S ee S yy וכן נשים לב שבסימונים אלה מתקיים: תכונות ישר הרגרסיה. הישר עובר דרך הנקודה Y ( X,. { } n. Y i Ŷi {e i } n i 2. נסמן את סדרת השאריות i.e או באופן שקול 0, n מתקיים תמיד 0 i i e 27

28 e i i i ( Y i Ŷi (Y i b ax i i Y i i b i ny nb anx ny n ( Y ax anx 0 הוכחה: ax i i 3. ממוצע הערכים החזויים שווה לממוצע של הערכים הנכונים. כלומר: Ŷ Y Ŷ ax + b ax + b Y הוכחה: הערה: תכונות 3 תקפות לכל ישר העובר בנקודה Y (,X ולא רק לישר הרגרסיה. i.xe או באופן שקול 0, n.4 מתקיים תמיד 0 i i X ie הוכחה: X i e i i X i (Y i Ŷi i ( X i Yi Y + ax ax i i i } {{ } 0 n i X i (Y i b ax i i X i ( Yi Y a i ( X i Xi X ( Xi X ( Y i Y ( + X Yi Y ( a Xi X ( X i X ( + ax Xi X ncov (X, Y i i ( Xi X ( Y i Y ( a Xi X 2 i i } {{ } 0 Cov (X, Y nv ar (X ncov (X, Y ncov (X, Y 0 V ar (X Ŷ i e i i i.ŷ e או באופן שקול 0, n.5 מתקיים תמיד 0 i i Ŷie הוכחה: (b + ax i e i b e i + a X i e i b 0 + a 0 0 i i 28

29 i i i ( Yi Y 2 n ( 2 n 2 Y i Ŷi + (Ŷi Y i i i S yy S ee + Sŷŷ i i ( Yi Y 2 n ( 2 Y i Ŷi + Ŷi Y או ברישום מקוצר: [ ( Ŷi 2 ( Ŷi ] 2 Y i + 2 Y i (Ŷi Y + (Ŷi Y ( Y i Ŷi n i i ( Ŷi Y i (Ŷi Y ( Ŷi Y i (Ŷi Y + i i ( 2 n 2 Y i Ŷi + (Ŷi Y e i Ŷ i i 2 (Ŷi Y הוכחה: השוויון האחרון נכון מכיוון שמתקיים: e i Y 0 Y i e i 0 i.6 V ar (Y n i ( Yi Y 2 n i ( 2 Y i Ŷi + n 2 (Ŷi Y i 7. מסקנה: במילים: השונות שמוסברת על ידי ישר ועוד השונות שאינה מוסברת על ידי ישר הרגרסיה, שוות לשונות הכללית. כלומר, ישר הרגרסיה מסוגל להסביר רק חלק מהשונות הכללית, כי אנחנו מגבילים את עצמינו לישר לינארי בלבד. y Y SD (Y Corr (X, Y x X SD (X 8. ביטוי אלטרנטיבי לישר הרגרסיה: 9. ריבוע מקדם המתאם מודד עד כמה צפופות הנקודות סביב ישר הרגרסיה, בהשוואה לצפיפותן סביב הישר הקבוע y. Y 29

30 0. נניח כי שיפוע ישר הרגרסיה של Y על X חיובי. נבצע רוטציה בזווית מסוימת של הנתונים כך שהם יעברו תנועה מעגלית עם כיוון השעון, כאשר הציר בנקודה Y (,X, ונדאג רק שהקורלציה תשאר חיובית גם לאחר הרוטציה. השיפוע של ישר הרגרסיה החדש יקטן בהשוואה לקודמו. הממוצעים של X ושל Y ישתנו מעט. (X SD עלה במעט אך Y SD קטן באופן משמעותי. See יגדל באופן משמעותי. S yy לבסוף, S ee ישתנה במעט. מכאן ש- נשים לב כי למרות שצפיפות הנקודות סביב ישר הרגרסיה נותרה כמעט ללא שינוי, מקדם המתאם ירד משמעותית. ההסבר לכך הוא שפיזור הנקודות סביב הישר y Y קטן משמעותית, ולכן הצפיפות היחסית של הנקודות סביב ישר הרגרסיה בהשוואה לצפיפות סביב הישר הנ"ל - קטנה. מסקנה: ככל ש-( Corr 2,X Y גדול יותר כך פיזור הנקודות סביב ישר הרגרסיה בהשוואה לפיזורן סביב ישר הממוצע - נמוך יותר. (פיזור במובן של סכום ריבועי הסטיות. לסיכום: ככל שהמתאם גדול יותר קו הרגרסיה של Y על X מנבא טוב יותר בהשוואה לממוצע. V ar (Ŷ Corr 2 (X, Y V ar (Y. 2. הסימן של Y Corr,X מאפיין את היחס בין המשתנה המתוקנן של Ŷi לבין המשתנה המתוקנן של X. i דוגמה: נתבונן בנתונים הבאים: X Y נחשב ונקבל 0 Y,X וכן Y R 2 Corr 2 (X,. דיאגרמת הפיזור של הנתונים במערכת צירים היא: 30

31 נתאים ישר רגרסיה בהתאם לנוסחה שהוכחנו, ונקבל את הישר הבא: כעת ננתח שינוי שבו מבצעים רוטציה לנתונים, ומביאים להטיה בזווית כלשהי את הישר עם כיוון השעון, סביב ראשית הצירים 0 (0, Y ( X,. נגדיר כעת סדרה של תצפיות חדשות Y X,, ונניח לדוגמה שכל אחת מהתצפיות מתקבלת מהסדרה המקורית באמצעות הביטוי: x.63x 0.07y y 0.07x y נקבל במקרה זה את סדרת התצפיות: X Y נחשב ונקבל 0 Y,X וכן 0.48 Y R 2 Corr 2 (X,. דיאגרמת הפיזור של הנתונים החדשים בתוספת ישר הרגרסיה החדש, היא: 3

32 נשים לב שישר הרגרסיה החדש עדיין עובר ב-( 0,0 Y (,X, אבל הוא קרוב יותר לישר הקבוע 0 Y y, כי שיפועו קטן (אך עם זאת נשאר בעל אותו סימן. כמו כן נשים לב שגם מקדם המתאם ירד באופן משמעותי, מ- 0.8 ל כלומר, לאחר ביצוע הרוטציה ירד טיב הניבוי של ישר הרגרסיה. 5. נסיגה לממוצע mean (Regression to the ראינו שישר הרגרסיה מתקבל מהמשוואה: y Y x X Corr (X, Y SD (Y SD (X נניח שאחד הנתונים X i נמצא k סטיות תקן מעל (מתחת לממוצע X, אז ציון התקן.( k k שווה Z i Xi X SD(X לפי הניבוי של ישר הרגרסיה, הנתון Ŷ i יהיה במרחק של Y k Corr,X סטיות תקן מעל (מתחת לממוצע Y. נשים לב שהניבוי Y k Corr (X, יתקבל תמיד בטווח ] (Y [ Y k SD (Y, Y + k SD. הנסיגה לממוצע קובעת שבמונחי ציון תקן, המרחק של Ŷ (הערך החזוי מהממוצע Y קטן מהמרחק של X מהממוצע X. עובדה זו נובעת מכך שהקורלציה Y Corr,X תמיד קטנה בערכה המוחלט מ-. ישר סטיות התקן: נגדיר את ישר סטיות התקן להיות או באופן שקול לאחר העברת אגפים: y y Y. SD(Y x X SD(X SD (Y SD (X ( SD (Y SD (Y x X + Y x SD (X SD (X X + Y ישר סטיות התקן אינו מאופיין בנסיגה אל הממוצע והוא מגדיר מתאם מלא. כלומר, בתחזית הנקבעת לפי ישר סטיות התקן, אם X i נמצא k סטיות תקן מעל (מתחת X, אז גם Ŷ נמצא k סטיות תקן מעל (מתחת Y. נשים לב שישר הרגרסיה הוא הישר שממזער את השאריות כך שישר סטיות התקן בהכרח פחות טוב ממנו. 4 קיבלנו את המספרים האלה מכך ש: ,

33 הערה חשובה: קורלציה אינה זהה לסיבתיות!(causality כלומר, העובדה שקיים מתאם בין שני משתנים אינה אומרת ששינוי באחד יוביל לשינוי באחר. כך למשל קיימת קורלציה חזקה בין משקל לבין גובה, ועם זאת השמנה אינה גוררת עלייה בגובה. ישר הרגרסיה של X על Y. ישר הרגרסיה של X על Y שונה מישר הרגרסיה של Y על X. 2. נזכור שישר הרגרסיה של Y על X הוא: ( y Y x X Corr (X, Y SD (Y SD (X ולכן אם נחליף תפקידים נקבל את ישר הרגרסיה של X על Y: ( x X y Y Corr (X, Y SD (X SD (Y ולכן הישר ייראה מהצורה: ( SD (Y x X y Y SD (X Corr (X, Y 3. באותה מערכת צירים, שני ישרי הרגרסיה הללו נחתכים בנקודה Y (,X, וכן שיפועו Y חד משיפוע ישר הרגרסיה של ( SD(Y של ישר הרגרסיה של X על Y SD(X Corr(X,Y.(Corr (X, Y SD(Y על SD(X X 4. השיפוע של ישר סטיות התקן הוא ערך ביניים כלשהו בין השיפועים הללו. לא נוכיח, אולם Y SD (X SD אם ורק אם ישר סטיות התקן הוא חוצה הזווית שבין ישרי הרגרסיה הנ"ל. 5. ישר סטיות התקן של X על Y מתלכד עם ישר סטיות התקן של Y על X. 6. הראינו לעיל עבור ישר הרגרסיה של Y על X שמתקיים: S ee S yy Corr 2 (X, Y.Ŷi Corr (X, Y SD(Y ( SD(X Xi X + Y וכן S ee ( Ŷi 2 n i כאשר i Y באותו אופן עבור ישר הרגרסיה של X על Y מתקיים: S ee S xx Corr 2 (X, Y 33

34 . ˆX i Corr (X, Y SD(X ( SD(Y Yi Y + X וכן See n i (X i ˆX כאשר i נסיק מכך: See S xx V ar (X S ee S yy V ar (Y כלומר, שני ישרי הרגרסיה משמרים את יחס סכום ריבועי הסטיות ששווה ליחס השונויות. כמו כן, מכיוון ש-( X,Corr,X Y Corr,Y שיעור השונות המוסברת שווה בשני ישרי הרגרסיה. כלומר, יכולת הניבוי של שני ישרי הרגרסיה שווה בעוצמתה. V ar (X + Y V ar (X + V ar (Y + 2Cov (X, Y 7. ראינו לעיל את הנוסחה: נניח כי X, Y בעלי אותה התפלגות, ונתבונן בביטוי Y.V ar (X + קל לראות שהמינימום מתקבל כאשר Y X ואז 0 Y,V ar (X + והמקסימום מתקבל כאשר Y X ואז (X.V ar (X + Y 4V ar כאשר,X Y מתואמים באופן שלילי ונניח ש- X גדל, אז Y קטן ומתקיים: V ar (X + Y < V ar (X + V ar (Y כי השונות המשותפת שלילית. כלומר Y מאזן בחזרה את X + Y לכיוון התוחלת המקורית שלו. כאשר,X Y מתואמים באופן חיובי ונניח ש- X גדל, אז Y גדל ומתקיים: V ar (X + Y > V ar (X + V ar (Y כי השונות המשותפת חיובית. כלומר במונחי שונות אנחנו לא מרוויחים מכך ש- Y הוא משתנה חדש (מה שיעלה את השונות מ-( X V ar ל-( V, ar (X+V ar Y אלא אותו ערך של X נדגם בשנית. 34

35 הקדמה: הסטטיסטיקה התאורית שבה עסקנו עד עתה קובעת כלים יעילים לניתוח מאפיינים של קבוצות נתונים. למשל ראינו שהממוצע החשבוני של סדרת נתונים מביא למינימום את פונקציית המרחק של סכום ריבועי הסטיות. זו עובדה מתמטית טהורה שאינה קשורה בהכרח לטבע העולם ולכן כשלעצמה היא לא עוזרת לנו להסיק כל מסקנה. כדי להסיק מסקנות נצטרך להשתמש במודל. נעסוק במודל הנפוץ של תורת ההסתברות. לשם כך נציג תחילה מבוא שיכיל מושגים כלליים ויסודיים מתורת הקבוצות (נציג את המונחים בהקשר ובשפה של סטטיסטיקה, אולם למעשה מה שנראה בפרק 2 אלה מושגים כלליים בתורת הקבוצות, ולאחר מכן נציג את המודל של תורת ההסתברות. חלק II מבוא לתורת הקבוצות 5.2 מונחים יסודיים. מבצעים ניסוי כלשהו. [למשל הטלת קוביה.] 2. כל אחת מהתוצאות האפשריות נקראת "מאורע פשוט" ומסומנת ב- ω. i [תוצאה אפשרית בדוגמה שלנו היא 2 או 4.] 3. אוסף כל התוצאות האפשריות נקרא "מרחב המדגם" ומסומן Ω (אומגה. [בדוגמה זו מרחב המדגם הוא 6} [.{, 2, 3, 4, 5, כלומר, אם יש n אפשרויות אז } n.ω {ω, ω 2,..., ω [בדוגמה זו יש 6 אפשרויות.] 4. אוסף כלשהו של תוצאות אפשריות נקרא "מאורע". [למשל 3} {, ו-{ 5 {2, 3, 4, הם מאורעות.] נשים לב ש- Ω כולה היא סוג של מאורע, כי היא אוסף כלשהו של תוצאות אפשריות. 5. נסמן את הקבוצה הריקה של המאורעות ב- O /. קבוצה זו היא ה"אפס" של המאורעות. שייכות: נשתמש בסימן " " כדי לקבוע שמאורע פשוט שייך למאורע. כך למשל המאורע הפשוט "3" שייך למאורע {3,}, ולכן נסמן {3,} 3. לעומת זאת המאורע הפשוט "7" אינו שייך למאורע {3,} ולכן נסמן {3,} / 7. הכלה: נאמר שמאורע A מוכל במאורע B, אם לכל a A מתקיים גם a. B כדי לציין שמאורע A מוכל במאורע B נסמן A. B נשים לב שהמאורע O/ מוכל בכל מאורע, וכן שכל מאורע מוכל במאורע Ω. שוויון: נאמר שמאורעות A, B שווים אם מתקיים A B וגם.B A מאורע משלים: נאמר שמאורע B הוא המשלים של מאורע A, אם הוא מכיל את כל האיברים שמוכלים ב- Ω ולא ב- A. כך למשל בניסוי של הטלת קוביה, המאורע {6,},2 B הוא המשלים של המאורע.A {3, 4, 5} נסמן ב- A את המאורע המשלים של A. בהתאם להגדרה מתקיים A. Ω A נשים לב שמתקיים: 35

36 . /O Ω /O,Ω לכל מרחב מדגם..2 A A לכל מאורע. הערה: משמעותו של שוויון זה היא שמתקיימת סימטריה. כלומר, אם B הוא מאורע משלים של A, אז A הוא מאורע משלים של B. איחוד מאורעות: איחוד המאורעות,A B הוא מאורע שמכיל את כל המאורעות הפשוטים ששייכים ל- A או ששייכים ל- B. ("או" במשמעותו המתמטית. כלומר, כולל המאורעות הפשוטים ששייכים לשניהם. נסמן את איחוד המאורעות A, B ב- B.A למשל 5} {, 2, 4, 5} {2, 4, 2}.{, נשים לב שמתקיים:.A לכל מאורע A A Ω..A לכל מאורע A /O A.2 חיתוך מאורעות: חיתוך המאורעות,A B הוא מאורע שמכיל את המאורעות הפשוטים ששייכים ל- A וגם ל- B. באופן פורמלי, x A B אם x A וגם.x B נסמן את חיתוך המאורעות A, B ב- B.A למשל {2} 5} {2, 4, 2}.{, נשים לב שמתקיים:.A לכל מאורע A A /O..A לכל מאורע A /O /O.2 מאורעות זרים: המאורעות A, B נקראים זרים אם.A B /O דיאגרמת ון: דיאגרמות מסוג זה שנתאר מיד, הן כלי שימושי אך לא פורמלי להבנת היחסים של שייכות, הכלה, איחוד, חיתוך והשלמה שבין מאורעות שונים. דיאגרמת ון כללית של מאורעות המסומנים,A B נראית כך: כאשר המלבן כולו מייצג את מרחב המדגם Ω, ושני העיגולים מייצגים שני מאורעות,A. B השטח החופף לשני העיגולים מייצג את החיתוך A. B השטח של שני העיגולים, כאשר את השטח החופף מחשבים פעם אחת, מייצג את האיחוד.A B השטח הכולל של המלבן פחות השטח של שני העיגולים, מייצג את המשלים A. B וכן באופן דומה ניתן לסמן מאורעות נוספים בדיאגרמה וליצור יחסים אחרים. 36

37 דוגמה: נתייחס בדוגמה זו לדיאגרמה שהוצגה לעיל. נגדיר את מרחב המדגם Ω להיות כל הסטודנטים והסטודנטיות משנה א'. נגדיר את המאורע A להיות הבנים, כך שהמאורע A הוא הבנות. נגדיר את המאורע B להיות הסטודנטים והסטודנטיות בעלי העיניים הכחולות, והמאורע B להיות כל השאר. לפי הגדרות אלה המאורע A B הוא כל הבנים בעלי העיניים הכחולות. כמו כן המאורע A B הוא כל הבנים, בתוספת הבנות בעלות העיניים הכחולות. או באופן שקול: קבוצות הסטודנטים והסטודנטיות בעלי העיניים הכחולות, בתוספת הבנים בעלי עיניים שאינן כחולות. נשים לב שמתקיים.girls with non-blue eyes A B A B A B A B 5.3 כללי דה מורגן טענה : לכל שתי קבוצות,A B מתקיים: הוכחה: נוכיח את השוויון באמצעות הכלה דו כיוונית. כיוון ראשון: יהי w מאורע פשוט כלשהו המקיים w. A B נסיק: w A B w / A B w / A and w / B w A and w B w A B ולכן.A B A B כיוון שני: יהי w מאורע פשוט כלשהו המקיים w. A B נסיק: w A B w A and w B w / A and w / B w / A B w A B ולכן.A B A B 37

38 נסיק משני הכיוונים שלפי הגדרת השוויון מתקיים.A B A B הערה: נשים לב שבשני הכיוונים ביצענו את אותם היסקים, רק בכיוונים לוגיים הפוך. כלומר כל צעד בהוכחה מהווה שקילות ולא רק גרירה בכיוון אחד, כך שיכולנו לרשום בקיצור פעם אחת את אותם שלבים לוגיים עם הסימון. A B A B טענה 2: לכל שתי קבוצות,A B מתקיים: הוכחה: נשתמש בתוצאה שהראינו בטענה הקודמת, ונסיק: A B A B A B A B A B A B A B A B A B הגרירה האחרונה נובעת מכך שהטענה נכונה לכל שתי קבוצות,A, B ובפרט גם עבור הקבוצות,A. B כלומר ביצענו הצבה של,A B בשוויון שקיבלנו על,A. B 5.4 שכיחות יחסית נניח כי נתון מרחב המדגם של הטלת קוביה: {6,},2,3,4,5 Ω. ביצענו את הניסוי 00 פעמים והתקבלו התוצאות הבאות: results frequency relative frequency נגדיר את f להיות פונקציה שמחזירה את השכיחות היחסית. כלומר f(a היא השכיחות היחסית של מאורע A כלשהו. ראשית נשים לב שמתקיים: f ( /O 0 f (Ω A {, 2, 3} f (A 0.6 B {2, 4, 6} f (B 0.5 A B {, 2, 3, 4, 6} f (A B 0.9 נבחן למשל את המאורעות הבאים: 38

39 חשוב לשים לב כי (B.f (A B f (A + f הסיבה לכך היא שמאורע פשוט ששייך גם ל- A וגם ל- B נספר פעם אחת בלבד כאשר מחשבים את השכיחות היחסית של A. B מנימוק זה נסיק שמתקיימת הנוסחה: f (A B f (A + f (B f (A B במקרה שבו המאורעות,A B זרים, מתקיים השוויון הפשוט: f (A B f (A + f (B כי 0 /O.f (A B f ( מכאן נוכל להסיק שמתקיים: f ( A f (A כי,A A הם מאורעות זרים, ולכן: f (A + f ( A f ( A A f (Ω עבור שלושה מאורעות מתקיים: f (A B C f (A+f (B+f (C f (A B f (A C f (B C+f (A B C f (A f (A B + f ( A B הסיבה לכך היא שמתקיים השוויון: A (A B ( A B (A B ( A B /O נשים לב שהמאורע A B הוא "A פחות B". כלומר מכיל את המאורעות הפשוטים של A, למעט אלו ששייכים גם ל- B, ולכן: f ( A B f (A f (A B 39

40 5.5 חלוקה הגדרה: נניח שנתון מרחב מדגם Ω כלשהו. k B} k } n היא חלוקה של Ω, אם מתקיימים שני תנאים: נאמר שקבוצה של מאורעות k {B k } n זרים בזוגות.. המאורעות כלומר, לכל i j עבור i, j,..., n מתקיים.B i B j /O 5.Ω מכסים את {B k } n k 2. המאורעות n כלומר, מתקיים כי. B i B B 2... B n Ω i נשים לב שלכל מאורע A מתקיים כי הזוג,A A הוא חלוקה. נכליל את השוויון B f (A f (A B+f ( A שראינו לעיל, לחלוקה k : {B k } n f (A f (A B + f (A B f (A B n f (A B i i לא נכון. 5 נשים לב כי אם המאורעות זרים בזוגות אז הם זרים. כלומר מתקיים גם n B. B 2... B ההיפך 40

41 חלק III תורת ההסתברות נבנה מודל שמעניק משמעות פורמלית למידת הוודאות להתרחשות של מאורעות. לשם כך נגדיר כי המאורע Ω הוא ודאי ומקבל את הערך המקסימלי, והמאורע O/ יקבל את הערך המינימלי 0. כל שאר המאורעות יקבלו ערכי ביניים. נגדיר את הפונקציה (probability P שתחזיר את ערך הוודאות של כל מאורע A. כלומר: P (Ω P ( /O 0 0 P (A דוגמה: נדון בהטלת קוביה. מניחים שסדר התוצאות אינו משנה וכן תוצאה שחוזרת על עצמה היא אותה תוצאה. נבדוק מהו מספר המאורעות האפשריים: אם {} Ω יש שני מאורעות אפשריים: /O, Ω. אם 2} {, Ω יש ארבעה מאורעות אפשריים: /O, {}, {2}, Ω. אם 3} {, 2, Ω יש שמונה מאורעות אפשריים: /O, {}, {2}, {3}, {, 2}, {, 3}, {2, 3}, Ω. וכן הלאה... טענה: במרחב מדגם בעל n מאורעות פשוטים, מספר המאורעות האפשריים הוא 2. n הדבר נובע מכך שעבור כל מאורע פשוט קיימות שתי אפשרויות: שייך למאורע או לא שייך לו. אם כך במקרה של הטלת קוביה פעמיים יש לנו מרחב מדגם בן עד מאורעות, ונרצה להעניק לכל מאורע מספר שיעניק ביטוי פורמלי למידת הוודאות שמאורע זה יתרחש. כפי שהגדרנו כבר לעיל, לא ייתכן שלא יקרה כלום ולכן 0 O/ P. ( כמו כן בוודאות מאורע כלשהו מתוך מרחב המדגם יקרה ולכן (Ω P. כל שאר המאורעות הם במידה של ודאות שנמצאת בין 0 ל-. נדרוש שהערכים שניתן למאורעות יהיו הגיוניים, במובן זה שאם למשל A B אז (A P.P (B פונקציית הסתברות נאמר שפונקציה P כלשהי נקראת "פונקציית הסתברות" אם היא מקיימת את התנאים הבאים: P (Ω. (א לכל A Ω מתקיים (A P.0 טענה: שני התנאים מספיקים לקבוע שלכל A Ω מתקיים (A P. הוכחה: P (Ω P (A + P ( A P (A 4

42 [השוויון הראשון נובע מתנאי a. השוויון השני נובע מהעובדה ש- A ו- A מאורעות זרים ומתכונות פונקציית השכיחות היחסית שהגדרנו לעיל. אי השוויון שבסוף נובע מתנאי 2 שקובע שכל הסתברות היא אי שלילית, ובפרט גם A [.P ( (ב אם,A B מאורעות זרים, אז: P (A B P (A + P (B שלושת התנאים האלה נקראים "אקסיומות פונקציית ההסתברות". האקסיומות הללו בלתי תלויות. כלומר, כל שתיים מהן לא גוררות את השלישית. או באופן שקול: עבור כל שתי אקסיומות, קיימת פונקציה אחרת שאינה פונקציית הסתברות, המקיימת את השתיים הללו ולא מקיימת כלל את השלישית. בינתיים אנו לא יודעים האם קיימת פונקציה שאכן מקיימת את שלושת התנאים הללו. מיד נראה קיום של פונקציה כזאת באמצעות דוגמה. עוצמה של מאורע: נגדיר עוצמה של מאורע A להיות מספר המאורעות הפשוטים השייכים ל- A, ונסמן אותה ב- A. לדוגמה, אם 2} {, A אז 2, A ואם 6}..., 2, {, Ω אז 6. Ω P (A A הפונקציה Ω A P (A ונראה שהיא פונקציית הסתברות: Ω נבחן כעת את הפונקציה P (Ω Ω Ω.. A Ω וכן תמיד, A, Ω כי > 0 0 A Ω.2 3. נניח כי,A B מאורעות זרים, אז אכן מתקיים: P (A B A B Ω A + B Ω A Ω + B P (A + P (B Ω הערה: פונקציה זו אינה הפונקציה היחידה שמקיימת את אקסיומות פונקציית ההסתברות. נגדיר את מרחב המדגם } n Ω {ω, ω 2,..., ω ונתבונן בפונקציה החלופית הבאה: { ω A P (A 0 ω / A נראה שמתקיימים שלושת אקסיומות פונקציית ההסתברות:.P (Ω ולכן ω Ω. 2. כל ערכי הפונקציה האפשריים הם,0 ולכן ודאי (A P 0. 42

43 3. נניח כי,A B מאורעות זרים. נבדוק שלוש אפשרויות: (א אם ω / A B (לא שייך ל- A ולא ל- B אז ההסתברויות כולן מקיימות: P (A P (B P (A B 0 ולכן מתקיימת האקסיומה. (ב אם ω 2 A B (שייך ל- A ולא ל- B אז (A,P (B 0,P B P (A ולכן מתקיימת האקסיומה. (ג אם ω A B (שייך ל- B ולא ל- A מדובר במקרה סימטרי למקרה.(b מדוגמה זו נוכל להסיק שגם לאחר ניסוח אקסיומות פונקציית ההסתברות, נותר שיקול דעת בידי מתכנן המודל. תכונות פונקציית ההסתברות.P ( /O 0. הוכחה: נשים לב שמתקיים לכל A כי A, A O/ ולכן: P (A P ( A /O P (A + P ( /O P ( /O 0 2. אם,A,B C מאורעות זרים בזוגות, אז: P (A B C P (A + P (B + P (C הוכחה: P (A B C P ((A B C P (A B + P (C P (A + P (B + P (C 3. לכל זוג מאורעות,A B מתקיים: P (A B P (A P ( A B הוכחה: נשים לב שמתקיים B A (A B ( A וזה איחוד זר. מכאן: P (A P ( (A B ( A B P (A B + P ( A B k {B k } m היא חלוקה של,Ω אז: 4. אם m P (A P (A B i i 43

44 הוכחה: כפי שראינו לעיל לכל A מתקיים: A (A B (A B 2... (A B m כאשר זה איחוד זר בזוגות. ולכן: P (A P ((A B (A B 2... (A B m m P (A B + P (A B P (A B m P (A B i i P (A B P (A + P (B P (A B A B ( A B ( A B (A B P (A B P (( A B ( A B (A B P ( A B + P ( A B + P (A B.5 לכל A, B מתקיים: הוכחה: נשים לב שמתקיים: וזה איחוד זר בזוגות. ולכן: P (A P (A B + P (B P (A B + P (A B P (A + P (B P (A B [נשים לב שהשוויון השלישי נובע מתכונה 3.] פונקציית הסתברות כללית: כדי לבנות פונקציה כלשהי שמקיימת את אקסיומות פונקציית ההסתברות על התחום שנסמן } n,ω {ω, ω 2,..., ω מספיק לבנות אותה כך שתקיים את שני התנאים הבאים: 0 P (ω i i n P (ω i i לא נוכיח כאן, אולם שני תנאים אלה מספיקים בכדי להפוך בהכרח את הפונקציה לפונקציית הסתברות, המקיימת עבור מאורע כלשהו A שההסתברות היא: P (A P (ω i ω i A 44

45 מרחב הסתברות אחיד: נאמר שמרחב מדגם Ω הוא מרחב הסתברות אחיד, אם לכל אחד מהמאורעות הפשוטים שבו יש הסתברות שווה. הדוגמאות הקלסיות והנפוצות ביותר למרחב מדגם מסוג כזה הן הטלת קוביה והטלת מטבע. הטלת קוביה: מרחב המדגם הוא 6} {, 2, 3, 4, 5, Ω וההסתברויות הן: P ( P (2 P (3 P (4 P (5 P (6 6 2 כי מאורע זה כולל נבחר למשל את המאורע {4,2}, A. ההסתברות היא חצי מהאפשרויות במרחב הסתברות אחיד. ניתן לחשב גם לפי תכונות פונקציית ההסתברות: P (A הטלת מטבע: מרחב המדגם הוא } T Ω {H, וההסתברויות הן (T P (H P. 2 נדון למשל במקרה בו שני שחקנים מחליטים לזרוק את המטבע פעמיים, ולהגדיר: - אם יש אפס פעמים H אז שחקן א' מנצח. - אם יש פעם אחת H שחקן ב' מנצח. - אם יש פעמיים H תיקו. {T, T } {T, H} (H, T {H, H} נשים לב לתוצאות האפשריות והסתברותן: מכאן שהאפשרות של תיקו מתקבלת בשני אירועים, ולכן ההסתברות לתיקו היא 0.5, כפול מההסתברויות ששחקן א' ינצח וששחקן ב' ינצח. נשים לב כי במודל שהגדרנו מרחב המדגם tie } Ω { player A wins, player b wins, הוא לא מרחב הסתברות אחיד. 45

46 חלק IV קומבינטוריקה לניסוי פשוט יש n תוצאות אפשריות. [למשל בהטלת קוביה יש 6 תוצאות אפשריות.] נניח שחוזרים על הניסוי הפשוט r פעמים. [למשל מטילים קוביה פעמיים.] השאלה המרכזית שנרצה לברר במסגרת זו היא כמה תוצאות קיימות לניסוי המורכב? כלומר, מהי עוצמתו של מרחב המדגם? ראשית, בכל פעם שמבצעים ניסוי חשוב להבחין בשני מאפיינים: האם יש או אין חשיבות לסדר? האם הניסוי מתבצע עם או בלי החזרה? למשל בהטלת קוביה פעמיים ניתן לקבל תוצאה של (2, או תוצאה של (,2. עלינו להחליט לפי המקרה האם מדובר בשתי תוצאות שונות או בתוצאה אחת. כלומר, האם יש חשיבות לסדר או לא. למשל בשליפת פתק מתוך כובע פעמיים יש חשיבות לשאלה האם לפני השליפה השנייה אנו מחזירים את הפתק שיצא בשליפה הראשונה או לא. כלומר, האם מדובר במדגם עם החזרה או בלי החזרה. להלן נדון בכל האפשרויות: מדגם סדור/לא סדור עם החזרה/בלי החזרה. 5.6 מדגם סדור עם החזרה במדגם סדור עם החזרה מספר האפשרויות הוא Ω. n r למשל בהטלת קוביה פעמיים, מספר האפשרויות הוא : (, (, 2 (, 3 (, 4 (, 5 (, 6 (2, (2, 2 (2, 3 (2, 4 (2, 5 (2, 6 Ω (3, (3, 2 (3, 3 (3, 4 (3, 5 (3, 6 (4, (4, 2 (4, 3 (4, 4 (4, 5 (4, 6 Ω (5, (5, 2 (5, 3 (5, 4 (5, 5 (5, 6 (6, (6, 2 (6, 3 (6, 4 (6, 5 (6, 6 נשים לב שמכיוון שיש חשיבות לסדר, מנינו גם את האפשרות (3, ו-(,3 כשתי אפשרויות שונות. 5.7 מדגם סדור ללא החזרה הגדרה: "עצרת" של מספר טבעי k מוגדרת ומסומנת כך: k! k 46

47 n! במדגם סדור ללא החזרה מספר האפשרויות הוא Ω, r n 0 (n r! בדוגמה של הטלת הקוביה, העובדה שלא מאפשרים חזרה מסירה את כל האפשרויות מהאלכסון בו מוצגות התוצאות בהן שתי התוצאות זהות. לכן נישאר עם האפשרויות הבאות: (, 2 (, 3 (, 4 (, 5 (, 6 (2, (2, 3 (2, 4 (2, 5 (2, 6 Ω (3, (3, 2 (3, 4 (3, 5 (3, 6 6! (4, (4, 2 (4, 3 (4, 5 (4, 6 Ω (6 2! (5, (5, 2 (5, 3 (5, 4 (5, 6 (6, (6, 2 (6, 3 (6, 4 (6, 5 נסביר כיצד הגענו לנוסחה: בניסוי הפשוט הראשון קיימות n תוצאות אפשריות. בניסוי הפשוט השני ירדה אפשרות אחת (כי אין החזרה ולכן נשארנו עם n תוצאות אפשריות, וכן הלאה. בניסוי הפשוט ה- r נישאר עם + r n תוצאות אפשריות. מכאן שסך האפשרויות הוא: n (n... (n r + n (n... (n r + (n r... 2 (n r... 2 n! (n r! לצורך שלמות ההגדרה, נאמר כי!0. נראה בהמשך שהגדרה זו שימושית במקרי קיצון. כך למשל לפי הגדרה זו מספר התוצאות האפשריות של סידור ללא החזרה של n איברים הוא n!. n! (n n! 5.8 מדגם לא סדור ללא החזרה בהשוואה למדגם סדור עם החזרה, מספר האפשרויות מצטמצם, כי מאורעות בעלי אותם איברים בסדר שונה מתלכדים למאורע אחד., Ω ( n r n! r!(n r! במדגם לא סדור ללא החזרה מספר האפשרויות הוא 0 r n מספר זה נותן למעשה את מספר הצירופים האפשריים של r איברים מתוך n איברים. n! אפשרויות בהנחה שהסדר משנה. (n r! נסביר כיצד הגענו לנוסחה: ראשית נתונות לנו כעת נרצה להסיר האפשרויות שמופיעות יותר מפעם אחת ולמנות אותן רק פעם אחת. נשים לב כי ראינו שעבור כל r איברים נתונים קיימים!r סידורים שונים אפשריים, כי במקום הראשון יש r אפשרויות, במקום השני r אפשרויות וכן הלאה. לכן נחלק ב-! r ונקבל את הנוסחה שקבענו. ( ( n n נשים לב שבמקרים 0,r r n נקבל: (נזכור שהגדרנו 0 n (!0. ההיגיון בתוצאה זו הוא שמתוך n איברים יש רק דרך אחת לבחור 0 איברים או n איברים ללא חשיבות לסדר. 47

48 ( n r ( n n r טענה: n! (n r! (n (n r! n! (n r!r! n! r! (n r! הוכחה: ההסבר לשוויון זה הוא שמדובר באירועים משלימים אחד לשני. למשל קל לראות שבחירת 3 תלמידים מכיתה של 0 לחברות בוועד, זוֹ פעולה שקולה לבחירת 7 תלמידים מכיתה של 0 שלא יהיו חברים בוועד. ( n r ( n r ( n + r טענה: ( n r ( n + r הוכחה: (n! (r! ((n (r! + (n! r! (n r! (n! (r! (n r! + (n! r (n! r! (n r! r! (n r! r (n! + (n r (n! r! (n r! (n r (n! + r! (n r! (r + n r (n! r! (n r! ( n (n! r! (n r! n! n r! (n r! r נסביר את השוויון שקיבלנו. נניח שבוחרים r איברים מתוך n, ונניח ש- x הוא איבר כלשהו מתוך ה- n. ברור שיש שתי אפשרויות זרות: או ש- x כלול ב- r האיברים הנבחרים או שלא. אין אפשרות נוספת. מכיוון שהאפשרויות הללו זרות, אם נחשב את מספר התוצאות האפשריות בכל אחת מהאפשרויות ונסכום, נקבל את כל התוצאות האפשריות. r ( עצמים מתוך n העצמים במקרה ש- x כלול ב- r שבחרנו, נשאר לבחור n הנותרים, ולכן מספר התוצאות האפשריות הוא. r במקרה ש- x לא כלול ב- r שבחרנו, עלינו לבחור r איברים מתוך n האיברים הנותרים ( (את הראשון אי אפשר לבחור, ולכן מספר התוצאות האפשריות הוא n. r 48

49 ( n באמצעות מה שמכונה "משולש r באמצעות הטענה האחרונה ניתן להציג את ערכו של פסקל": המשולש נבנה כך שכל ערך מתקבל כסכום ( שני הערכים שמעליו. זו בדיוק הטענה שהוכחנו n כעת ולכן הערך ה- r בשורה ב- n הוא. r 5.8. הבינום של ניוטון (a + b n ( n r r0 a r b n r ראשית ברור שכאשר a נכפל r פעמים, נשאר ל- b להיות נכפל n r פעמים. כדי לבדוק את כל הקומבינציות האפשריות שמתקבלות, משתמשים במה שהוכחנו לעיל אודות בחירת r איברים מתוך n, כאשר הסדר לא משנה וללא החזרה. ( 4 4 ( 4 b (a + b 4 4 ( 4 r r0 ( 4 ab a r b 4 r ( 4 a 2 b 2 + b 4 + 4ab 3 + 6a 2 b 2 + 4a 3 b + a 4 כך זה נראה במקרה של 4 n: ( 4 a 3 b + 0 a 4 49