מבוא לחקר ביצועים - מודלים סטוכסטיים מבוסס על הרצאות פרופ' עופר קלע בקורס "מבוא לחקר ביצועים - מודלים סטוכסטיים" 5253 האוניברסיטה העברית, סמסטר א' 5 24 להערות: nachi.avraham@gmail.com נחי
תוכן עניינים 4 תורת המלאי I 4 מבוא: תוחלות מיוחדות........................... 8................................. בעיות מלאי 2 קנייה קשיחה ביחס לביקוש; אין כמות ראשונית; יום מכירות בודד; 2. 8............................. ביקוש יחיד קנייה דינמית ביחס לביקוש; ללא עלות קנייה; בלי כמות ראשונית; 2.2 9................... יום מכירות בודד; ביקוש יחיד קנייה קשיחה ביחס לביקוש; עם כמות ראשונית; יום מכירות בודד; 2.3............................. ביקוש יחיד קנייה דינמית ביחס לביקוש; עם עלות קנייה; עם כמות ראשונית; 2.4................... יום מכירות בודד; ביקוש יחיד..................... מדיניות S s, 2.4. קנייה קשיחה ביחס לביקוש; עם עלות קנייה; עם כמות ראשונית; 2.5.................. ימי מכירות מרובים; ביקוש יחיד קנייה קשיחה ביחס לביקוש; בלי עלות קנייה; בלי כמות ראשונית; 2.6 2 יום מכירות בודד; ביקושים מרובים................. 4............... דוגמה: התפלגות מעריכית 2.6. 6................ דוגמה: התפלגות אחידה 2.6.2 7 EOQ - Economic Order Quantity II 2 תכנון דינמי ובעיות החלטה מרקוביות III 2........................ קנייה ומכירה של מוצר יחיד 3 23................................... השקעה 4 23 תועלת לוגריתמית.......................... 4. 25 תועלת קמורה............................ 4.2 26 בעיית המזכירה או: איך למצוא בן זוג?.................. 5 3 מבנה של בעיית החלטה מרקובית...................... 6 3 בעיה עם אופק סופי......................... 6. 32................. בעיה עם אופק סופי, מהוונת בזמן 6.2 32....................... בעיה עם אופק אינסופי 6.3 33................... פתרון ɛ אופטימלי 6.3. 34.............. קיום ויחידות של פתרון מלא 6.3.2 37 אלגוריתם השיפור של. Howard............ 6.3.3 39 נספח: משפט נקודת השבת של בנך........... 6.3.4 4 התפלגות מעריכית ותהליכי פואסון IV 4 התפלגות מעריכית ותכונת חוסר זיכרון................... 7 44 התפלגות דיריכלה.............................. 8 46 התפלגות של מקסימום ומינימום בהתפלגות מעריכית............ 9 2
49............................... תהליכי פואסון 52..................... תכונות של תהליכי פואסון. 52................. נורמליות אסימפטוטית.. 53......... הצפיפות המשותפת של זמני המופעים..2 55 התפלגות מותנית של זמנים שונים..............3 56................ צירוף של תהליכי פואסון..4 56................ פיצול של תהליכי פואסון..5 56 תהליך פואסון לא הומוגני.......................2 57....................... סופיות טור של מ"מ מעריכיים 59 התפלגות "הזמן הנותר"........................... 2 63 תורת התורים V 63............................. תור עם שרת בודד 3 65.......................... מבוא לשרשראות מרקוב 4 7............................. תהליכי לידה ומוות 5 7 תהליך לידה טהור.......................... 5. 74........................ תהליך לידה עם מוות 5.2 76 סיכום של נוסחאות שימושיות בתהליכי לידה ומוות... 5.2. 77...... דוגמה לתהליך לידה ומוות: תור M M 5.2.2 8...... דוגמה לתהליך לידה ומוות: תור M M c 5.2.3 3
חלק I תורת המלאי מבוא: תוחלות מיוחדות אם x X F X x P X משתנה מקרי אי שלילי ובעל צפיפות,f X התוחלת שלו.E X xf מוגדרת להיות X x dx לצורכי הקורס נראה דרך נוספת להציג תוחלת של משתנה מקרי X אי שלילי, גם כאשר אין לו פונקציית צפיפות: ˆX E X E dx ˆ E {X>x} dx ˆX ˆ ˆ {X>x} dx E {X>x} dx P X > x dx ˆ F X x dx X, X השוויון השני הוא זהותי, השוויון השלישי נובע כאשר השוויון הראשון נובע כי dx, X השוויון הרביעי נובע ממשפט פוביני המאפשר בתנאים מכך שמתקיים dx {X>x} מסוימים החלפה של סדר האינטגרציה, השוויון החמישי נובע מכך שתוחלת של אינדיקטור על מ"מ היא ההתפלגות, 2 והשוויון השישי נובע מההגדרה של פונקציית ההתפלגות. נשים לב ששוויון זה נכון כל עוד התוחלת מוגדרת, בין אם היא סופית ובין אם לא. בדרך דומה ניתן להראות שהתוחלת של משתנה מקרי X שלילי היא: ˆ E X a b : max {a, b} a b : min {a, b} a + : a a : a F X x dx סימון: נשים לב שבסימונים אלה מתקיימים הכללים הבאים: a + + a a a + a a a a + x {X>x}, ולכן מהגדרת התוחלת: { X x X < x E X P X x + P X x P X x כלומר X.P 2 כי פונקציית המציין שלנו היא 4
נשתמש בביטוי של התוחלת שמצאנו לעיל כדי למצוא כמה נוסחאות לתוחלת של משתנים מקריים מעניינים: E X +. במקרה שבו < + X E או < X,E אז: E X E X + + X E X + + E X ˆ P X + > t dt ˆ P X > t dt ˆ ונשים לב כי: F X t dt E X... ˆ F X t dt לכן ניתן להגדיר תוחלת גם ללא פונקציית צפיפות, על ידי: E X ˆ ˆ F X t dt + F X t dt E X a +.2 עבור X a מ"מ א"ש, באמצעות חילוף משתנה :s a + t ˆ P ˆ X a + > t dt P X a > t dt ˆ ˆ ˆ P X > a + t dt P X > s ds F X s ds a a.3 עבור a X מ"מ א"ש, באמצעות חילוף משתנה :s a t E a X + ˆ ˆ P P a X > t dt a X + > t dt ˆ P X < a t dt ˆ a P X < s ds ˆa F X s ds 5
ˆ E X a E X X a + F X t dt ˆ a 4. עבור X מ"מ א"ש: F X t dt 5. בהתאם לתכונות שהזכרנו לעיל, מתקיימים שני השוויונים: X + a + + a X + X a + X a X a X + a + a X + X a + + X a X a E X + a + + E a X + E X a E X + a + E a X + EX a ˆa מכאן נובעים שני השוויונים: F X t dt טענה: אם X מ"מ המקיים < X E, אז הערך שמביא למינימום את הביטוי a 2 E X הוא X.a E E X a 2 E X µ + µ a 2 E X µ 2 + 2E X µ µ a + µ a 2 }{{} E X µ 2 + µ a 2 E X µ 2 הוכחה: נסמן X µ E ונחשב: וקל לראות שבאי השוויון האחרון מתקבל שוויון אם ורק אם a. µ הגדרה: יהי X F X משתנה מקרי. נסמן באופן כללי t.f X t F X אומרים כי m הוא חציון של F, X אם מתקיימים שני התנאים הבאים: P X m F X m 2. P X m F X m 2.2 טענה: אם X מ"מ המקיים < + X,E X, E אז הערך שמביא למינימום את הביטוי a E X הוא חציון. הוכחה: תחילה נשים לב כי X E, X E X + E וביטוי זה סופי מההנחה שבטענה. נניח תחילה כי m, ונחשב בהתאם לנוסחאות שראינו לעיל: [ E X a E X E X a + + E a X + E X + + E X +] ˆ a F X t dt + ˆa ˆ F X t dt F X t dt ˆ F X t dt 6
2 2 ˆa E X a E X F X t dt 2 2 ˆa ˆa ˆa F X t dt נדון תחילה עבור < a : F X t dt F X dt 2 F X a 2 2.F X 2 כאשר האי שוויון האחרון נובע מההנחה m, ממנה נובע וכאשר < :a ˆ a E X a E X ˆ 2 F X t dt 2 a ˆ a ˆ F X t dt a F X t dt F X dt 2 F X a 2 ולכן אם m חציון, אז לכל a מתקיים X.E X a E כעת יש להראות שלכל חציון m מתקיים a.e X m E X יהי m חציון כלשהו של F, X אז עבור מ"מ Y X m מתקיים כי החציון של F Y הוא 3, ולכן כפי שמצאנו Y,E Y a E כלומר m E X m a E X לכל a. כעת בהינתן b כלשהו, נבחר a b m ונקבל m.e X b E X הערה: חציון אינו בהכרח יחיד, ולכן ייתכנו כמה ערכים שיביאו למינימום את הפונקציה a E. X עם זאת, כל ערך שמביא למינימום את הפונקציה הזו הוא חציון. 3 קל לראות מהגדרת חציון שהזכרנו לעיל. 7
2 בעיות מלאי 2. קנייה קשיחה ביחס לביקוש; אין כמות ראשונית; יום מכירות בודד; ביקוש יחיד בעיה: נניח שבתחילת היום אנו קונים כמות a ממוצר מסוים בדיד או רציף, במחיר של c ליחידה. כל יחידת מוצר אנו מוכרים במהלך אותו היום במחיר r, ונניח כמובן c. < r נניח כי D מ"מ המתאר את הביקוש למוצר במהלך אותו יום. מהי תוחלת הרווח? כיצד ניתן למקסם אותה? פתרון: תחילה נתאר את המודל המתאים לבעיה. בתחילת היום אנו משלמים ca עבור המוצר. הרווחים בסוף יום המכירות הם,r a D שכן כמות המכירות חסומה הן על ידי ההיצע a והן על ידי הביקוש D. לכן הרווח הוא. ca + r a D נחשב את התוחלת כפונקציה של a, לפי הנוסחה שבסעיף 4 לעיל: ˆa L a : E ca + r a D ca + re a D ca + r ˆa c ˆa dt + r F D t dt r ˆa ˆa c r F D t dt r F D t c dt F D t dt נשים לב שבמקרה בו t c r F D F D לכל t, האינטגרנד שלילי ולכן הפונקציה a L אינה עולה. במקרה כזה הערך a ממקסם את הפונקציה ולכן לא כדאי לקנות דבר. אם כן הבעיה מעניינת תחת שני התנאים הבאים:. r c < כלומר מוכרים כל יחידת מוצר במחיר גבוה ממחיר הקנייה.2 r F D < c כדי שהתוחלת תהיה חיובית. כדי להגדיר פתרון, נגדיר תחילה שני ערכים: x l : sup { } { } x F D x < c r inf x FD x c r x u : sup { } { } x F D x c r inf x FD x > c r ההבדל בין שני הערכים הללו הוא באי שוויון חזק\חלש. הפתרונות שלנו הם הקבוצה {u.{x x l x x לעתים קבוצת הפתרונות כוללת איבר יחיד כאשר x l x u ולעתים קטע שלם כאשר.x l < x u 8
2.2 קנייה דינמית ביחס לביקוש; ללא עלות קנייה; בלי כמות ראשונית; יום מכירות בודד; ביקוש יחיד בעיה: נוסיף להנחות הבעיה הקודמת את ההנחה שבמידה והביקוש D גדל במהלך היום, ניתן להחליט במהלך היום לקנות עוד מהמוצר. את a היחידות שקונים בתחילת היום, כאמור, קונים במחיר c, אולם את היחידות שייקנו במהלך היום קונים במחיר p. מהי תוחלת הרווח? כיצד ניתן למקסם אותה? פתרון: בכל מקרה יש להניח כי,c, p < r שכן אחרת אין סיבה לקנות דבר. כמו כן, קל לראות שאם p < c כדאי לא לקנות שום דבר בתחילת היום, אלא רק בהתאם לביקוש במהלך היום. לכן נניח גם c. < p נדון במקרה שבו אנחנו מוכרחים לספק את כל הביקוש שיהיה במהלך היום. במקרה כזה הרווחים בסוף יום המכירות הם + a,r D + p D שכן כמות היחידות הנמכרות נקבע בהתאם לביקוש הידוע בתחילת היום D יחד עם הביקוש המתפתח במהלך היום + a.d לכן הרווח הוא + a. ca + r D p D נחשב את התוחלת כפונקציה של a: ˆ L a : ca + re D pe D a + ca + re D p F D t dt, a ולכן נובע: F D t dt E D a נשים לב כי F D t dt ˆa L a ca + r p E D + p r p E D + r p E D + p ˆa ˆa F D t dt pf D t c dt c p F D t dt a,f D x c p בדיוק כמו לפיכך הפתרון הוא כל x המקיים x F D הפתרון של הבעיה הקודמת. הערה: נשים לב שאם r, p התוחלת בבעיה 2 שווה לתוחלת בבעיה. כלומר אם מחיר המוצרים שנקנים על ידינו במהלך היום שווה למחירם בתחילת היום, לשתי הבעיות יש פתרון משותף. הסיבה לכך שהפתרון משותף, היא שההבדל בין שתי הבעיות בא לידי ביטוי רק כאשר הביקוש במהלך היום אכן גדל יותר מהצפוי בתחילת היום אחרת ההתנהגות שלנו לא משתנה במהלך היום. ובמקרה כזה, מכיוון ש r p אין הבדל בין לקנות במחיר זה ולמכור בדיוק באותו מחיר, לבין לא לעשות דבר. 9
2.3 קנייה קשיחה ביחס לביקוש; עם כמות ראשונית; יום מכירות בודד; ביקוש יחיד בעיה: נוסיף להנחות בעיה את ההנחה שנותרו בידינו x יחידות מוצר מהיום הקודם. מהי תוחלת הרווח? כיצד ניתן למקסם אותה? פתרון: נראה שהנחה זו לא משפיעה כלל על מקסום התוחלת. כלומר, נניח כי x הוא פתרון הבעיה הקודמת, אם x x < אז נקנה x x ונמכור,x ואם x x אז לא נקנה דבר ונמכור שוב x. cx ca + r E D a cx + r cx + r ˆx נרשום את המודל כדי להראות שזה הפתרון: ˆa c r F D t dt + r ˆa x c r F D t dt c r F D t dt נשים לב שרק הנסכם האחרון תלוי ב a. לכן אם x x < נקנה עוד x x יחידות מוצר כדי למקסם את הנסכם האחרון, ואם x x אז הנסכם האחרון הוא פונקציה יורדת ב a, ולכן המקסימום מתקבל ב x, כלומר לא נקנה עוד כלום..x d sup { } דוגמה: exp.c 2, r 3, D הראינו שהפתרון הוא x F D x < c r, { x x < ln אוסף הפתרונות הוא 3} 2. e x < 3 נציב את הערכים ונקבל משוואה.sup { x x < ln 2} 3 ln 3 ובאופן שקול 2} 3.{ x x < ln לכן הפתרון הוא 2 הערה: כאשר D מ"מ המקבל ערכים שלמים ואי שליליים, הבעיה שתיארנו מכונה בעיית מחלק העיתונים. 2.4 קנייה דינמית ביחס לביקוש; עם עלות קנייה; עם כמות ראשונית; יום מכירות בודד; ביקוש יחיד בעיה: נוסיף להנחות הבעיה הקודמת את ההנחה שהזמנה נוספת של המוצר כרוכה בעלות קבועה בגובה K, שאינה תלויה בכמות הנקנית. מהי תוחלת הרווח? כיצד ניתן למקסם אותה? פתרון: נשים לב שכבר יש בידינו x יחידות מוצר, ולכן במידה ונחליט לא לקנות יותר כלום, הרווח יהיה.r E D x לעומת זאת במידה ונחליט כן לקנות עוד > x x יחידות מוצר, תוחלת הרווח תהיה r E D x K c x x נשים לב שאם x x אין צורך לקנות עוד, שכן במקרה כזה x r E D r E D x c x x K ולכן בפרט גם,c x x r E D x.r E D x לכן יש טעם לדון רק במקרה שבו x x. < במקרה כזה, מצאנו שהערך האופטימלי של r E D x c x x K הוא x,x כי K קבוע ואינו משנה דבר.
2.4. מדיניות S s, F D S c r טענה: בתנאי הבעיה שתיארנו ובהנחה כי S ערך אופטימלי, כלומר.C s K + C S יחיד המקיים < s < S קיים,F D S הוכחה: בקווים כלליים, הדבר נובע מכך שהפונקציה x C קעורה ומונוטונית. לכן כאשר מפחיתים מערכה המקסימלי S C את הקבוע K, ממשפט ערך הביניים נובע שקיים ערך s יחיד שעבורו S.C s K + C מסקנה: במקרה כזה, אם s < a לא קונים דבר ואם a < s קונים.S a 2.5 קנייה קשיחה ביחס לביקוש; עם עלות קנייה; עם כמות ראשונית; ימי מכירות מרובים; ביקוש יחיד בעיה: נדון בשני ימים,. 2 נניח שבתחילת יום אנו קונים כמות a ממוצר מסוים במחיר של c ליחידה. כל יחידת מוצר אנו מוכרים במהלך יום במחיר r מניחים c, < r ומה שלא נמכר ביום יכול להימכר ביום 2. נניח כי D i F D הוא מ"מ המתאר את הביקוש למוצר במהלך היום ה i. מהי תוחלת הרווח? פתרון: לא נפתור בעיה זו באופן מלא. נמצא את התוחלת ולא נראה אופטימיזציה שלה. נניח שלאחר מכירות היום הראשון, נותרו ביום השני x 2 יחידות מהמוצר. זו בעיה F D S 2 שפתרנו ומצאנו שהערך שממקסם את התוחלת הוא S2 כזה המקיים 2 c r F D S. לכן אם S 2 x 2 אין טעם לקנות עוד מהמוצר ביום השני, ואם S 2 < x 2 נקנה ביום השני עוד S 2 x 2 יחידות מוצר. נזכור שהגדרנו את תוחלת הרווח מקנייה ומכירה של a יחידות מוצר a C 2 a. ca + re D אם כך תוחלת הרווח ביום 2 ניתנת לביטוי: { cx 2 + C S 2 x 2 S 2 cx 2 + C x 2 S 2 x 2 אם כך מצאנו מהי תוחלת הרווח ביום 2 בהינתן שידוע כמה נותר מיום. נמצא כמה אכן נותר ביום. נניח שהזמנו x יחידות מוצר ביום. במקרה זה מכרנו D x ונותר בידינו בסוף היום +.x 2 x D מכאן שאת תוחלת הרווח הכולל של שני הימים ניתן לבטא באופן הבא: [ ] E c x D + + C S 2 {x D + <S 2} + [ +E c x D + + C x D +] {x D + S 2} כאשר הנסכם הראשון מבטא את התוחלת כאשר x D + < S 2 ולכן קונים ביום 2 עוד + S 2 x D מהמוצר, והנסכם השני מבטא את התוחלת כאשר x D + S 2 ולכן לא קונים ביום 2 דבר.
2.6 קנייה קשיחה ביחס לביקוש; בלי עלות קנייה; בלי כמות ראשונית; יום מכירות בודד; ביקושים מרובים בעיה: נניח שבתחילת היום אנו קונים כמות a ממוצר מסוים בדיד או רציף, במחיר של c ליחידה. נניח עוד שיש לנו n סניפים, וכל יחידת מוצר אנו מוכרים בסניף i במהלך אותו היום במחיר גלובלי r מניחים c. < r נניח כי D i F i מ"מ המתאר את הביקוש למוצר במהלך אותו יום בסניף ה i. נניח עוד כי F i פונקציה רציפה ועולה ממש על קטע ] i l] i, u ניתן לקטום במקרה הצורך את החלקים בהם הפונקציה קבועה. מהי תוחלת הרווח? כיצד ניתן למקסם אותה? פתרון: מההנחה כי, ] i F i : [l i, u עולה ממש, נובע שיש לה פונקציה הפוכה מהצורה F שגם היא עולה ממש. i :, [l i, u i ] נשים לב שעבור כל סניף j, זו בעיה שפתרנו ומצאנו שהערך שממקסם את התוחלת F. j S היות והנחנו כי F j פונקציה עולה j c הוא S j כזה המקיים j r F j S.F j S במונחי j Fj S j c r ממש, ניתן להסיק שקיים פתרון יחיד ולכן F.S j לפיכך תוחלת הרווח האופטימלית של j c הפונקציה ההפוכה נקבל r.c j S j r S j c הסניף ה j היא r F j t dt נשים לב שבמקרה שכמות הכסף שלנו אינה מוגבלת, הפתרון האופטימלי מתקבל על ידי הזמנת S j יחידות לסניף ה j עבור כל הסניפים.,c n נסמן את כמות הכסף שלנו ב A. נשים לב שבמקרה שמתקיים i S i A יחידות בסניף ה j. S j יחידות מוצר ולמכור n הפתרון האופטימלי הוא לקנות i S i. A /c < n i S i כלומר,A < c n לכן נניח כי i S i n ומוכרים a i בסניף ה i. האם קיים סניף j שעבורו. נניח שקונים i a i?s j < a j ודאי שלא, כי ניתן להקטין את הקנייה הכללית ולתת לסניף הזה רק S j במקום a j ובכך להגדיל את התוחלת, שכן j C a j C S ולכן התוחלת מקיימת: n C i a i i n i i j C i a i + C j a j n i i j C i a i + C j S j, A /c < n כי קל לראות נשים לב שחישוב זה אינו סותר את התנאי i S i. n i a i + S j < n שמתקיים i a i A /c i j לכן בפתרון האופטימלי לכל i מתקיים.a i S i n ומוכרים a i בסניף ה i. האם ייתכן שפתרון זה אופטימלי,.2 נניח שקונים n i a i? ועדיין i a i < A /c A /c < n ולכן אין לנו נשים לב שלא ייתכן a i S i לכל,i כי הנחנו i S i.a j < S j שעבורו j לכן קיים. n מספיק כסף כדי לקנות i S i,a j < A /c n ולכן שני i נשים לב שבהעברת אגפים נקבל באילוץ a i i j 2
.a j < min S j, A /c n i a i האילוצים יחד קובעים : ã j i j מאחר ו S j ממקסם את התוחלת, כל הגדלה של a j עד לחסם ã j מגדילה את התוחלת, שכן: n i i j a i + ã j n i i j a i + A/c n i i j a i A /c n. כלומר עלינו להשתמש לכן בפתרון אופטימלי צריך להתקיים i a i A /c בכל הכסף שעומד לרשותנו. A < cs i ייתכן שמתקיים האם בסניף ה i. a i ומוכרים n.3 נניח שקונים i a i לכל i, ועדיין מוכרים ביותר מסניף אחד? נשים לב שבמצב זה ניתן לקנות S i בכל הכסף שיש לנו A, למכור הכל בסניף i כלשהו ובכך למקסם את התוחלת. לכן נניח כי S j < A c/ לאיזה j. n ומוכרים a i בסניף ה i. אם פתרון זה אופטימלי, אזי טענה: נניח שקונים i a i בהכרח n.f a F 2 a 2... F n a, n הוכחה: נניח כי a,..., a n הוא פתרון כנ"ל. ראינו שהוא צריך לקיים i a i A /c כאשר a i S i לכל.i מההנחה S j < A /c קיימים זוג אינדקסים l, j שעבורם מתקיים < a l וכן < a j < S j, שכן בסניף j לא ניתן להגיע לאופטימום ולכן בסניף l אחר נמכרת כמות חיובית. נבחר < ɛ מספיק קטן, כך שהאי שוויונים הללו משתמרים עד כדי ɛ. כלומר < a j + ɛ < S j וגם < a l ɛ. נחשב כיצד שינוי של הקנייה בגודל ɛ משפיע על התוחלת: [C l a l ɛ + C j a j + ɛ] [C l a l + C j a j ] [ al ɛ [ a l c r F l t dt + a j+ɛ c r F j t ] dt c r F l t dt + a j c r F j t dt ] a j+ɛ c r F j t dt a l a l ɛ c r F l t dt a j+ɛ a j F j t dt + a l a l ɛ F l t dt נבצע החלפת משתנה ds dt,t a j + s באינטגרל הראשון, והחלפת משתנה 3
ds dt,t a l s באינטגרל השני, ונקבל: ɛ F j a j + s ds ɛ F l a l s ds ɛ F j a j + s ds + ɛ F l a l s ds ɛ F l a l s F j a j s ds אם כך קיבלנו ביטוי מפורש לשינוי בתוחלת כאשר משנים במעט ɛ את ההקצאה בסניפים,j. l עבור איזה < ɛ ביטוי זה חיובי? כלומר מתי שינוי קטן בהקצאה מביא לעלייה בתוחלת הרווח? נשים לב שמרציפות הפונקציות,F i נובע שאם l F j a j < F l a אז יש סביבות שלמות של הנקודות a j, a l שמתקיים בהן אי השוויון הזה. כלומר קיים < ɛ שעבורו לכל s ɛ מתקיים > s.f l a l + s F j a j כלומר במקרה כזה מתקיים גם: ˆɛ F l a l s F j a j s ds > ועל כן ניתן לשפר את התוחלת על ידי שינוי בגודל ɛ הזה, כלומר הפתרון הנתון אינו אופטימלי, בסתירה להנחה שבטענה. אם כן נדרוש בהתאם לטענה שיתקיים.F a F 2 a 2... F n a n : λ במונחי λ אם כך נרצה למצוא.a i F הפונקציות ההפוכות, זה אומר שלכל i יתקיים λ i שימקסם את התוחלת. n. כמו כן הראינו בתחילת i F i λ n נשים לב שמתנאי 2 נובע כי i a i A /c F פונקציה עולה ממש ורציפה לכל i על,, הפתרון שמתקיים כי ] i i :, [l i, u g u n פונקציה עולה ממש ורציפה על., לכן i F ולכן גם הפונקציה u i קיימת פונקציה הפוכה g. כעת נסיק כי ערך ה λ שממקסם את התוחלת הוא: a i F i F a i ולכן: i λ F i g λ n i F i λ A /c λ g A /c כעת נקבל נוסחה לפתרון האופטימלי,a,..., a n שכן λ g A /c n F i F i A /c i 2.6. דוגמה: התפלגות מעריכית n מוצר מסוים כדי למכור ממנו a i בסניף ה i. כמו כן נניח כי נניח כי אנו קונים i a i הביקוש בסניף ה i הוא { i,d i exp µ כלומר פונקציית ההתפלגות ה i היא t F i e µit t. t < 4
נרצה למצוא תחילה את הפתרון a,,... a n באמצעות הנוסחה שמצאנו בסוף הפרק הקודם, ולאחר מכן נרצה למצוא את התוחלת של הפתרון. כדי למצוא את הפתרון, תחילה נמצא את הפונקציה ההפוכה של F: i u F i t e µit log u µ i t t log u µ i g u n i F i u log u F. מכאן נובע: i u log u µ i כלומר n i log u µ i / µ i g נשים לב שהצורה של.g n i F כעת נרצה למצוא את הפונקציה ההפוכה של i /. לכן באותו אופן ההפוכה שלה µ i,f כאשר במקום µ i מופיע היא בדיוק הצורה של i.a j F j.g i µ t e t i תהיה כעת נוכל לחשב את הפתרון בהתאם לנוסחה שמצאנו בפרק הקודם, c/ g A תחילה נחשב את הביטוי הפנימי: g A /c e a j F j E D j a j i µ i g A /c F j n a j j ˆa j n j A c e µj F j /µ j i µ i A c /µj i µ A c i F j /µ j i µ i A c ED j n i ED A n l c j ED j n i ED A l c A c /µ j A i c µ i EDj EDi A c נשים לב שבפרט גם יתקיים: אם כך מצאנו את הפתרון, נרצה לחשב את התוחלת שלו.,E D x x ובמקרה שלנו מתקיים: נזכור כי F D t dt e µjt dt e µjaj µ j e C j a j ca j + r E D a j c µ j i µ i /µj µ j i /µ j A i µ i A + r e µ i A c µ j e c + r µ j e i µ i A c i µ i µ j A c מכאן נסיק: i µ i A c 5
n n C i a i µ i i i i µ i A + r e ומכאן נובע שתוחלת הרווח הכולל היא: i µ i A c A r e i µ i A c 2.6.2 דוגמה: התפלגות אחידה n מוצר מסוים כדי למכור ממנו a i בסניף ה i. כמו כן נניח כי נניח כי אנו קונים i a i הביקוש בסניף ה i הוא i.d i U, d t < t d j כלומר פונקציית ההתפלגות ה i היא.F i t t d i < d i נרצה למצוא תחילה את הפתרון a,,... a n באמצעות הנוסחה שמצאנו בסוף הפרק הקודם..F כדי למצוא את הפתרון, נבחין שהפונקציה ההפוכה של F j היא j u ud j ai לכל,i כלומר.a i d i λ כעת d i n d j λ a j F j λ n a j נזכור שמצאנו לעיל שפתרון חייב לקיים F i a i λ נקבל: i F i i F i A /c n i F i A /c n i d i A c λ A c i di A c i d λ a j i d j A /c dj נציב את האילוץ שהזכרנו: ובסיכום נקבל צורה זהה לצורה המעריכית שמצאנו בפרק הקודם: d j i d A i c dj/2 i di /2 A c ED j i ED A i c 6
חלק II EOQ - Economic Order Quantity המודל EOQ אינו סטוכסטי, אבל הוא נפוץ בחקר ביצועים. בעיה: נניח כי אנו מוכרים מוצר מסוים בשוק שבו הביקוש d הוא קבוע ורציף. כמו כן נניח כי c הוא המחיר של יחידת מוצר עבורנו, וכי r הוא מחיר יחידת מוצר לצרכנים. נניח כי הזמנה של כל כמות מהמוצר עולה מחיר קבוע K. נניח עוד שיש עלות h להחזקת יחידת מלאי חיובית ליחידת זמן, וכמו כן נניח כי p היא עלות החזקת יחידת מלאי שלילית ליחידת זמן למשל על ידי לקיחת הלוואה. המדיניות שלנו היא לקנות כמות מסוימת מהמוצר ולהתחיל למכור אותה בתגובה לביקוש d. אנו לא מחדשים את המלאי מיד כאשר הוא נגמר, אלא מוכנים להיכנס למצב של מלאי שלילי עד גובה s. נסמן את הכמות שאותה אנו קונים בכל פעם ב Q. כלומר, בכל פעם שנמכרת כמות Q אנו קונים כמות נוספת זהה. נשים לב שבסימונים אלה, Q s הוא גודל המלאי החיובי, ו s הוא גודל המלאי השלילי. כיצד ניתן לבחור כמות Q וגודל s כדי למקסם את הרווח? פתרון: נסמן על ידי T את כמות הזמן שבין הזמנה להזמנה. נסמן על ידי C את העלות. C T הכוללת שלנו. לפיכך, נגדיר את העלות ליחידת זמן להיות ההגדרה של העלות ליחידת זמן אמנם נראית טבעית, אך נצדיק אותה באופן פורמלי יותר:.nT t < n + T ונקבל שמתקיים n t ניקח נקודת זמן t כלשהי. נסמן T קל לראות שהעלות לזמן nt היא,nC ובאותו אופן העלות לזמן n + T היא n. + C נסמן את העלות בזמן t על ידי t C. ברור כי,nC C t < n + C ולכן נובע: nc C t < n + C nc n+t Ct t C t n t T < n+c nt C T נשים לב כי T הוא משך הזמן שבין הזמנה להזמנה, שבו נמכרת כמות Q. כלומר.T Q d צריך להתקיים dt,q ומכאן Q s 2.C K + cq + Q s2 2d h + s2 נראה שהעלות הכוללת שלנו היא 2dp 7 2d האיברים,K cq נובעים ישירות מהגדרת הבעיה. נראה כי האיבר h s2 משקף את עלות החזקת משקף את עלות החזקת המלאי החיובי, וכי האיבר 2dp המלאי השלילי. T Q s כי הגדרנו את s להיות הגודל שממנו d נשים לב שהמלאי מתאפס בזמן המלאי מתחיל להיות שלילי. אם כך יש להכפיל את עלות החזקת המלאי החיובי h ליחידה בגודל של שטח המשולש שצלעו האחת היא Q s וצלעו הנוספת Q s. כמו כן, יש להכפיל את עלות החזקת המלאי d Q s 2d h כלומר. Q s d היא
השלילי p ליחידה בגודל של שטח המשולש שצלעו האחת היא s וצלעו הנוספת. s2 היא. s d כלומר להכפיל את p בשטח 2d, C T היא: [ C T C d Q K + cq + משתי הזהויות הקודמות נובע שהעלות ליחידת זמן, כלומר ] Q s2 h + s2 2t 2d p d Q Kd 2 Q s Q +dc+ 2 h + s2 2 p Q קל לראות שהמכירות בכל מחזור הזמנה הן,rQ ולכן המכירות ליחידת זמן הן rq T חילקנו את כמות המכירות במחזור אחד של הזמנה, באורך rq rd Q/d המחזור של ההזמנה. כעת נרצה למצוא את הערכים,s Q האופטימליים. כלומר נרצה למזער את העלות הכוללת C T לפי המשתנים,s. Q נתעלם מהאיברים בסכום הנ"ל של C T שאינם g s, Q Kd Q תלויים במשתנים,s, Q ונקבל שמספיק למזער את הפונקציה +. Q s 2 2 h+ s2 2 p Q באופן כללי, במזעור של פונקציה בשני משתנים, סדר המזעור אינו משנה. כלומר ניתן למזער קודם לפי s ואז לפי Q. נגזור ונשווה ל את הפונקציה Q g,s לפי s: g s s, Q Kd Q + Q s 2 2 h+ s2 2 p Q Q s h + sp s h h+p Q /p /p+ /h Q גזירה של g פעם נוספת תראה שזו נקודת מינימום. לכן אם נמצא Q שממזער את. /p /p+ /h Q, Q Q g,,s נקבל מהשוויון האחרון שהזוג שממזער את הפונקציה g הוא נציב ונקבל: Kd Q + /p g /p+ Q, Q Kd /h Q + /h 2 /p 2 /p+ Q /h /p+ Q /h 2 h+ 2 p Q Q /p 2 /p+ Q /h 2 h+ /p 2 /p+ Q /h 2 p Q [ Kd Q + Q 2 /h 2 /p ] 2 /p+ /h h + /p+ /h p נבצע חישוב עזר: /h /p+ /h 2 /p 2 h + /p+ /h p /h + /p+ /h 2 /p /p+ /h 2 /p+ /h /p g /p + Q, Q Kd /h Q + Q 2 /p + /h מכאן נובע: 8
g Q כעת נגזור ונשווה ל את הפונקציה שקיבלנו לפי Q: /p /p+ Q, Q Kd /h Q + 2 2 /p+ /h Q 2Kd /p + /h כעת נחזור לערך s הממזער ונציב את ערך Q הממזער שמצאנו: /p s /p + Q /p /h /p + 2Kd /p + /h /h p 2Kd.s, Q /p + /h p 2Kd /p+, אם כך קיבלנו שהפתרון למודל הוא /h 2Kd /p + /h נתרגם את הפתרון לביטוי לרווח: נשים לב שעבור הערכים,s Q הממזערים נקבל: Q s 2Kd h p + h. Kd נציב את הערכים הממזערים Q + Q 2 /p+ /h נזכור כי העלות הכוללת הייתה ונקבל: Kd Q + Q 2 /p + /h Kd 2Kd 2Kd /p + /h + /p + /h 2Kd 2 /p + /h /p + /h כעת נקבל את הרווח האופטימלי ליחידת זמן, כהפרש של העלות והמכירות: 2Kd r c d /p + /h 9
חלק III תכנון דינמי ובעיות החלטה מרקוביות 3 קנייה ומכירה של מוצר יחיד בעיה: נניח שאנו מוכרים מוצר אחד בלבד. עבורנו עלות המוצר היא c ואנו מוכרים אותו בעלות r. נניח כמובן c. < r ביום נתון, אנו מצליחים למכור בהסתברות p ונכשלים בכך בהסתברות.q : p נניח שבכל זמן נתון לא ניתן לצבור מלאי של יותר ממוצר אחד. אם נכשלנו במכירת המוצר נותרת האפשרות למכור אותו ביום הבא, ואם הצלחנו למכור אותו עומדת לבחירתנו האפשרות לקנות יחידה נוספת ממנו ולהעמידה למכירה ביום הבא. כמו כן נניח שהביקושים למוצר בימים השונים הם בלתי תלויים. מהי המדיניות שתמקסם את תוחלת הרווח? הגדרה: נגדיר n V להיות תוחלת הרווח האופטימלית כאשר נותרו לנו n ימי מכירה, ובתחילת התקופה הנוכחית המוצר בידינו. נגדיר גם n V להיות תוחלת הרווח האופטימלית כאשר נותרו לנו n ימי מכירה, ובתחילת התקופה הנוכחית המוצר אינו בידינו. סימון: הפונקציה i V n אינה מוגדרת עבור.n לצורכי נוחות נגדיר V V. טענה: לכל n טבעי מתקיימים השוויונות: V n pr + p V n + q V n V n max {V n, c + V n } 2 הוכחה: תחילה נטפל במקרה n. נשים לב שאכן מתקיים: V p r + q p r p r + p + q כאשר הנסכם הראשון מייצג את הרווח r ממכירה הסתברות p, והנסכם השני מייצג את הרווח מאי מכירה הסתברות q. עוד נשים לב שאכן מתקיים: V max {, c + V } כאשר האיבר הראשון,, מייצג את המקרה שבו החלטנו לא לקנות את המוצר, והאיבר השני, c, + V מייצג את המקרה שבו החלטנו לקנות את המוצר. אם כך הנוסחאות נכונות עבור n. כעת נטפל ב n כללי. 2
נשים לב שמתקיים: V n p r + V n + q V n p r + p V n + q V n האיבר הראשון, כלומר הכפולה של p, מייצג את המקרה שנמכור בהסתברות p ונרוויח את מחיר השוק של המוצר r, בצירוף תוחלת הרווח בשאר הימים שנותרו כאשר אנו מתחילים אותם בלי מוצר בידינו n V. האיבר השני, כלומר הכפולה של q, מייצג את המקרה שלא נמכור בהסתברות q ולכן לא נרוויח את מחיר השוק של המוצר t, בצירוף תוחלת הרווח בשאר הימים שנותרו כאשר אנו מתחילים אותם עם מוצר בידינו n V. V n max {V n, c + V n } עוד נשים לב שמתקיים: כאשר האיבר הראשון, n V, מייצג את המקרה שבו החלטנו לא לקנות את המוצר, והאיבר השני, n c, + V מייצג את המקרה שבו החלטנו לקנות את המוצר. מכיוון שהגדרנו את V n כתוחלת אופטימלית, זה שווה למקסימלית מבין שתי האפשרויות. n {V n } לא יורדת. מסקנה: הסדרה הוכחה: נשים לב שמהנוסחה } n V n max {V n, c + V נובע מידית שמתקיים.n לכל V n V n n {V n } עולה ממש. מסקנה: הסדרה הוכחה: באינדוקציה. עבור n מתקיים.V < pr V נניח שהטענה נכונה עבור n כללי, כלומר n.v n 2 < V אזי מהנחת האינדוקציה ובצירוף הטענה הקודמת נובע שמתקיים: p V n 2 + q V n 2 < p V n + q V n V n pr + p V n 2 + q V n 2 < pr + p V n + q V n V n כלומר n {V n } עולה ממש. טענה: אם c < pr תמיד כדאי לקנות מהמוצר, ללא תלות בכמה ימים נותרו. הוכחה: צריך להראות כי } n < V n max {V n, c + V. מהיות הסדרה n V} n { סדרה לא יורדת נובע שהמקרה היחיד בו לא שווה לקנות הוא כאשר n.v n V לכן צריך להראות שתחת ההנחה c < pr מתקיים תמיד > n.v n c + V נראה זאת באינדוקציה. עבור n מתקיים }.V max {, c + V נשים לב כי V pr ולכן c + V < וכדאי לקנות מהמוצר. נניח שהטענה נכונה עבור n כללי, כלומר n.v n c + V אזי מתקיים: V n max {V n, c + V n } max { c + V n, c + V n } c + V n > 2
כאשר השוויון השני נובע מהנחת האינדוקציה, השוויון השלישי נובע מהיות הסדרה V n pr סדרה עולה ממש, והאי שוויון שבסוף נובע מכך שמתקיים {V n } n יחד עם ההנחה.c < pr טענה: אם pr < c אז קיים N טבעי, כך שלכל n N לא כדאי לקנות, ולכל N < n כדאי לקנות. הוכחה: מההנחה pr < c נובע שמתקיים pr V pr, V max, c + }{{} <, ולכן לא כדאי לקנות מהמוצר. כעת נשים לב שכאשר pr < c מתקיימים השוויונות: V 2 pr + pv + qv pr + + qpr pr + q r q + q r q 2 V 2 max {V, c + V 2 } max {, c + r q 2} ומכאן שבאופן כללי כאשר :pr < c V n r q n, V n max {, c + r q n } כעת יהי N המספר המקסימלי שמקיים,r q N < c כלומר.r q N+ c נראה כי N זה שהגדרנו הוא המספר המבוקש בטענה, ולשם כך יש להראות שתי טענות: נראה באינדוקציה שעבור n N לא כדאי לקנות. עבור n הראינו זאת בראשית ההוכחה. נניח שלא כדאי לקנות עבור n < N כלשהו, כלומר n V n r q וכן n.v נקבל שמתקיים: V n+ pr + pv n + qv n pr + q q n r r p + q q n+ r q n+ V n+ max { V n, c + r q n+} V n כאשר השוויון האחרון נובע מההנחה.r q N < c אם כך מצאנו באינדוקציה שעבור כל n N מתקיים n V., V n r q n נראה שכדאי לקנות עבור כל N. < n נשים לב שמתקיים: V N+ r q N+ c V N+ max {V N, c + V N+ } c + V N+ > ולכן עבור + N כדאי לקנות עוד מהמוצר. קל לראות שבאופן כללי אם כדאי לקנות עבור k אז גם כדאי לקנות עבור כל k, < m כלומר לכל N < n כדאי לקנות. 22
פתרון: לאחר שאיפיינו את הפונקציה i V n נוכל לחשב את תוחלת הרווח. עבור N שמצאנו בטענה הקודמת, לכל k 2 מתקיים: V N+k pr + pv N+k + qv N+k pr + p V N+k c + qv N+k p r c + V N+k V N+k V N+k p r c קל להכליל ולראות שגם לכל m מתקיים: V N+m V N+ m p r c V N+m r q N+ + m p r c V N+m c + V N+m וכן גם: לכן במקרה שמתקיים,r q N < c ניתן למצוא כי N המקסימלי ביחס לתנאי r N < log c הוא ה N המבוקש. logq 4 השקעה 4. תועלת לוגריתמית בעיה: בידינו סכום כסף x ואופק זמן של n ימים. בכל יום מותר לנו להשקיע שיעור של α מהכסף שלנו, בתמורה לכך שבסוף היום נכפיל את הסכום שהשקענו בהסתברות p או שנפסיד את כולו בהסתברות q. p נניח שהתועלת האפריורית עבורנו מסכום y היא.ln y איזה α כדאי לבחור? כלומר, כמה כדאי להשקיע? פתרון: נגדיר x V k להיות התוחלת האופטימלית של התועלת של x כסף, כאשר נותרו לנו k ימים. מההגדרת התועלת נובע כי V. x ln x כלומר אין לנו כל אפשרות להשקיע, והתועלת קבועה ושווה ל x,ln ולכן התוחלת היא גם.ln x כעת נניח שנותר לנו יום אחד, והחלטנו להשקיע α ממנו. נשים לב כי יישאר בידינו 2αx + α x + α x כסף אם נכפיל בהסתברות,p וכי יישאר בידינו α x + כסף אם נפסיד בהסתברות q. לכן תוחלת התועלת היא: p ln [ + α x] + q ln [ α x] p V + α x + q V α x V x ה α שכדאי לבחור הוא זה שממקסם את התועלת, כלומר: sup {p V + α x + q V α x} α 23
V k x ובאופן אינדוקטיבי מתקיים: sup {p V k + α x + q V k α x} α כעת נחשב את התוחלת של התועלת. נשים לב שמתקיים עבורה: p ln + α x + q ln α x p ln + α + q ln α + ln x מכאן כי בחירת α אופטימלי אינה תלויה בכמות הכסף שבידינו x. אז נתעלם מהאיבר האחרון ונגזור ונשווה ל את שני האיברים הראשונים לפי α: p +α + q α p α + q + α α p q נציב את הערך האופטימלי ונקבל: p ln [ + p q] + q ln [ p + q] ln 2 + p ln p + q ln q < 2 p אז תוחלת התועלת שלילית: נשים לב שאם ln 2 + p ln p + q ln q < ln 2 + 2 ln 2 + 2 ln ln 2 + ln ln 2 2 כלומר במקרה כזה α הוא האופטימלי. C { p < 2 ln 2 + p ln p + q ln q 2 p נסמן לצורך הנוחות: ונקבל שתוחלת התועלת עבור בחירת α אופטימלי היא: { ln x p < V x 2 C + ln x 2 p נשים לב כי V, x ln x מה שרומז לנו שקיימת נוסחה אינדוקטיבית גם לתוחלת של התועלת. נחשב הלאה בהתאם לנוסחה האינדוקטיבית של התועלת: V 2 x sup {p V + α x + q V α x} α sup {p C + V + α x + q C + V α x} α p + q }{{} C + sup {p V + α x + q V α x} α 24
אבל נשים לב שאת האיבר האחרון כבר מצאנו, ולכן: V 2 x C + C + V x 2C + V x 2C + ln x קל לראות אינדוקטיבית שמתקיימת הנוסחה: V k x kc + V x kc + ln x כלומר, מצאנו שאם בכל { שלב משקיעים שיעור α אופטימלי מהכסף שבידינו x, כלומר p < α, אז התוחלת של התועלת אם נותרו לנו k ימים היא 2 p q 2 p.v k x kc + ln x 4.2 תועלת קמורה בעיה: בתיאור הבעיה הקודמת, במקום להניח כי התועלת האפריורית היא,ln נניח שהתועלת האפריורית מסכום x היא x U, כאשר x U פונקציה קעורה ולא יורדת. איזה α כדאי לבחור? כלומר, כמה כדאי להשקיע? הערה: נשים לב שהפונקציה ln היא מקרה פרטי של פונקציה כזאת. בפתרון הפעם נכליל את הפתרון שמצאנו לעיל עבור.ln פתרון: ההגדרה של פונקציה קעורה היא שלכל λ מתקיים y U λx + λ y,λu x + λ U לכל x, y בתחום ההגדרה. כעת נחשב את התוחלת של התועלת: p U + α x + q U α x U p + α x + q α x U α q p x U x כאשר האי שוויון הראשון נובע מהקעירות של U, השוויון שאחריו זהותי, והאי שוויון לבסוף נובע מכך שמתקיים < 2p α q p α ומהיות U פונקציה לא יורדת. כעת נניח שאופטימלי שלא להשקיע כאשר נשארו k ימים. באותו אופן נגדיר את התוחלת האופטימלית x,v x U ועבור k כללי: V k x sup {p V n + α x + q V n α x} α sup {p U + α x + q U α x} α משמעותה של ההנחה שלא כדאי להשקיע היא x V. k x U כלומר הביטוי שקיבלנו מקיים x.p U + α x + q U α x U אבל מהיות U קעורה נובע שלא ייתכן אי שוויון חזק, ולכן בהכרח מדובר בשוויון, כלומר אכן.α 25
5 בעיית המזכירה או: איך למצוא בן זוג? i {a i } n מועמדים, ונניח שהם מדורגים לפי טיבם.a < a 2 <... < a n אנחנו בעיה: בפנינו מעוניינים למצוא את המועמד הכי טוב, כלומר את a. n לשם כך אנחנו מראיינים את המועמדים בסדר אקראי, כך שכשמגיע בפנינו מועמד איננו יודעים את דירוגו הכללי, אלא רק את דירוגו ביחס לאלה שהתראיינו לפניו. כלומר אנחנו מסוגלים לקבוע רק האם הוא מדורג גבוה יותר מכל הקודמים לו או שלא. בכל ראיון אנו מודיעים למועמד בו במקום האם הוא התקבל או לא; אם קיבלנו אותו הראיונות הסתיימו, ואם דחינו אותו - הראיונות ממשיכים ואין לנו כל דרך להחזיר את המועמד שנדחה. קל לראות שאם מרואיין נמצא פחות טוב מאלה שקדמו לו אנחנו לא נקבל אותו, כי הוא בוודאות אינו a. n השאלה היא באיזו אסטרטגיה לנקוט כאשר מרואיין נמצא טוב יותר מכל אלה שקדמו לו. פתרון: עבור n, כלומר שקיים מועמד יחיד, עלינו פשוט לבחור בו ובכך נצליח בוודאות. עבור 2 n, עלינו לבחור מועמד כלשהו. ניתן להיווכח שלא משנה מי מהם נבחר,. 2 ההסתברות להצליח לבחור את הטוב ביותר היא מטרתנו תהיה למצוא אסטרטגיה שתמקסם את ההסתברות לבחור את המועמד הטוב ביותר עבור n כללי. לכאורה נדמה שככל ש n גדול יותר, כלומר ככל שיתראיינו בפנינו יותר מועמדים, יהיה קשה יותר למצוא את המועמד הכי טוב. אולם זו טעות. נראה באופן מפתיע שקיימת אסטרטגיה אופטימלית שבמסגרתה ההסתברות להצליח לבחור את המועמד הטוב ביותר שואפת למספר e. נגדיר k V להיות תוחלת ההצלחה האופטימלית כאשר אנו מראיינים את המועמד ה k והוא אינו הטוב ביותר. במצב זה אין מה להחליט, כי אנו כמובן דוחים אותו וממשיכים הלאה. נגדיר k V להיות תוחלת ההצלחה האופטימלית כאשר אנו מראיינים את המועמד ה k והוא הטוב ביותר מאלה שקדמו לו. נשים לב שמתקיים: V k k k+ V k+ + k+ V k+ V k max { V k, k n } נסביר את הביטוי הראשון: כאשר עומד בפנינו המרואיין ה k והוא אינו הטוב ביותר - דוחים אותו. תוחלת ההצלחה מחושבת ביחס להסתברות שנצליח למצוא את המועמד הטוב ביותר בהמשך הראיונות. תוחלת זו שווה לתוחלת כאשר המועמד ה + k אינו k ועוד התוחלת כאשר המועמד ה + k הטוב ביותר מאלה שקדמו לו +k +k V. הוא הטוב ביותר מאלה שקדמו לו +k +k V נסביר את הביטוי השני: כאשר עומד בפנינו המרואיין ה k והוא הטוב ביותר מאלה שקדמו לו - עלינו להחליט האם לקבל אותו או לדחות אותו. במקרה של דחייה תוחלת ההצלחה היא k V, כי כמו במקרה שבו הוא אינו הטוב ביותר - זו התוחלת, k n כי זו ההסתברות כשמחליטים לדחות. במקרה של קבלה תוחלת ההצלחה היא 26
שהמרואיין ה k הוא הטוב ביותר בהינתן שהוא הטוב ביותר מאלה שקדמו לו, לפי נוסחת בייס. 4 נרצה לראות בנוסחאות שמצאנו נוסחה אינדוקטיבית עבור i V, k אך תחילה נשים לב שהביטויים V, V לא מוגדרים, כי V מתאר מצב שבו לא ראיינו כלל מועמדים, ו V מתאר מצב שבו ראיינו מועמד יחיד והוא אינו הטוב ביותר מאלה שקדמו לו - מה שלא ייתכן. נגדיר באופן מלאכותי V V וכן 2,V 2 V 2 + 2 V ונקבל שהנוסחאות הללו תקפות לכל k טבעי. תכונות יסודיות של i V: k k,v k V כפי שנובע מהגדרתה כמקסימום. n V} k { היא סדרה יורדת חלש, שכן בהתאם לתכונה הקודמת הסדרה k נובע: V k k k + V k+ + k + V k+ k k + V k+ + k + V k+ V k+ V k k nn k n טענה: קיים k n n, כך שמתקיימים השוויונים הבאים: k + k+ +... + n k k n k + k+ +... + n k n < k n { knn k V k n + k +... + n+ n k n k k n k n < k n הוכחה: נשים לב שניתן לפעול לפי האסטרטגיה הבאה: את המועמד הראשון דוחים, ובכל פעם שנמצא מועמד שהוא טוב יותר מכל הקודמים לו, נקבל אותו.,V k k n שכן ההסתברות שמרואיין הוא הטוב באסטרטגיה זו מתקיים כי, k n כפי שכבר חישבנו. ביותר בהינתן שהוא הטוב ביותר מאלה שקדמו לו היא.V k k n לפיכך באסטרטגיה האופטימלית בהכרח מתקיים כי נגדיר,k n arg max { k V k n} k ונראה את שני השוויונים הנדרשים.. נראה את השוויון הראשון. נשים לב שמתקיים: V V... V kn V kn+... V n...... k n n... nn k n+ n n... n 4 נסמן A "המועמד ה k הוא הטוב ביותר באופן כללי", B "המועמד ה k הוא הטוב ביותר מאלה שקדמו P A B P B A P A P B n k k n לו". נחשב: 27
k {V k } n סדרה כאשר אי השוויונים שבשורה העליונה נובעים מהיות יורדת, ואי השוויונים שבשורה התחתונה ברורים. אי השוויונים שבין שתי הסדרות הללו נובעות מהגדרת k. n כלומר בחרנו, kn n ולכן לכל V k n את k n להיות האיבר המקסימלי שעבורו מתקיים.V m < m n מתקיים k n < m { V k max V k, k } { n,v k kn n V k V k k + k+ +... + n V k k n כעת נקבל את השוויון הבא: k k n k n < k n בסעיף הבא נראה שעבור k k n מתקיים ובזאת נקבל את השוויון הראשון בטענה. 2. נראה את השוויון השני. נשים לב שעבור k k n מתקיים: k k + V k+ + k + V k+ k k + V k+ + k + V k+ V k+ ולכן באינדוקציה מתקיים kn.v V 2... V נשים לב עוד שעבור k n < k n מתקיים: k k + V k+ + k + V k+ k k + V k+ + k + k + k n k + V k+ + n k V k אם מחלקים ב k ומעבירים אגפים מתקבל השוויון +k +k V k V k. nk נוסיף ונחסיר איברים ולבסוף נוסיף גם את n n V ונקבל: [ ] [ ] k V k k+ V k+ + k+ V k+ k+2 V k+2 +...+ [ ] +... + n V n n V n + n V n [ ], ולכן נובע: k V k k+ V k+ nk אבל ראינו כי k V k nk + nk+ +... + nn n k + k+ +... + n V k k n k + k+ +... + n V V 2... ולכן נקבל כי V kn kn n בפרט מתקיים....V kn kn n k + k+ +... + n מסקנה: באסטרטגיה האופטימלית יש לדחות את כל המועמדים עד המועמד ה V k מתקיים k n כפי שראינו מהגדרת k k n כי עבור,k n.max { V k, k n} Vk 28
n} k n arg max { k V k k כדאי לדחות את כל המועמדים. נראה ראינו שעד כיצד אפשר למצוא את k. n k +... + n+ n k n טענה: k n הוא המספר שמקיים את אי השוויונים +... + n הוכחה: נשים לב שהאי השוויון שבטענה שקול לאי שוויונים הבאים: k nn k +... + n+ n k n +... + n k +... + n+ n kn n kn n V kn+ kn n V k n k n +... + n.k n arg max { V k k n} והאי שוויון האחרון נובע מההגדרה מסקנה: הטענה האחרונה מספקת דרך אלגוריתמית למצוא את k. n נחשב את כל האיברים..., את. עבור m הראשון שמקיים.k n n m עד שעוברים n, n + n 2, n + n 2 + n 3, מתקיים כי n + n 2 +... + n m נראה דוגמאות עבור n ים קטנים: {. עוברים את במחובר הראשון 2 } עבור 2 n יש לנו את האיברים ולכן 2 n.k { }. עוברים את 3, 3 + 3 2 עבור 3 n יש לנו את האיברים ולכן 2 3 n.k 3 2 { } במחובר 4, 4 + 4 2, 4 + 4 2 + 4 3 עבור 4 n יש לנו את האיברים ולכן 3 4 n.k 4 3 עוברים את במחובר עבור 5 n יש לנו את האיברים: { 5, 5 + 5 2, 5 + 5 2 + 5 3, 5 + 5 2 + 5 3 + } 5 4 ולכן 2 3 5 n.k 5 3 עוברים את במחובר דיי ברור שזו דרך מסורבלת למדי. נראה שקיים קירוב פשוט של k. n k ˆk k k dx < ˆk k טענה: מתקיים e ne k n n. הוכחה: נשים לב שלכל 2 k מתקיים: dx ln k ln k x. k x כאשר האי שוויון נובע מכך שעבור k x k מתקיים 29
, ולכן נסיק: k n +... + n k n + k n+ +... + n < נזכור כי < [ln k n ln k n ] + [ln k n + ln k n ]... + [ln n ln n 2] ln k n + ln n ln.k n < + n e נובע כי < ln n k n n k n מהאילוץ שהתקבל נשים לב כי k n מספר שלם, ובאופן כללי אם m < c כאשר m שלם ו c לא שלם, אז גם c m. לכן נסיק: k n + n e n e את האי השוויון ne k n ניתן להוכיח באופן סימטרי לגמרי, באמצעות. k +... + n+ n k n +... + n הצד השני של האי שוויון.V n n מסקנה: אם משתמשים במדיניות האופטימלית, אז e k n + +... + n + k n k n + +... + n }{{}, k n.k n מכאן כי + n הוכחה: נשים לב כי: k n + נשים לב עוד כי ne k n ולכן n ומכלל הסנדביץ גם. k n + k n+ +... + n n כמו כן, מהאי שוויון e ne k n n נובע כי: e n ne n k n n e n e n n lim V k n n lim n n n מכל זאת נסיק כי: + k n k n + +... + n k n lim lim + n }{{ n n } k n k n + +... + e n }{{} e 3
6 מבנה של בעיית החלטה מרקובית 6. בעיה עם אופק סופי הגדרה: נתון מספר סופי {n,...,} של יחידות זמן לפנינו. נתונה קבוצה סופית של מצבים. נניח שאנחנו ביחידת זמן {n k,},... ובמצב i. נגדיר: יהי A i אוסף הפעולות האפשריות במצב i. תהי r, : X A i R פונקציית הרווח. כלומר a r i, הוא הרווח במצב.a A i לאחר שנקטנו בפעולה,i תהי P ij : A i R פונקציית ההסתברות לעבור למצב.j כלומר a P ij היא ההסתברות לעבור למצב j כאשר אנחנו במצב i, לאחר שנקטנו בפעולה.a A i ביחידת הזמן הבאה ממשיכים את התהליך באופן בלתי תלוי בהיסטוריה זו התכונה המרקובית. בעיה: נגדיר i V i r, אין צורך בפרמטר הפעולה a, כי בזמן עוד לא נקטנו באף פעולה. תוחלת הרווח האופטימלית לאופק של n יחידות זמן היא: V n i max a A i r i, a + P ij a V n j j כלומר, הביטוי שעליו לוקחים,max מתאר את תוחלת הרווח שנקבל במשך n יחידות הזמן שנותרו. הביטוי a r,i מתאר את מה שמרוויחים ביחידת הזמן הנוכחית, והנסכם השני מתאר את תוחלת הרווח העתידית. נניח כי π היא התפלגות על הפעולות. כלומר π i A i היא הפעולה שבחרנו במצב מגדירה מדיניות פעולה. נסמן את התוחלת ביחס ל π : π ולכן i, [ ] n Vn π i Ei π r i, a + r x k, A k כאשר A k הוא משתנה מקרי של הפעולה הננקטת במצב k, וכן x k הוא המצב המתקבל בהסתברות k.p ixk A נגדיר i}.v n i sup π {V π n כלומר זהו ביטוי הממקסם בתוחלת את הרווח ביחס לאסטרטגיית הפעולות π שאנו בוחרים. פתרון: אם לא נשאר זמן אז ביחס ל π הרווח הוא קבוע a V, π n i r,i ולכן גם.V x r i, a V π i E π i r i, a + j k אם נשאר יום אחד אז תוחלת הרווח היא: P ij A k V π j max a A n i r i, a + j P ij A k V π j 3
n a A שממקסם את הביטוי וזה הפיתרון ולכן אם המקסימום מתקבל, נבחר את i האופטימלי. מכאן קל להמשיך באינדוקציה, ולהגדיר אסטרטגיה π שתמקסם בתוחלת את הרווח צעד אחר צעד, כאשר בכל צעד, אם אנחנו במצב i נוקטים בצעד a שממקסים את הביטוי הנ"ל. 6.2 בעיה עם אופק סופי, מהוונת בזמן בעיה: נניח כי כמות כסף בשווי X היום, שווה לנו βx מחר, עבור איזה < β. קל לראות שלאחר k תקופות זמן, כמות כסף בשווי X תהיה שווה לנו β. k X k בתיאור הבעיה הקודמת, ביטוי הרווח שנרצה למקסם הוא: n n β k r x k, A k + β n r i, a : r a + r x k, A k הסימון של r β k r ממחיש מדוע אופטימיזציה של ביטוי זה לא שונה באופן מהותי מהאופטימיזציה של הבעיה הקודמת. k פתרון: נסמן את תוחלות הרווח שכוללות את קבוע ההיוון: Ṽ k x β n k r i, a + j P ij a Ṽk j בהנחות הבעיה מתקיים a,ṽ i r i, וכן: Ṽ k i max r i, a + P ij a Ṽk j a A i j נחלק את שני הצדדים ב β n k ונקבל: β n k Ṽk x max r i, a + β P a A i βn k ij a β n k Ṽk j ובהתאם לסימון נקבל כי: V k x max r i, a + β P ij a V k j a A i ושוב קיבלנו בעיה סטנדרטית עם אופק סופי, וזו בעיה פתירה כפי שראינו לעיל. j j 6.3 בעיה עם אופק אינסופי בעיה: בתנאי הבעיה הקודמת, נניח כי אוסף המצבים הוא בן מניה, ונניח לכל מצב i אוסף הפעולות A i הוא סופי. כמו כן נניח כי r,,i a r כלומר הרווח חסום על ידי קבוע.r R ] π E, כלומר התוחלת כאשר אין נרצה למקסם את התוחלת ] k k βk r x k, A מגבלת זמן. 32
הערה: תחילה נשים לב שניתן להניח ללא הגבלת הכלליות כי k r. x k, A שכן היות והנחנו < β מתקיים: β k r x k, A k β k r x k, A k β k r r β k k k k k β k r x k, a k + r β [ β k ] r x k, A k + r k ומכאן נובע כי: נשים לב שמההנחה r x k, a k r נובע כי.β k r x k, a k + r לכן נובע: [ ] [ E π β k r x k, A k + r ] [ β Eπ β k r x k, A k + r E π [ β k ] ] r x k, A k + r β r β כלומר גם אילו היה < k r x,k A ניתן היה להוסיף את הקבוע ולחשב את התוחלת עבור ביטוי חיובי. לכן נניח ללא הגבלת הכלליות כי k r. x k, A k k 6.3. פתרון ɛ אופטימלי נראה שקיים פתרון ɛ אופטימלי. כלומר שלכל < ɛ קיים N שעבורו תוחלת הרווח של N השלבים הראשונים קרובה לתוחלת הרווח האופטימלית עד כדי ɛ. בשלב הבא נראה פתרון מלא. נשים לב שלכל n טבעי מתקיים: k n β k r x k A k β k r x k, A k k k k n n β k r x k, A k + β k r β k r x k, A k + βn β r V n i sup Ei π π V i sup Ei π π [ n k ] β k r x k, A k k [ ] β k r x k, A k k V n i V i V n i + βn β r V i βn β r V n i V i V n i n V i נסמן: ומהאי שוויון שהראינו בתחילת הפתרון נובע: 33
כלומר קיבלנו כי: V i lim V n i max r i, a + β P ij a V j n a A i כאשר השוויון האחרון נובע מכך שבמקום j V n שבתוך הביטוי שממוקסם, הצבנו את הגבול j V, שכן הפונקציה {x} max x X היא פונקציה רציפה. נשים לב שמשוואות אלו מספקות לנו נוסחה לפתרון ɛ אופטימלי: ראינו כי +i V i V n, βn נקבל β, ולכן ברור שלכל < ɛ אם נבחר n מספיק גדול, שקל לחלץ מהתנאי ɛ βn β,v i V n i + ɛ כנדרש. 6.3.2 קיום ויחידות של פתרון מלא f i arg max {r i, a + β } נניח שלמשוואות i V n i, V קיים פתרון אופטימלי j j P ij a V כרגע עוד לא יודעים האם הוא יחיד. כלומר לכל מצב i, הפונקציה f נותנת לנו את הפעולה האופטימלית i.a f נציב במשוואות: V i r i, f i + β P ij f i V j max a A i r i, a + β P ij a V j j j j נסמן i r i f r i, f ונסמן i.p ij f P ij f נדון כעת בתכונות של המטריצה.P f P ij f ij a ij וכן i,j a ij נקראת מטריצה סטוכסטית, אם A a ij ij הגדרה: מטריצה לכל.i, j טענה: המטריצה f P היא מטריצה סטוכסטית, וכן גם f P n. הוכחה: ברור מהגדרת פונקציית הסתברות כי f j P ij וגם f P ij לכל.ij כעת באינדוקציה נובע כי: P n f P f i,i P i,i 2 f... P in 2,i n f P in,j f j i,i 2,...,i n i,i 2,...,i n P f i,i P i,i 2 f... P in 2,i n f }{{} j P i n,j f כאשר הביטוי האחרון הוא f j P i n,j מהנחת האינדוקציה, וברור שגם כי זו מטריצה סטוכסטית. j P i n,j f n A רכיב רכיב. 5 n טענה: תהי A מטריצה ריבועית בגודל m, m ונניח כי.I A אזי המטריצה I A הפיכה, ומתקיימת הנוסחה k Ak.i, j לכל a n ij ij A a כאשר i, j m, אז 5 כלומר אם n ij 34
שכן עבור מטריצה a הערה: נשים לב שזו הכללה לנוסחת הסכום של טור הנדסי. מגודל, כלומר מספר ממשי a, הטענה מיתרגמת לנוסחה הידועה. a k ak n I A A k k I A A k k k הוכחה: נחשב עבור n טבעי כלשהו: A k A k+ A A n I A n I n כאשר שני השוויונים הראשוניים הם מלינאריות של מכפלת מטריצות, השוויון השלישי הוא מהיות הסכום טלסקופי, והשוויון האחרון הוא הגדרה A, : I והשאיפה בסוף נובעת מכך שהנחנו בטענה כי n A. n נשים לב שפונקציית הדטרמיננטה היא כפולות וסכומים של איברי המטריצה, ולכן היא למעשה פולינום שמשתניו הם איברי המטריצה, ולכן הדטרמיננטה היא פונקציה רציפה במשתנים אלו. לכן: lim det I n An det I כלומר עבור איזשהו N מספיק גדול, מתקיים כי N det I A ולכן I A N מטריצה הפיכה. מכך ומכפליות הדטרמיננטה נקבל: det I A N n n det I A A k det I A det A k k ולכן בהכרח גם A,det I כלומר מצאנו שאכן המטריצה I A הפיכה. כדי לקבל את הנוסחה למטריצה ההופכית שלה, נכפיל את שני הצדדים בשוויון שבראשית ההוכחה בהופכית של I A ונקבל: N k k A k I A I A N I A I I A N כאשר השאיפה נובעת מכך שמדובר בפונקציה לינארית של A, ולכן היא רציפה. וכעת נשים לב שזה בדיוק הביטוי המבוקש: k N A k lim A k I A N k כאשר השוויון הראשון הוא ההגדרה לסכום של טור אינסופי. מסקנה: נשים לב שמתקיים f βp f n β n P n כי.β R כמו כן ברור שלכל βp f n n P f ij, ונזכור כי < β, ולכן i, j מתקיים. אם כך מהטענה נובע שהמטריצה f I βp הפיכה, ומתקיים: I βp f β k P k f k 35
נזכור שסימנו את התוחלת האופטימלית במצב i על ידי + f V i r i V r f + נסמן את ווקטור התוחלות האופטימליות.β j P ij f V j βp f V הרכיב ה i של V הוא i V, ונסיק כי: I βp f V r f V I βp f r f β k P k f r f k אם כך מצאנו פתרון מפורש לתוחלת האופטימלית. V שמצאנו הוא היחיד האופטימלי. יחידות הפתרון: נראה כי הפתרון f k βk P k f r {.T x i max r i, a + β } a A j P ij a x j ע"י T T x,..., T x n נגדיר : R n R n i. u בהינתן ווקטור n u u,..., u כלשהו, נסמן } k max k n { u טענה: T היא פונקציה מכווצת עם הפרמטר β. כלומר לכל,x y R n מתקיים. T x T y β x y y בהינתן.T z i הוכחה: נניח שלכל z, הערך i a,z מביא למקסימום את הרכיב כלשהו, לכל x מתקיים: { T y i max r i, a + β } a A j P ij a y j r i, a y, i + β j P ij a y, i y j i r i, a x, i + β j P ij a x, i y j כאשר השוויון הראשון הוא מהגדרת T, השוויון השני הוא מההנחה כי i a,y {y,arg max T} והאי שוויון שבסוף נובע מאותה הסיבה. כעת נקבל מאי שוויון זה את האי שוויון הבא: T y i T x i [r i, a y, i + β ] j P ij a y, i y j [r i, a x, i + β ] j P ij a x, i x j [r i, a x, i + β ] j P ij a x, i y j [r i, a x, i + β ] j P ij a x, i x j β j P ij a x, i y j x j ומכאן נקבל את האי שוויון: T y i T x i β j P ij a x, i y j x j β j P ij a x, i max { y k x k } k באופן סימטרי נקבל גם את האי שוויון: T x i T y i β j P ij a x, i max { y k x k } k 36
ואם נכפיל ב נקבל: T y i T x i β j P ij a x, i max { y k x k } k x y, ונקבל בסימון זה את אי השוויון: נסמן } k max k { y k x i T y i T x i β y x מכיוון שזה נכון לכל i, נובע שזה נכון גם למקסימום על כל ה i ים, ולכן: T y T x β y x כלומר T פונקציה מכווצת. מסקנה: T היא בעלת נקודת שבת יחידה. כלומר קיים V R n יחיד שעבורו T. V V נשים לב כי מהגדרת T, הווקטור V הוא התוחלת האופטימלית, כלומר הוא הפתרון של הבעיה. הוכחה: נניח כי V, U הן זוג נקודות שבת של,T כלומר.T V V, T U U מכאן נובע: U V T V T U β U V U V β U V אבל < β < ולכן הפתרון היחיד של האי שוויון.U V כלומר, U V הוא 6.3.3 אלגוריתם השיפור של Howard ראינו שקיים ויחיד הפתרון לתוחלת האופטימלית, שהוא הווקטור V המקיים V T V.I βp f r f נשים לב שמנוסחה זו נובע שכדי למצוא את V מספיק למצוא את הפונקציה האופטימלית.f i הצעד האופטימלי הוא i בכל מצב כלומר a f i אם ניקח פונקציה g כלשהי, ונסמן את תוחלת התשלום המהוון באופק אינסופי כאשר אנו במצב i על ידי i,v g אז מתקיים j.v g i r i, g i + β j P ij g i V g ראינו כיצד נובע מכך שווקטור התוחלות האופטימליות מקיים g.v g I βp g r נניח שאנו נוקטים ב m הצעדים הראשונים מדיניות בהתאם לפונקציה f, ובכל שאר הצעדים אינסוף נוקטים מדיניות בהתאם לפונקציה g. נסמן את תוחלת הרווח במקרה זה על ידי.V f m,g V f,g r f + βp f V g עבור m מתקיים: עבור 2 m מתקיים: V f 2,g r f + βp f V f,g r f + βp f [ r f + βp f V g ] r f + βp f r f + β 2 P 2 f V g 37
וקל לראות שבאינדוקציה עבור m כללי מתקיים: V f m,g r f + βp f r f +... + β m P m f r f + β m P m f V g m k r f βk P k f + β m P m f V g נשים לב שכאשר m הגורם האחרון שואף לאפס, ולכן נסיק: [ m ] lim V f m,g lim r f β k P k f + β m P m f V g r f β k P k f m m k k כעת נגדיר את האלגוריתם המבוקש: בוחרים g כלשהי. מחשבים את התוחלת המהוונת באופק אינסופי תחת מדיניות של g, כלומר את V. g.f i arg max a נשים לב שבתנאי זה {r i, a + β } 2 נמצא את j j P ij a V g נובע שמתקיים: r i, a + β j P ij a V g j r i, g i + β j P ij g i V g j V g i כלומר בחירת f באופן זה יכולה רק לשפר את התוחלת, ביחס לשימוש קבוע ב g ההתחלתית. בסימונים שהראינו לעיל, מתקיים f,g V, g V ולכן שימוש בצעד הראשון ב f ואז תמיד ב g, עדיף על פני שימוש תמיד רק ב g. נדון בשני מקרים, ונשים לב כי,g :T m V g V f m * במקרה בו f,g,v g V כלומר g,t V g V f,g V אז מצאנו נקודת שבת של T, ולכן V g היא תוחלת אופטימלית, ולכן g היא אופטימלית. * במקרה בו f,g V, g < V כלומר קיים לפחות רכיב אחד שבו יש אי שוויון ממש, אז g אינה אופטימלית. במקרה זה נקבע g : f ונשוב לשלב. כדי להציג את האלגוריתם באופן סכמתי, נסמן.T f x r f + βp f x היות ומתקיים f βp נובע כי כי,T f V g V g כלומר T f מונוטונית לא יורדת. Tf mv g נזכור כי.Tf mv g T m f כעת נציג את.V g V f,f,v gm ולכן בהכרח m באינדוקציה קל לראות כי V g... T f V g V g.v gm,f V g V g ולכן,V f m,g V g כמו כן הראינו כי V g הסכמה באופן הבא: 38
choose random g compute V g I βp g r g nd f such that T f V g T V g 2 yes g is optimal! is T f V g V g no? set g : f and go to 6.3.4 נספח: משפט נקודת השבת של בנך מבוא: השתמשנו במהלך הוכחת קיום ויחידות הפתרון לתוחלת אופטימלית מהוונת בזמן אינסופי, באמצעות שימוש בפונקציה T, ובתכונה שלה כפונקציה מכווצת. למעשה מדובר במקרה פרטי של משפט כללי יותר ולא קשה. נציג אותו כעת. הגדרה: תהי A קבוצה כלשהי. אומרים שפונקציה [, A d : A נקראת מטריקה, אם היא מקיימת את שלוש התכונות הבאות:. לכל x, y A מתקיים x d x, y d y, כלומר: המרחק בין x לבין y שווה למרחק בין y לבין x. 2. מתקיים y d,x אם ורק אם x y כלומר: לכל זוג נקודות שונות יש מרחק חיובי, והמרחק של נקודה מעצמה הוא..3 לכל x, y, z A מתקיים z d x, y + d y, z d x, אי שוויון המשולש. בהינתן קבוצה A עם מטריקה d, אומרים שהזוג d,a מהווה מרחב מטרי. {a n } סדרה כלשהי. אומרים כי n {a n} n הגדרה: יהי d,a מרחב מטרי, ותהי A היא סדרת קושי, אם לכל < ɛ קיים,N כך שלכל N < n, m מתקיים < m d a n, a.ɛ הגדרה: יהי d,a מרחב מטרי. אומרים כי מרחב זה הוא מרחב מטרי שלם, אם לכל סדרת n {a n } היא סדרת קושי, אז קיים a A כלשהו, כך קושי יש גבול. כלומר אם שמתקיים a.d a n, n משפט נקודת השבת: יהי d,a מרחב מטרי שלם ותהי T : A A פונקציה, כך שלכל x, y A מתקיים y d T x, T y βd x, עבור < β < כלשהו. אזי קיים x A שמהווה נקודת שבת, כלומר שעבורו.T x x ויתרה מזו, x הוא יחיד. ההוכחה של המשפט לא קשה, אולם לא נביא אותה כאן כי היא לא נוגעת לקורס. 39
חלק IV התפלגות מעריכית ותהליכי פואסון 7 התפלגות מעריכית ותכונת חוסר זיכרון תזכורת: אומרים שמ"מ X מפולג λ exp עבור איזה < λ <, אם פונקציית ההתפלגות המצטברת שלו היא t.f X t e λt [, במקרה כזה הצפיפות של X היא t.f X t λe λt, הגדרה: יהי X מ"מ אי שלילי. אומרים כי X הוא חסר זיכרון, אם לכל s המקיים > s,p X > ולכל t מתקיים: P X s > t X > s P X > t הערה: נשים לב שהתנאי של חוסר זיכרון ניתן לביטוי באופן שקול, בהתאם לנוסחת ההסתברות המותנית: P X s > t X > s P X > t P X>s+t, X>s P X>s P X > t P X>s+t P X>s P X > t P X > s + t P X > s P X > t כאשר השקילות הראשונה היא מנוסחת ההסתברות המותנית, השקילות השנייה היא מכך שברור כי t,p X > s + t, X > s P X > s + והשקילות האחרונה טריוויאלית. אם נשתמש בנוסחה האחרונה שקיבלנו כהגדרה של תכונת חוסר הזיכרון, נוכל לוותר על התנאי של > s,p X > שכן במקרה s P X > מתקיים t P X > s P X > s +, כלומר t.p X > s + לכן קל לראות שהנוסחה האחרונה תקפה גם במקרה זה. משפט: אם X מ"מ אי שלילי וחסר זיכרון, אז תיתכן בדיוק אחת משלוש האפשרויות הבאות: P X. P X.2 < λ < עבור איזשהו X exp λ.3 הערה: בפרט, אם > < X,P < אז λ.x exp לצורך הוכחת המשפט נראה כמה תכונות של פונקציות כלליות "חסרות זיכרון". 4
טענה: תהי,g : [, R ונניח t g s + t g s g לכל s, t. אזי מתקיימות התכונות הבאות:.g או g. נשים לב שמתקיים 2 g g g + ולכן g,g כלומר } {,.g 2. g פונקציה אי שלילית. נשים לב שלכל x מתקיים: x g x g 2 + x x 2 g 2 2.3 לכל n טבעי מתקיים.g nx g x n נשים לב שמתקיים: g nx g x n + x g x n g x ובאינדוקציה ניתן להסיק כי.g nx g x n.g x /n.4 לכל n טבעי מתקיים x n g.g x n n נשים לב שבהתאם לתכונה 3 מתקיים x g.5 לכל q רציונלי מתקיים.g qx g x q בפרט.g q g q q, m k משתי התכונות הקודמות נובע: נשים לב שאם נכתוב m x m g k x m/k g g x g x q k מסקנה: אם ידוע כי g פונקציה רציפה, או לחילופין רציפה בנקודה בודדת ומונוטונית, או לחילופין חסומה על קטע סופי, או לחילופין מדידה בורל, אז בהכרח g. x g x הוכחת המסקנה: נוכיח עבור g מונוטונית. נשים לב שלכל x מתקיים: x nx n nx n nx n nx n x nx n nx+ n x n. nx n x n ובאותו אופן ניתן להסיק כי x n נניח ללא הגבלת הכלליות כי g מונוטונית לא עולה, אזי מתקיים: g nx n g nx n g x g nx n g x g nx n נשאיף n ונקבל מהסנדביץ' כי.g x g x 4