אוניברסיטת תל אביב הפקולטה למדעי החברה ע"ש גרשון גורדון חוג לסוציולוגיה ואנתרופולוגיה סמסטר א' תשע"ח יום ב', 10:15 11:45 קורס מס' 1041429301 המסלול לארגונים וארגונים לשינוי חברתי הערכת פרויקטים Project Evaluation ד"ר טליה מיטל שוורץ-טיירי יום ושעת קבלה: בתיאום מראש כתובת דוא"ל: meitalta@post.tau.ac.il טלפון: 054-5655164 מטרות הקורס ויעדיו הערכה שזורה בתכנית ההתערבות ומהווה חלק אינהרנטי מבנייה של פרויקטים ומיזמים חברתיים ועסקיים. על כן, שיטות הערכה עשויות לסייע לנו בשלב התכנון, היישום והסיום שלהם. הערכה הינה פרקטיקה, אשר לוקחת בחשבון את ההקשר והסביבות שבהם מיושמת ההתערבות )תוכנית או מיזם( ועל כן, אינה הפעלה של טכנולוגיה או מתודולוגיה. זאת מפני שההקשר בו מופעל המיזם יכול להיות כאוטי ומושפע מאינטרסים אישיים ופוליטיים. מטרות הקורס הן: א. ב. ג. ד. העלאת המודעות בקרב סטודנטים באשר לחשיבות ההערכה, ההקשר בו היא מתבצעת ושילובה ברצף ההתערבות. הגברת מודעות, ידע ומיומנויות לגבי התערבות שיטתית, מבוססת מחקר וממצאים. הגברת הידע על הגישות השונות בהערכה. הקניית ידע ומיומנויות של ביצוע של הערכות מסוגים שונים. מטלות הקורס מעורבות קבועה במהלך השיעורים וקריאה שוטפת. נוכחות בכלל השעורים. הגשת תרגיל אמצע. הגשת עבודת סיכום..1.2.3.4 *שימו לב: את כלל המטלות בקורס יש להגיש בעותק קשיח, כאשר על השער מופיעים מספרי תעודות הזהות של המגישים )ללא שמותיהם(. 1
הנחיות לתרגיל אמצע בחרו תוכנית או מיזם ידוע ומפורסם )הדרכים לאיתור ובחירה יפורטו בקורס( תארו את התוכנית/מיזם/פרויקט על פי הסעיפים הבאים: 1. מידע כללי על התוכנית א( מידע על אודות הארגון שבו היא מופעלת ב( הבעיות שהתוכנית/מיזם/פרויקט אמור/ה לפתור או הצרכים שעליהם היא באה לענות, למי ג( היא מיועדת, וכיו"ב. התיאוריה של הבעיה והתיאוריה של ההתערבות )ההנחות עליהן ההתערבות מבוססת(. 2. המודל הלוגי של התוכנית. 3. מועד להגשה: עד ה - 18 בדצמבר 2017. הנחיות לעבודה המסכמת לבחירתכם שתי אפשרויות: א. ב. הערכת תוכנית. הצעה מגובשת ומנומקת להערכת תוכנית. א. ראשי פרקים מוצעים להערכת תוכנית )לא מחייב, לא כל סעיף מתאים לכל תוכנית(: תיאור התוכנית מידע כללי על התוכנית, הארגון שבו היא מופעלת, הבעיות שהיא אמורה לפתור או הצרכים שעליהם היא באה לענות, למי היא מיועדת, וכיו"ב. התיאוריה של הבעיה והתיאוריה של ההתערבות )ההנחות עליהן ההתערבות מבוססת(. המודל הלוגי של התוכנית. הגדרת מטרות ההערכה: למי היא מיועדת. איזה החלטות עשויות להתקבל בעקבותיה מקומם של בעלי עניין )מממנים, הנהלה, צוות ולקוחות( בהערכה. ממצאי הערכות שנעשו על תוכניות דומות בארץ ובחו"ל. כלי הערכה שנעשה בהם שימוש בהערכת תוכניות דומות. הערכת הביצוע של התוכנית: 6.1 השיטות והכלים למעקב אחר ביצוע התוכנית. שיקולים מנחים לבחירת השיטות והכלים. 6.2 עד כמה התממשו התשומות, הפעילויות והתפוקות כפי שהוצגו במודל הלוגי של התוכנית? 6.3 מה היו המכשולים לביצוע התוכנית, ואיך התמודדו עמם. מה הם השינויים שהוכנסו לתוכנית במהלכה? הערכת תוצאות התוכנית: 7.1 השיטות והכלים למדידה או הערכה של השינויים, ושיקולים מנחים לבחירתם. 7.2 שינויים שנצפו או נמדדו, כולל שינויים לא צפויים. עד כמה תואמים השינויים את התוצאות הצפויות על פי המודל הלוגי?.1.2.3.4.5.6.7 2
7.3 האם אפשר לייחס את השינויים לתוכנית? הסברים חלופיים לשינויים שנצפו או נמדדו. כיצד התמודדה ההערכה עם הסברים חלופיים אלה? היעילות הכלכלית של התוכנית. האם היה אפשר להשיג יותר במשאבים שהושקעו )רשות(? סיכום ומסקנות: 9.1 עד כמה הושגו מטרות התוכנית )סיכום קצר של הממצאים בדבר תפוקות ותוצאות(? 9.2 מה תרם להצלחות ולאי-הצלחות בתוכנית? 9.3 לקחים להמשך התוכנית ולתוכניות דומות בזמנים אחרים ובמקומות אחרים. 9.4 לקחים להערכת התוכנית ולהערכת תוכניות דומות..8.9 ב. ראשי פרקים מוצעים להצעת הערכה )לא מחייב, לא כל סעיף מתאים לכל תוכנית(: מידע כללי על התוכנית, הארגון שבו היא מופעלת, הבעיות שהיא אמורה לפתור תיאור התוכנית 4. או הצרכים שעליהם היא באה לענות, למי היא מיועדת, וכיו"ב. התיאוריה של הבעיה והתיאוריה של ההתערבות )ההנחות עליהן ההתערבות מבוססת(. 5. המודל הלוגי של התוכנית. 6. הגדרת מטרות ההערכה: למי היא מיועדת. איזה החלטות עשויות להתקבל בעקבותיה. מקומו של 7. המעריך בתוכנית. מקומם של בעלי עניין )מממנים, הנהלה, צוות ולקוחות( בהערכה. ממצאי הערכות שנעשו על תוכניות דומות בארץ ובחו"ל. כלי הערכה שנעשה בהם שימוש בהערכת 8. תוכניות דומות. הערכת הביצוע של התוכנית: 9. 6.1 שיטות וכלים למעקב אחר ביצוע התוכנית: כיצד נבדוק עד כמה התממשו התשומות, הפעילויות והתפוקות כפי שהוצגו במודל הלוגי של התוכנית? 6.2 כיצד נבדוק האם התוכנית שרתה את אוכלוסיית היעד שלה? 10. הערכת תוצאות התוכנית: 7.1 השיטות והכלים למדידה או הערכה של השינויים, ושיקולים מנחים לבחירתם. כיצד נבדוק האם הושגו התוצאות הצפויות על פי המודל הלוגי. מה עשויים להיות הסברים חלופיים לשינויים, וכיצד יתמודד עמם מערך המחקר? 7.2 11. כיצד תיבדק היעילות הכלכלית של התוכנית )רשות(? 12. המשאבים הדרושים להערכה ולוח זמנים מוצע. 13. סיכום קצר של המרכיבים העיקריים של ההערכה המוצעת, והתועלת שאפשר להפיק ממנה. הנחיות כלליות בנוגע לעבודת הסיכום: על שער יופיעו תעודות הזהות של הסטודנטים ללא שמותיהם. הערה )לחלופה א' וב'(: השתדלו לנסח את העבודה כך שאפשר יהיה להגיש אותה כדו"ח הערכה או כהצעת הערכה לגורם מוסמך כלשהו )הנהלת השירות, קרן מממנת וכדומה(. יש להגיש את העבודות מודפסות, עד 15 עמודים, רווח כפול או 1.5. ציטוטים על פי כללי.APA.i.ii.iii.iv 3
יש לבסס את העבודה על מקורות אקדמיים עדכניים. לפחות חמישה מקורות מחמש השנים האחרונות וחמישה נוספים שהתפרסמו אחרי שנת 2000..v מועד ההגשה: 11.2.2018 ה. נושאי הקורס ומקורות )מקורות מסומנים ב-* הם חובה(: מבוא כללי להערכת תוכניות ופרקטיקה * edition). Newbury Park: Sage. Ch. 2: Tailoring Evaluations, pp. 31-65. ינאי, א. )2011(. הערכת תוכניות רווחה: האתגר וכללי יסוד. ביטחון סוציאלי 7-27. 85, פרידמן, י. )2010(. הערכת תוכניות חברתיות וחינוכיות: ממודל הקופסה השחורה להערכה דינמית מבוססת תיאוריה. בתוך לוין-רוזליס, מ. וסויה, ר. )עורכות(. סוגיות בהערכה בישראל. באר שבע: אוניברסיטת בן-גוריון. 13-71. מודלים לוגיים של תוכניות חברתיות ושל התערבות מקצועית. תיאוריה של הבעיה ותיאוריה של ההתערבות וייסמן, מ. וסויה, ר. )2010( מחזור החיים של תוכניות: השימוש במודלים לוגיים בפיתוח תוכניות והערכתן. בתוך לוין-רוזליס, מ. וסויה, ר. )עורכות(. סוגיות בהערכה בישראל. באר שבע: אוניברסיטת בן-גוריון., 161-182.* שטרייכמן, נ. ומרשוד, פ. )2007(. איך הולך: מדריך ללמידה ארגונית והערכת תוכניות בארגונים ללא כוונת רווח. ירושלים: שתיל. )חוברת זאת פורסמה בעברית, ערבית ואנגלית(, "ניסוח תיאורית התוכנית".4-11 * Frechtling, J.A. (2007). Logic Modelling Methods in Program Evaluation. San Francisco: John Wiley. edition). Newbury Park: Sage. Ch. 3: Identifying issues and formulating questions, pp. 67-99; Ch. 5: Expressing and assessing program theory, pp. 133-168. "פרקטיקה מעוגנת בממצאים" Evidence-base practice 4
Cooper, H.M and Lindsay, J.J. (1998). Research Synthesis and Metha-Analysis, in Bickman, L. and Rog. D. J. (eds.) Handbook of Applied Social Research Methods, Thousand Oaks: Sage, pp. 315-337. MacDonald, G. (2002). The evidence-based perspective. In: M. Davies (Ed.), The Blackwell companion to social work (pp. 424-430). Oxford: Blackwell. *Thyer, B.A. (2006). What is evidence based practice? In Roberts, A.R. and Yaeger, K.R. (eds.) Foundations of Evidence Based Practice in Social Work, New York: Oxford, 35-46. הערכת הביצוע והערכת תוצאות edition). Newbury Park: Sage. Ch 6: Assessing and monitoring program process. pp. 169-201. edition). Newbury Park: Sage. Ch 7: Measuring and monitoring program outcomes, pp. 203-232. Ch 8-9: Assessing program impact, 233-300. הערכת יעילות. edition). Newbury Park: Sage. Ch. 11: Measuring Efficiency, pp. 331-368. הערכת תוצאות גישות איכותניות ורפלקטיביות: *סויה, ר. ווייסמן, מ. )1999(. שילוב שיטות איכותניות וכמותיות בהערכה. חברה ורווחה, י"ט/ 3, -323.335 רוזנפלד, י. )1997(. למידה מהצלחות. חברה ורווחה י"ז/ 4, 361-377. שלסקי, ש. ואלפרט, ב. )2007(. דרכים בכתיבת מחקר איכותני. תל אביב: מכון מופת. במחקר איכותני והשתקפותן בכתיבה. עמ' 209-233. פרק 7: סוגות משוב לקוחות ובעלי עניין. *Ramon, S. (2003). User research: reflections and action, in Ramon, S. (ed.) Users Researching health and Social Care, Birmingham: Venture press, 11-20. Royse, D., Thyer, B.A., Padget, D.K. & Logan, T.K. (2006). Program Evaluation, 4 th edition. Belmont, CA: Thompson, pp. 207-230. 5
Spiro, S., Peled E. & Dekel R. (2009). Dimensions and correlates of client satisfaction: An evaluation of a shelter for runaway and homeless youth. Research on Social Work Practice, 19/2, 261-270. * ו. ספרים מומלצים על הערכה: Bloom, M., Fischer J. and Orme J. (1999). Evaluating Practice: Guidelines for the Accountable Professional. Boston: Allyn and Bacon. Colton, D. (2007). Designing and constructing instruments for social research and evaluation. San Francisco, CA : Jossey-Bass. Compton, D.W., Baizerman, M. & Stockdill, S.H. (eds. 2002). The Art, Craft and Science of Evaluation Capacity Building. New Directions for Evaluation 93 (special issue). Davidson, E.J. (2005). Evaluation Methodology Basics. Thousand Oaks, CA: Sage. Donaldson, S.I. (2007). Program-Theory Driven Evaluation science. New York: Lawrence Elbaum. Fetterman, D.M. & Wandersman, A. (eds.) (2005). Empowerment Evaluation Principles in Practice. New-York, Guilford. Fixen, D. L., Naoom, S. F., Blase, K. A., Friedman, R. M., & Wallace, F. (2005). Implementation research: A synthesis of the literature. Tampa, FL: University of South Florida. http://nirn.fmhi.usf.edu/resources/publications/monograph Frechtling, J.A. (2007). Logic Modelling Methods in Program Evaluation. San Francisco: John Wiley. Grinnell, R. M., & Unrau, Y. A. (1993). Social work research and evaluation: of evidence-based practice. New York: Oxford University Press. foundations Guba, E.G., & Lincoln, Y.S. (1990). Fourth generation evaluation. Newbury Park, CA: Sage. Johnson, R. L., Penny, J. A., & Gordon, B. (2009). Assessing performance: Designing, scoring, and validating performance tasks. New York: The Guilford Press. Levine, H.M. (1983). Cost-effectiveness: A primer. Beverly Hills, CA: Sage. 6
Mullen, E.J. & Magnabosco, J.L. (1997). Outcomes Measurement in the Human Services. Washington: NASW Press. Owen, J.M. (2007). Program Evaluation: Forms and Approaches, 3 rd edition. New York: Guilford. Patton, M.Q. (2002). Qualitative Research and Evaluation Methods, 3 rd edition. Thousand Oaks: Sage. Patton, M.Q. (1986). Utilization Focused Evaluation, 2 nd edition. Newbury Park: Sage. edition). Newbury Park: Sage. Royse, D., Thyer, B.A., Padget, D.K. &Logan, T.K. (2006). Program Evaluation, 4 th edition. Belmont, CA: Thompson. Shadish W.R., Cook, T.D., & Leviton, L.C. (1991). Foundation of Program Evaluation: Theories of Practice. Newbury Park, California: Sage. Shaw, I. & Lishman, J., editors. (1999). Evaluation and Social Work Practice. London: Sage. Smith, M.F. (1989). Evaluability Assessment: A Practical Approach. Norwell, Massachusetts: Kluwer Academic Publishers. Spiro, S.E. & Yuchtman-Yaar, E. (eds.) (1983). Evaluating the Welfare State: Social and Political Perspectives. New York: Academic Press. Stufflebeam, D.L., Madaus, G.F. & T. Kellaghan, eds (2000). Evaluation Models. Boston: Kluwer. Stuffelbeam, D.L. & Shinkfield, A.J., (2007). Evaluation Theory, Models and Applications. San Francisco: Jossey Bass. United Way Of America (1996). Measuring Program Outcomes: A Practical Approach. Washington DC: United Way of America. ינאי, א. )עורך אורח( )2011(. הערכת תוכניות רווחה. ביטחון סוציאלי 85. לוין-רוזליס, מ. וסויה, ר. )2010(. סוגיות בהערכה בישראל. באר שבע: אוניברסיטת בן-גוריון. מצר, ד., עורך )2006(. הערכה בחינוך תיאוריה ומעשה. רעננה: האוניברסיטה הפתוחה. 7
נבו, ד. )1989(. הערכה המביאה תועלת. ת"א: מסדה. סלונים-נבו, ו. )2005(. הערכת טיפול: מערכים חד-מקריים ושיטות נוספות. באר שבע: הוצאת הספרים של אוניברסיטת בן-גוריון. פרידמן, י. )2005(. מדידה והערכה של תוכניות חברתיות וחינוכיות. ירושלים: מכון הנרייטה סאלד. שטרייכמן, נ. ומרשוד, פ. )2007(. איך הולך: מדריך ללמידה ארגונית והערכת תוכניות בארגונים ללא כוונת רווח. ירושלים: שתיל. )ספר זה פורסם בעברית, ערבית ואנגלית(. שלסקי, ש. ואלפרט ב. )2007(. דרכים בכתיבת מחקר איכותני. תל אביב: מכון מופת. שקדי, א. )2003(. מילים המנסות לגעת: מחקר איכותני תיאוריה ויישום. תל אביב: רמות. ז. כתבי עת בנושא הערכה a. Evaluation b. Evaluation Review c. Evaluation and Program Planning d. American Journal of Evaluation e. Journal of Social Work Research and Evaluation f. New Directions for Program Evaluation g. Studies in Educational Evaluation 8