SlideShare ist ein Scribd-Unternehmen logo

ד"ר ריטה סבר, האוניברסיטה העברית בירושלים ו"אסימון"

•
•
The Jerusalem Institute for Israel Studies
The Jerusalem Institute for Israel Studies
Bildung
1 von 52
Downloaden Sie, um offline zu lesen
‫נערת לווי או מבקרת המדינה?‬ ‫הערכה כדיאלוג מבוסס-נתונים‬ ‫הרצאה ביום עיון בנושא:‬ ‫למה צריך מעריך?‬ ‫הערכת פרויקטים חברתיים בירושלים‬ ‫8002.6.1‬ ‫במכון ירושלים לחקר ישראל‬ ‫דר' ריטה סבר‬ ‫‪ritasever9@gmail.com‬‬ ‫‪rita.sever@huji.ac.il‬‬
‫במה לא נעסוק‬ ‫נערת לווי‬ ‫מבקרת המדינה‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫2‬
‫תרבות הערכה בתוך ארגון -‬ ‫תרבות של‬ ‫דיאלוג‬ ‫המבוסס על ראיות /נתונים‬ ‫‪Evidence Based‬‬ ‫‪Dialogue‬‬
‫‪EBDM‬‬ ‫‪Evidence Based Decision Making‬‬ ‫מקבלי החלטות נדרשים כיום יותר ויותר‬ ‫לעגן אותן בנתונים,‬ ‫ומצופים לעשות שימוש אינסטרומנטאלי‬ ‫ו/או אסטרטגי בהערכה‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫4‬
‫תרומתה של ההערכה ללקוחותיה‬ ‫יכולה להתבסס‬ ‫על הנתונים שהיא מציגה )הממצאים הקונקרטיים(, או על‬ ‫הפרשנות הניתנת לממצאים והתובנות שהם מציעים.‬ ‫הממצאים‬ ‫עשויים‬ ‫לסייע למקבלי ההחלטות בהכרעה בין חלופות קונקרטיות‬ ‫לתרום לגיבוש מדיניות ועקרונות פעולה‬ ‫הפרשנות והתובנות‬ ‫עשויות‬ ‫לקדם הבנה מעמיקה ו/או כללית יותר של הנושא שלגביו הם‬ ‫אמורים לקבל החלטות.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫5‬
‫פונקציות גלויות וסמויות של הערכה‬ ‫– מתבססות על‬ ‫גלויות‬ ‫)1- עיצוב, 2- ברירה/אחריותיות(‬ ‫ממצאי ההערכה‬ ‫סמויות )1- תקשורתית, 2- פוליטית( – מתבססות על‬ ‫תשומותיה ו/או תהליכיה של ההערכה‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫6‬
‫מטרות ההערכה בזיקה לקבלת החלטות‬ ‫לגבי תכנית‬ ‫למשל,‬ ‫האם מקבלי ההחלטות מעוניינים לדעת אם יש תמורה‬ ‫להשקעה הכוללת שהשקיעו ?‬ ‫]לצורך קבלת החלטות אינסטרומנטלית של המממן –‬ ‫האם להמשיך לממן את התכנית? או – )המדינה( האם‬ ‫לאמץ )ולממן ( תכנית מורכבת שפותחה ע"י גורם אחר‬ ‫שעומד לצאת מן התמונה?[‬ ‫או שמדובר בהחלטות לגבי העתקה / הפצה של‬ ‫תכנית מורכבת .‬ ‫[.‬ ‫כאן חיונית הבנה והמשגה.‬ ‫])6002( ‪Sridharan, Platt &Hume‬‬ ‫פרטית" משלה‬ ‫כי התערבות מבוססת על "תאוריה‬ ‫)ר' להלן(:‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫7‬
‫"התאוריה הפרטית" של ההתערבות )התכנית(‬ ‫"אם נפעיל‬ ‫על אוכלוסיית היעד ‪I1i‬‬ ‫את תשומות-העיבוד ‪2Ij‬‬ ‫והתהליכים ‪Pk‬‬ ‫בקונטכסט ‪) Cl‬הכולל בין היתר גם התערבויות אחרות(‬ ‫נוכל לצפות בטווח הקצר לתפוקות הביניים 1‪PRDm‬‬ ‫ובטווח הארוך לתוצרים 2‪“’ PRDm‬‬ ‫זאת, מפני שאנחנו יודעים‬ ‫-‬ ‫)על סמך סקירת ספרות, נסיון מצטבר, דברים שלמדנו אצל אחרים(‬ ‫למה היא נמצאת במצב ‪X‬‬ ‫1.‬ ‫שבשביל להביא אותה למצב הרצוי )מבחינת התפוקות והתוצרים( – נחוצים‬ ‫2.‬ ‫ומספיקים תשומות הגלם והתהליכים הנ"ל‬ ‫מפני ש....)ידע על קשרים סיבתיים(‬ ‫3.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫8‬
(Training in Community Living) TCL ‫ניטור יישומו של פרוייקט‬ a project of community treatment for schizophrenics and the chronically mentally ill (P) ‫( הנגזרות מחשיפת ההנחות‬D) ‫עפ"י שאלות‬ (* Brekke:288 '‫של ה"תאוריה" הפרטית שלו – דוגמאות )עמ‬ The assertive availability of services – P1- Each client will receive a percentage of staff contact that is delivered in locations other than the offices of the project – D1:To what extent are services delivered in locations other than the offices of the project? The longitudinal nature of care – P2- There will be no cessation of contact for any client for as long as they remain in the project – D2: What is the treatment dropout rate in the project? *Brekke, J.S (1987). The model-guided method for monitoring program implementation. Evaluation Review, 11: 281-299 1.6.08 ‫סבר: נערת לווי או מבקרת המדינה‬ 9
Features of complex interventions (Pawson et al., 2004) •The intervention is a theory or theories • The intervention involves the actions of people. • The intervention consists of a chain of steps • These chains of steps or processes are often not linear, and involve negotiation and feedback at each stage. • Interventions are embedded in social systems and how they work is shaped by this context. • Interventions are prone to modification as they are implemented. • Interventions are open systems and change through learning as stakeholders come to understand them. 1.6.08 ‫סבר: נערת לווי או מבקרת המדינה‬ 10
‫גישות יסוד להערכה‬ ‫גישות חלקיות‬ ‫גישות מכלוליות‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫11‬
‫גישות מכלוליות‬ ‫הערכה שמתייחסת למכלול ההבטים של מושא‬ ‫ההערכה:‬ ‫תשומות‬ ‫תהליכים‬ ‫תפוקות -‬ ‫וכאלה שלא הוגדרו‬ ‫כאלה שהוגדרו‬ ‫מראש כמטרות‬ ‫מראש כמטרות‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫21‬
‫גישות חלקיות‬ ‫1- הערכה של מושא-ההערכה על פי האיכות‬ ‫והתהליכים שלו , או‬ ‫א( של התשומות‬ ‫-‬ ‫ב( של התפוקות שלו‬ ‫2- הערכה שמתמקדת בשאלה אם הושגו‬ ‫המטרות/היעדים שנקבעו מראש‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫31‬
‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫41‬
‫הבנת מדיניות הארגון לגבי השימוש בהערכה‬ ‫לקבל החלטות ספציפיות‬ ‫כמו אם להמשיך או לסגור תכניות?‬ ‫או איך ניתן לשפר תכניות מסויימות , שהן – א( בעלות חשיבות מיוחדת‬ ‫לארגון ו/או ב( הצטברה לגביהן ביקורת או אין להן ביקוש בקרב קהל-‬ ‫היעד?‬ ‫להמשיג מודלים והנחות סמויות של תכניות נסיוניות‬ ‫כדי להקל על הפצתן?‬ ‫של הארגון בכלל או של תכניות‬ ‫לספק מידע לצרכי שווק‬ ‫מסוימות שלו בפרט?‬ ‫לקבל החלטות לגבי הרכבה של אוכלוסיית היעד‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫שאליה הארגון פונה?‬ ‫51‬
‫קביעת מטרת ההערכה‬ ‫לספק מידע לקבלת החלטות‬ ‫קונקרטיות?‬ ‫לבנות בסיס-ידע לגיבוש מדיניות?‬ ‫להמשיג את "התיאוריה הפרטית" של‬ ‫פרוייקט?‬ ‫מטרה אחרת?‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫61‬
‫מאפיינים של דיאלוג‬ ‫סימטריה ותלות הדדית‬ ‫הנחת המוצא:‬ ‫אף אחד מהצדדים איננו יודע הכל , ואין מי שלא יודע כלום.‬ ‫בתחילת התהליך כל אחד מהצדדים יודע משהו שהאחר‬ ‫איננו יודע, ורק ביחד תתברר תמונה שלמה יותר.‬ ‫מכאן –‬ ‫– חובת הענווה.‬ ‫– זרימה דו-סטרית של מידע בין הצדדים‬ ‫כבוד הדדי ואמון‬ ‫שני הצדדים חייבים להאמין שלכל אחד מהם יש עניין אמיתי‬ ‫להבין במה מדובר, ויכולת לתרום להבנה כזאת.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫71‬
‫‪Evidence Based dialogue‬‬ ‫ידע ומידע אינטואיטיביים של הלקוח – בסיס‬ ‫לניסוח השערות )למשל, לגבי סיבתיות(‬ ‫בדיקת השערות: חיפוש אקטיבי של ראיות‬ ‫)נתונים( לאישוש ולהפרכה של ההשערות‬ ‫‪Mixed methodology‬‬ ‫מקצועיות במדידה‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫81‬
‫השתתפות הלקוח בתהליך ההערכה‬ ‫באילו נקודות , באיזה אופן ובאיזה מחיר ?‬ ‫הזמנת הערכה‬ ‫)מתי מתחילים לדבר על הערכה?(‬ ‫ניסוח שאלות ההערכה‬ ‫)מה רוצים לדעת? מה חשוב לקבלת החלטה?(‬ ‫גיבוש המתודולוגיה :‬ ‫עיצוב מערך ההערכה )את מי/מה בודקים (‬ ‫–‬ ‫– דגימה‬ ‫– בחירת/בניית כלי המדידה )כלים לאיסוף מידע/נתונים(‬ ‫איסוף הנתונים‬ ‫עיבוד הנתונים לממצאים‬ ‫הסקת מסקנות‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫הפקת המלצות‬ ‫91‬
‫כשמקבלי החלטות מקבלים ממצאי הערכה‬ ‫)במפורש או במשתמע( :‬ ‫שאלות שעולות אצלם‬ ‫א( שאלת האמינות‬ ‫האם ניתן לסמוך על הממצאים הללו?‬ ‫האם הם "נכונים"?‬ ‫ב( שאלת הרלבנטיות‬ ‫האם הם רלבנטיים להחלטה/ות שלנו?‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫02‬
‫הבטחת איכות‬ ‫למקבלי החלטות – שאלה קריטית היא שאלת הבטחת‬ ‫האיכות/האמינות של הממצאים שאמורים לשמש אותם כראיות.‬ ‫– "ראיות" : החל בתוצאות מדידה בכלי כמותני מהימן כמו "הפסיכומטרי"‬ ‫)בכניסה לאוניברסיטאות( ועד לסדרת עדויות בבית המשפט .‬ ‫מהם בסיסי האמינות שעליהם מסתמכים אנשים? מתי הם‬ ‫מרגישים שהם יכולים לסמוך על מידע/ראיות?‬ ‫כאשר מקור המידע מהימן ;‬ ‫–‬ ‫הפרוצדורה )באיזו צורה נוצר המידע( מקובלת עליהם;‬ ‫–‬ ‫המידע מסתדר להם עם ידע העולם שלהם, ניתן לשלב אותו בתוך הסכמות‬ ‫–‬ ‫הקיימות בראשם;‬ ‫אפשר לשזור אותו ל"סיפור" .‬ ‫–‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫12‬
‫אפילו הדו"ח של רואה-חשבון‬ ‫הוא בעצם "סיפורו" של העסק‬ In the world of business, an account is a story told in quantitative form Lee S. Shulman (2007). Counting & Accounting : Assessment & the quest for accountability. Change Jan/Feb 2007: 1-7. www.carnegiefoundation.org , retrieved 9.3.07 1.6.08 ‫סבר: נערת לווי או מבקרת המדינה‬ 22
Accounting as story telling “…accounting […] should be understood as a form of narrative, a kind of drama. Within the ethical and technical rules of the field, the task of the accountant is to figure out which of the stories of the company should be told through the medium of its "books." Accounting is basically about creating the plot, characters, and setting of the story. As the instructor explained to the class, "Your task is to render an account: to tell the facts of the case, the story of the condition of a company in an accurate and yet ultimately persuasive way.“ [Lee Shulman’s daughter] Lee S. Shulman (2007). Counting & Accounting : Assessment & the quest for accountability. Change Jan/Feb 2007: 1-7. www.carnegiefoundation.org , retrieved 9.3.07 1.6.08 ‫סבר: נערת לווי או מבקרת המדינה‬ 23
...‫סיפור הוא לא רק מלים‬ (‫)סיפורם של המספרים/הנתונים‬ How and what we choose to count and the manner in which we array and display our accounts is a form of narrative—legitimately, necessarily, and inevitably. Lee S. Shulman (2007). Counting & Accounting : Assessment & the quest for accountability. Change Jan/Feb 2007: 1-7. www.carnegiefoundation.org , retrieved 9.3.07 1.6.08 ‫סבר: נערת לווי או מבקרת המדינה‬ 24
‫דילמות‬ ‫)לגבי אמינות ורלבנטיות(‬ ‫התשובה לשאלות הנ"ל‬ ‫קשורה לשתי דילמות:‬ ‫הערכה כמותנית לעומת הערכה איכותנית.‬ ‫1.‬ ‫הערכה חיצונית לעומת הערכה פנימית‬ ‫2.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫52‬
‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫62‬
‫2 חתולים – או החתולים מסתתרים מפני הגשם מתחת לכסא‬ ‫כמותנית או איכותנית‬
‫נתונים כמותניים:‬ ‫התפלגות ההגדרה העצמית של דתיות בקרב בני הנוער המשתתפים בפרוייקט‬ ‫אחוז מס"ה המשתתפים‬ ‫הגדרה עצמית של דתיות‬ ‫%2.24‬ ‫אורתודוכסים‬ ‫%1.33‬ ‫יוצאים בשאלה/מתלבטים‬ ‫%2.9‬ ‫חילונים‬ ‫%3.7‬ ‫חרדים‬ ‫%8.2‬ ‫מסורתיים‬ ‫%8.1‬ ‫בעלי תשובה‬ ‫%8.1‬ ‫נוצרים‬ ‫%9.0‬ ‫מתגיירים‬ ‫%9.0‬ ‫רפורמים‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫82‬
‫נתונים איכותניים‬ ‫]חלום שסיפר תלמיד הגר בשכונת מצוקה שיש בה עבריינות וסמים[‬ ‫"אה, חלום מוזר... היה לי לפני כמה ימים חלום מוזר.‬ ‫אני וש' )תלמיד מהכיתה( היינו בבית ספר והמורה אמרה לנו‬ ‫– 'כנסו לכיתה, באמצע הלילה. נכנסנו ועף לנו כדור.‬ ‫שמענו קולות, חשבנו נרקומנים. ש' לקח רובה,‬ ‫התחיל לירות לשם. ואז אני הייתי באוטו. חיכיתי.‬ ‫אבא שלי בא. ירו בש'. נכנסתי לאוטו, התחילו לירות‬ ‫בי. ש' קם, רדף אחריהם... אני לא זוכר יותר."‬ ‫מקור: שפירא-אזולאי, נ' )8002(. רב-תרבותיות, דמוקרטיה ואלימות בבתי"ס בישראל. תיזה ל-‬ ‫מ.א., האוניברסיטה הפתוחה, רעננה. עמ' 92.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫92‬
‫)מתצפית בסדנת אמנות במועדון לנוער בסיכון(‬ ‫נתונים איכותניים‬ ‫"אנשים נכנסים ויוצאים לכל אורך סדנת האמנות. עובדים עם צבעי‬ ‫גואש. נערה אחת ממשיכה ציור מהשבוע שעבר, אחרת מכינה‬ ‫עגילים מנוצות וממתכת. מדי פעם מישהו ניגש לעדכן את המוסיקה‬ ‫הבוקעת מהמחשב, עם ויכוחים קלים בין טראנס לרוק. בני נוער‬ ‫שלא מכירים זא"ז מחליפים רשמים מאיפה כל אחד, מי מכיר את‬ ‫זה, מי מכיר את ההוא.‬ ‫שני אחים נכנסים לחדר המחשב ורוצים לעבוד על המחשב. המורה‬ ‫לאמנות מסבירה להם שיש עכשיו שעור אמנות ואי אפשר לעבוד על‬ ‫המחשב; אם הם רוצים, הם מוזמנים לשבת לעבוד באמנות, היא‬ ‫אומרת. אחד מהם מבקש חימר, השני מסתכל. הוא שואל נער אחר‬ ‫מה העובי של מבחנה, הוא רוצה ליצור 'באנג' מחימר. המורה נותנת‬ ‫לו חימר ומתחילה להסביר לו איך לעבוד איתו. הנער קצר רוח, אין‬ ‫לו סבלנות לעבד את החומר ולעבוד איתו לפי הכללים. לאט לאט‬ ‫הוא מתרצה ]...[ יוצר מקטרת, המורה מתקנת לו אותה ומסבירה‬ ‫לו איך לעבוד. מתווכחים עם החבר'ה כמה 'קססה' מקטרת כזאת‬ ‫תוכל להחזיק."‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫03‬
‫דוגמא של ממצאים איכותניים‬ ‫הנוגעים למתנדבים במועדון‬ ‫"תפקיד המתנדב לא עלה כמעט בדבריהם של בני הנוער‬ ‫שרואיינו, ורובם לא זכרו חוויות ספציפיות הקשורות בהם,‬ ‫למרות שידעו על קיומם".‬ ‫" ... קיימות בעיות משמעותיות בתחום ההתנדבות וכיום‬ ‫נראה שההיבט הזה של הפרוייקט נמצא במשבר.‬ ‫למעלה משנה נשארה רכזת המתנדבים ללא הדרכה‬ ‫מהגורם שאמור היה לעשות זאת, והתקן שלה עומד‬ ‫להתבטל. מספר המתנדבים קטן, יש קשיים בגיוס‬ ‫מתנדבים מתאימים ]...[ ועם אלה שמתקבלים יש בעיות‬ ‫של התמדה ושל מחוייבות לאורך זמן."‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫13‬
‫מאפיינים של הערכה כמותנית ואיכותנית‬ ‫הערכה איכותנית‬ ‫הערכה כמותנית‬ ‫מבוססת על פרדיגמה הבנייתית‬ ‫מבוססת על פרדיגמה‬ ‫)קונסטרוקטיביסטית(, שעל פיה‬ ‫פוזיטיביסטית, שעל פיה‬ ‫כשמדובר במדעים העוסקים בבני אדם,‬ ‫קיימת מציאות מוחלטת‬ ‫המציאות היא מה שמשתקף בתפיסות‬ ‫אחת, נטולת תלות‬ ‫)השונות ( של אנשים )שונים( ולפיכך‬ ‫הקשרית‬ ‫קיימות למעשה מציאויות רבות בו-‬ ‫)א-קונטכסטואלית(,‬ ‫זמנית.‬ ‫תפקידה של ההערכה‬ ‫יוצאת מנקודת מוצא כולית, הוליסטית,‬ ‫לגלות אותה באמצעות‬ ‫שעל פיה‬ ‫כלים אובייקטיביים.‬ ‫אי אפשר לפרק את המציאות למרכיבים‬ ‫מציבה השערות מראש‬ ‫פשוטים שיש ביניהם קשרים‬ ‫ובודקת אותן על פי‬ ‫המתקיימים בכל זמן ובכל הקשר.‬ ‫פרוצדורות/ נהלים‬ ‫לא ניתן להבין חלקים בלי להבין את‬ ‫מדוקדקים ואחידים;‬ ‫ההקשר שבו הם מתקיימים, מפני שכל‬ ‫חותרת לבודד משתנים,‬ ‫תופעה היא קונטכסטואלית .‬ ‫לזהות קשרים, ולבחון‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫23 השפעות.‬
‫אמינות‬ ‫בתחום האמינות יש להערכה האיכותנית ולהערכה‬ ‫הכמותנית יתרונות שונים זה מזה :‬ ‫מצד אחד, להערכה כמותנית יש פרוצדורות מוכרות‬ ‫להבטחת איכות ‪; scientifically based‬‬ ‫ובכלל, למספרים יש הילה/דימוי של דיוק, מהימנות,‬ ‫אובייקטיביות, "מדעיות"‬ ‫מצד שני, הערכה איכותנית מוצגת "בלשון בני אדם", היא‬ ‫סיפורית יותר -ואנשים מארגנים ראיות בתוך "סיפור".‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫33‬
‫קושי להתמודד עם קונטכסטואליות של תופעות‬ ‫כאמור, הפרדיגמה הפוזיטיביסטית מבוססת על ההנחה שקיימים ממצאים‬ ‫שהם "נכונים" בפני עצמם ועמידים בפני הקונטכסטואליות.‬ ‫)או מודלים שעוסקים בריבוי רובדים –‬ ‫רגרסיה‬ ‫לכאורה, השימוש בסכימות כמו‬ ‫התלמיד, הכתה, ביה"ס וכו'( שנותנות ייצוג ומשקל למשתנים קונטכסטואליים ,‬ ‫משדר מודעות לחשיבותם – אבל היכולת לתרגם את זה להמלצות אופרטיביות היא‬ ‫די מוגבלת.‬ ‫מתי ממצא נחשב למשמעותי?‬ ‫איזה מתאם )ובאיזו רמת מובהקות( יעיד שאכן יש קשר בין תשומות לתפוקות‬ ‫במניעת התמכרות לסמים/אלכוהול בקרב בני נוער, ולכן כדאי למשל להקדיש שעות‬ ‫בכל שכבות הגיל בביה"ס כדי לקבל צמצום בשיעור הנרקומנים ו/או האלכוהוליסטים‬ ‫הצעירים ?‬ ‫איזה משקל צריך להיות למשתנה מסויים ברגרסיה כדי לבסס עליו החלטות? למשל,‬ ‫אם לתזונה מספקת יש משקל יותר גבוה מאשר לשעות תגבור – האם מקבל‬ ‫ההחלטות אמור לרכז את כל התקציב שלו למימון ארוחות חמות לילדים ? או לחלק‬ ‫את התקציב בין הארוחות לבין שעות התגבור – ובאיזו פרופורציה?‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫43‬
‫שקלולים מסובכים ותבנית הסיפור‬ ‫למוח האנושי יש יכולת מופלאה לבצע את השקלולים‬ ‫המסובכים הללו באופן חלק , הוליסטי, בלי לפרוט אותם‬ ‫לנוסחאות ומשקלות מודעים. בין היתר , הוא "אורג" אותם‬ ‫לתוך סיפור.‬ ‫הסיפור מאפשר להתמודד עם הרבה מידע פזור/נקודתי, ע"י‬ ‫ארגונו לתוך תבנית קיימת )למשל: רקע – התרחשות –‬ ‫סיבות – תוצאות ( ויצירת סינאפסות עם תבניות אחרות‬ ‫ועוגני-מידע אחרים במוח.‬ ‫בעיה – שאם העסק ממש מסובך, הוא מעביר אותו ל"טייס‬ ‫האוטומאטי" ולא בפרוצדורה המקובלת של קבלת החלטות‬ ‫רציונאלית /קיברנטית‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫53‬
‫בעיית הבטחת איכות‬ ‫בהערכה איכותנית‬ ‫להערכה איכותנית יש דימוי רווח שהדגש הוא על‬ ‫הפרשנות של המעריך.‬ ‫יש לה כלים להבטחת איכות )טריאנגולציה למשל(‬ ‫אבל‬ ‫)א( לא פעם חוקרים איכותניים אינם מקפידים‬ ‫להשתמש בהם )או משתמשים, אבל לא מקפידים‬ ‫לדווח בבירור על המתודולוגיה שלהם( ,‬ ‫)ב( הכלים עצמם פחות מוכרים בציבור.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫63‬
‫הקפדה על ניטרול הטיות והימנעות‬ ‫מחיפוש ראיות רק לכוון אחד‬ ‫בבית המשפט, האיזון או החיפוש אחר ראיות לשני הכוונים נעשה ע"י‬ ‫קיומם של סניגור וקטיגור. כל אחד מהם חותר במוצהר לחיפוש ראיות רק‬ ‫לצד אחד – אבל השילוב של שני התפקידים בתוך התהליך השיפוטי הוא‬ ‫שיוצר את האיזון.‬ ‫בפרדיגמה הכמותנית-אקספרימנטלית משתקפת ה"ספקנות המדעית"‬ ‫בכך שמראש מוצגת לא רק השערת-העבודה אלא מולה גם השערת-‬ ‫האפס, שאותה יש להפריך.‬ ‫דווקא הכוון המנוגד למה שאנחנו טוענים הוא הזוכה לתשומת הלב‬ ‫הגדולה.‬ ‫הערכה איכותנית מבהירה ומצהירה שהיא משוחררת מניסוח השערות‬ ‫מראש, אבל שהיא מחוייבת להצגת נקודות מבט שונות ולהצלבת‬ ‫נתונים.‬ ‫אלא שלא פעם חסרה ההקפדה על כך בדוח ההערכה וקשה להשתכנע‬ ‫שהמעריך לא נסחף לאיתור ראיות בכוון אחד יותר מאשר בכוון השני.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫73‬
‫היכולת של הלקוח לקיים דיאלוג סימטרי עם‬ ‫הפרוש שהמעריך נותן לממצאים‬ ‫בהערכה איכותנית‬ ‫בהערכה כמותנית‬ ‫מצד אחד, הממצאים מוצגים‬ ‫מצד אחד, מודלים כמותניים‬ ‫בצורה ידידותית,שמקנה‬ ‫מסובכים אינם ידידותיים‬ ‫הרגשת אוטנטיות‬ ‫לרבים ממקבלי החלטות‬ ‫מצד שני, נדיר שהמעריך‬ ‫מצד שני, קיימת הפרדה בין‬ ‫מצרף לדו"ח את כל התמליל‬ ‫הנתונים -המוצגים‬ ‫המדוייק של הראיונות, ו/או‬ ‫בטבלאות, גרפים וכו' – ובין‬ ‫את התרשומת השוטפת‬ ‫המשמעות שהמעריך מפיק‬ ‫והמלאה מהתצפיות, או את‬ ‫מתוכם.‬ ‫"יומן השדה" שלו במלואו,‬ ‫הקורא יכול איפא לנסות‬ ‫ולכן -‬ ‫ולהגיע לפירושים אחרים של‬ ‫הרבה יותר קשה לעשות את‬ ‫אותם נתונים ולהתווכח עם‬ ‫ההפרדה הזאת .‬ ‫הפירושים של המעריך.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫83‬
‫סיכום יתרונות וחסרונות של הערכה‬ ‫כמותנית ואיכותנית‬ ‫הערכה איכותנית‬ ‫הערכה כמותנית‬ ‫יתרונותיה בתחום הרלבנטיות‬ ‫יתרונותיה בתחום המהימנות‬ ‫ובתחושת האוטנטיות‬ ‫וביכולת ההכללה.‬ ‫יש לה כלים מוכרים )מהימנות , מובהקות,‬ ‫שמקרינה‬ ‫תוקף(, "קבלות" על הבטחת איכות.‬ ‫חסרונותיה בתחום הרלבנטיות:‬ ‫חסרונותיה בתחום הבטחת‬ ‫– האם המשתנים והקשרים שנבדקו‬ ‫איכות: נתפסת כסובייקטיבית‬ ‫הם אמנם בעלי חשיבות מכרעת‬ ‫ומוטה, משהו שממצאיו קמים‬ ‫לעניין שלגביו לקבל את ההחלטה?‬ ‫ונופלים על הפרשנות של‬ ‫– באיזו מידה ניתן לצפות שהם‬ ‫המעריך‬ ‫יתקיימו וישפיעו בתוך ההקשרים‬ ‫השונים ?‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫93‬
‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫04‬
‫פרופיל - מעשה ההערכה‬ ‫פנימי‬ ‫המבצע חיצוני‬ ‫המרכיב‬ ‫היוזמה להעריך‬ ‫קביעת הקריטריונים /המדדים‬ ‫פיתוח/התאמת הכלים לאיסוף נתונים‬ ‫ביצוע המדידות‬ ‫קבלת הממצאים‬ ‫שימוש בממצאים לקבלת החלטות‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫14‬
‫הגיונות )רציונאלים( של הערכה פנימית‬ ‫הדגש ההולך וגובר על הערכה פנימית )או עצמית(‬ ‫של מבוסס על "הגיונות" שונים ) 5002 ,‪: (MacBeath‬‬ ‫אחריותיות ‪ + accountability‬יעילות כלכלית‬ ‫שיפור‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫24‬
‫הגיונות של הערכה פנימית‬ ‫ההגיון הכלכלי + אחריותיות‬ ‫‪– accountability‬‬ ‫)א( ארגונים/עמותות חייבים לספק ראיות על איכותם‬ ‫והישגיהם לבעלי העניין השונים, ולציבור בכלל.‬ ‫)ב( לארגונים רבים אין אפשרות כלכלית לספק ראיות‬ ‫כאלה על כל אחת ואחת מתכניותיו ע"י הערכה‬ ‫חיצונית; זול יותר לעבור לביצוע עצמי.‬ ‫שיפור -הערכה היא כלי חיוני לשיפור העשייה של‬ ‫הארגון . הערכה עצמית ככלי לשיפור אמורה להיות‬ ‫חלק בלתי נפרד מחיי הארגון, "אורח חיים" ולא‬ ‫פעילות חד פעמית בנקודות זמן מסויימות.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫34‬
‫יתרונות וחסרונות של‬ ‫הערכה פנימית וחיצונית‬ ‫ההערכה הפנימית שמבוססת על דווחי מפעילי‬ ‫התכנית, המאופיינים בסובייקטיביות, חשודים‬ ‫במהימנות נמוכה.‬ ‫ההערכה החיצונית מבוססת על כלים סטנדרטיים‬ ‫שנחשבים לאובייקטיביים אבל נטען נגדם שהם לוקים‬ ‫בתוקף נמוך מפני שהם נותנים תמונה חלקית בלבד‬ ‫זאת לעומת מפעילי התכנית שיש להם ראייה‬ ‫הוליסטית של התכנית ותמונה שלמה יותר של מה‬ ‫שקורה בה.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫44‬
‫הערכה פנימית מול חיצונית‬ ‫הערכה פנימית היא אורח חיים‬ ‫ַ‬ ‫ופוטנציאלית יש לה יתרונות בתחום התוקף‬ ‫הערכה חיצונית‬ ‫נעשית בדרך-כלל בנקודות זמן מסויימות‬ ‫ופוטנציאלית יש לה יתרונות בתחום המהימנות‬
‫מה חשוב לדעת לגבי הערכה‬ ‫פנימית/חיצונית?‬ ‫להבחין בין הכרעה לגבי הגורם המעריך )חיצוני‬ ‫לעומת פנימי( לבין הכרעה לגבי כלי ההערכה‬ ‫)כלים סטנדרטיים, חיצוניים - לעומת ערכת כלים‬ ‫ייחודית, מותאמת (‬ ‫האפשרות להשתמש ב"ידע דומם" להפקת‬ ‫השערות, ובסוללת מידע לחיפוש ראיות לאישושן‬ ‫או להפרכתן של ההשערות הללו.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫64‬
‫איך רותמים תמהיל של מידע‬ ‫"רך" ו"קשה" למסקנות‬ ‫קובעות?‬
‫התמודדות עם תמהיל של מידע רך ו קשה‬ ‫במהלך הפעלתו של פרוייקט, מצטברים‬ ‫– ידע "דומם" על התכנית אצל כל אחד מהמפעילים‬ ‫– חומרים "רכים" ו"קשים", בלא כל מתכונת אחידה.‬ ‫את הידע ה"דומם" שהצטבר אצל המפעילים כדאי להפוך‬ ‫לשורה של השערות שיהוו בסיס למסקנות קובעות )מאזן‬ ‫היתרונות והחסרונות ( לגבי התכנית.‬ ‫ליצור מתכונת מאחדת עבור ההשערות, למשל ע"י הכלי‬ ‫האנליטי ‪: SWOT‬‬ ‫המפעילים יתבקשו לנסח השערות רבות ככל האפשר סביב כל‬ ‫אחד מארבעת המוקדים :‬ ‫‪Strengths, Weaknesses, Opportunities, Threats‬‬ ‫להתייחס לחומרים ה"רכים" וה"קשים" כאל כמקור לחיפוש‬ ‫ראיות ‪ evidence‬לאישוש או הפרכת ההשערות שנוסחו.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫84‬
‫התמודדות עם המורכבות‬ ‫חומרים רכים וקשים‬ ‫ידע דומם של המפעילים‬ ‫ללא מתכונת אחידה‬ ‫ניסוח השערות‬ ‫‪SWOT‬‬ ‫בדיקת השערות‬ ‫ראיות‬ ‫השערות‬ ‫שאוששו‬ ‫סבר: נערת לווי או מבקרת הושהופרכו‬ ‫מסקנות‬ ‫מדינה 80.6.1‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫94‬
‫תזכורת‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫05‬
‫מילכוד 22‬ ‫שכיח שמקבלי החלטות "נזכרים" להזמין הערכה לאחר‬ ‫שהביצוע כבר החל, או אפילו מתקרב לסיומו ‪salvage evaluation‬‬ ‫כדי שהערכה תתרום לקבלת החלטות, עליה להביא ממצאים‬ ‫לפני שמתקבלות החלטות‬ ‫המעריך נדרש "להזדרז"‬ ‫פגיעה באיכות הממצאים ו/או באמינותם‬ ‫מקבלי ההחלטות מתאכזבים מפירות ההערכה.‬ ‫החשיבה על ההערכה צריכה להתחיל כבר בשלבי‬ ‫ה"הריון" הראשונים של פרוייקט חדש‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫15‬
‫תודה‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫25‬

Empfohlen

מחקר הערכה של תוכנית קידום בריאות נשים בקהילת גוננים פת
מחקר הערכה של תוכנית קידום בריאות נשים בקהילת גוננים פתמחקר הערכה של תוכנית קידום בריאות נשים בקהילת גוננים פת
מחקר הערכה של תוכנית קידום בריאות נשים בקהילת גוננים פתThe Jerusalem Institute for Israel Studies
 
מכון ירושלים בכנס הרצליה
מכון ירושלים בכנס הרצליהמכון ירושלים בכנס הרצליה
מכון ירושלים בכנס הרצליהThe Jerusalem Institute for Israel Studies
 
Jiis oil-free initiative 30.10.2011-1
Jiis oil-free initiative 30.10.2011-1Jiis oil-free initiative 30.10.2011-1
Jiis oil-free initiative 30.10.2011-1The Jerusalem Institute for Israel Studies
 
A Healthy Tree Needs Strong Roots
A Healthy Tree Needs Strong RootsA Healthy Tree Needs Strong Roots
A Healthy Tree Needs Strong RootsJoanna Palladino
 
תוכנית קידום בריאות נשים בגיל השלישי בקהילת גוננים ופת
תוכנית קידום בריאות נשים בגיל השלישי בקהילת גוננים ופתתוכנית קידום בריאות נשים בגיל השלישי בקהילת גוננים ופת
תוכנית קידום בריאות נשים בגיל השלישי בקהילת גוננים ופתThe Jerusalem Institute for Israel Studies
 
יאיר אסף-שפירא - אינדיקטורים נסיון בעולם
יאיר אסף-שפירא - אינדיקטורים נסיון בעולםיאיר אסף-שפירא - אינדיקטורים נסיון בעולם
יאיר אסף-שפירא - אינדיקטורים נסיון בעולםThe Jerusalem Institute for Israel Studies
 
רמת הגולן ורכס החרמון
רמת הגולן ורכס החרמוןרמת הגולן ורכס החרמון
רמת הגולן ורכס החרמוןlirona1010
 
Jiis key figures 2015
Jiis key figures 2015Jiis key figures 2015
Jiis key figures 2015The Jerusalem Institute for Israel Studies
 

Empfohlen

מחקר הערכה של תוכנית קידום בריאות נשים בקהילת גוננים פת
מחקר הערכה של תוכנית קידום בריאות נשים בקהילת גוננים פתמחקר הערכה של תוכנית קידום בריאות נשים בקהילת גוננים פת
מחקר הערכה של תוכנית קידום בריאות נשים בקהילת גוננים פתThe Jerusalem Institute for Israel Studies
 
מכון ירושלים בכנס הרצליה
מכון ירושלים בכנס הרצליהמכון ירושלים בכנס הרצליה
מכון ירושלים בכנס הרצליהThe Jerusalem Institute for Israel Studies
 
Jiis oil-free initiative 30.10.2011-1
Jiis oil-free initiative 30.10.2011-1Jiis oil-free initiative 30.10.2011-1
Jiis oil-free initiative 30.10.2011-1The Jerusalem Institute for Israel Studies
 
A Healthy Tree Needs Strong Roots
A Healthy Tree Needs Strong RootsA Healthy Tree Needs Strong Roots
A Healthy Tree Needs Strong RootsJoanna Palladino
 
תוכנית קידום בריאות נשים בגיל השלישי בקהילת גוננים ופת
תוכנית קידום בריאות נשים בגיל השלישי בקהילת גוננים ופתתוכנית קידום בריאות נשים בגיל השלישי בקהילת גוננים ופת
תוכנית קידום בריאות נשים בגיל השלישי בקהילת גוננים ופתThe Jerusalem Institute for Israel Studies
 
יאיר אסף-שפירא - אינדיקטורים נסיון בעולם
יאיר אסף-שפירא - אינדיקטורים נסיון בעולםיאיר אסף-שפירא - אינדיקטורים נסיון בעולם
יאיר אסף-שפירא - אינדיקטורים נסיון בעולםThe Jerusalem Institute for Israel Studies
 
רמת הגולן ורכס החרמון
רמת הגולן ורכס החרמוןרמת הגולן ורכס החרמון
רמת הגולן ורכס החרמוןlirona1010
 
Jiis key figures 2015
Jiis key figures 2015Jiis key figures 2015
Jiis key figures 2015The Jerusalem Institute for Israel Studies
 
סדנה שיתופים ארגז כלים למנהל קרן דר גילה מלך גירסה להדפסה
סדנה שיתופים ארגז כלים למנהל קרן דר גילה מלך גירסה להדפסהסדנה שיתופים ארגז כלים למנהל קרן דר גילה מלך גירסה להדפסה
סדנה שיתופים ארגז כלים למנהל קרן דר גילה מלך גירסה להדפסהsheatufim
 
ד"ר חגית הכהן-וולף, האוניברסיטה העברית בירושלים
ד"ר חגית הכהן-וולף, האוניברסיטה העברית בירושליםד"ר חגית הכהן-וולף, האוניברסיטה העברית בירושלים
ד"ר חגית הכהן-וולף, האוניברסיטה העברית בירושליםThe Jerusalem Institute for Israel Studies
 
ד"ר מיה כהנוב, מכון ירושלים לחקר ישראל והאוניברסיטה העברית בירושלים
ד"ר מיה כהנוב, מכון ירושלים לחקר ישראל והאוניברסיטה העברית בירושליםד"ר מיה כהנוב, מכון ירושלים לחקר ישראל והאוניברסיטה העברית בירושלים
ד"ר מיה כהנוב, מכון ירושלים לחקר ישראל והאוניברסיטה העברית בירושליםThe Jerusalem Institute for Israel Studies
 
יום עיון ממידענים ואנליסטים
יום עיון ממידענים ואנליסטיםיום עיון ממידענים ואנליסטים
יום עיון ממידענים ואנליסטיםDr. Anat Klumel
 
ילקוט כלים פיתוח פעילות חדשה
ילקוט כלים פיתוח פעילות חדשהילקוט כלים פיתוח פעילות חדשה
ילקוט כלים פיתוח פעילות חדשהNOVA
 
ירון זיו - קבלת החלטות
ירון זיו - קבלת החלטותירון זיו - קבלת החלטות
ירון זיו - קבלת החלטותירון זיו
 
Sap Eng Presentation Win It Dm02
Sap Eng Presentation Win It Dm02Sap Eng Presentation Win It Dm02
Sap Eng Presentation Win It Dm02Mor מור Kirshner קירשנר
 
מידענות על פי החשיבה התוצאתית
מידענות על פי החשיבה התוצאתיתמידענות על פי החשיבה התוצאתית
מידענות על פי החשיבה התוצאתיתDr. Anat Klumel
 
מצגת מפגש עמיתים - שולחן עגול חינוך, 23.7.15
מצגת מפגש עמיתים - שולחן עגול חינוך, 23.7.15מצגת מפגש עמיתים - שולחן עגול חינוך, 23.7.15
מצגת מפגש עמיתים - שולחן עגול חינוך, 23.7.15sheatufim
 
ילקוט כלים מדידה והערכה במגזר שלישי
ילקוט כלים מדידה והערכה במגזר שלישיילקוט כלים מדידה והערכה במגזר שלישי
ילקוט כלים מדידה והערכה במגזר שלישיNOVA
 
Workshop on Information Quality
Workshop on Information QualityWorkshop on Information Quality
Workshop on Information QualityGalit Shmueli
 
רונית פוריאן 2012 10-24 evaluation - indicators at jerusalem institute
רונית פוריאן 2012 10-24 evaluation - indicators at jerusalem instituteרונית פוריאן 2012 10-24 evaluation - indicators at jerusalem institute
רונית פוריאן 2012 10-24 evaluation - indicators at jerusalem instituteThe Jerusalem Institute for Israel Studies
 
הטמעת ערכי ליבה
הטמעת ערכי ליבההטמעת ערכי ליבה
הטמעת ערכי ליבהsharonbe
 
ניהול אסטרטגי סדנא לשיתופים.Ppt
ניהול אסטרטגי סדנא לשיתופים.Pptניהול אסטרטגי סדנא לשיתופים.Ppt
ניהול אסטרטגי סדנא לשיתופים.Pptsheatufim
 
The Psychology Of The End User Oracle Week Israel 2008
The Psychology Of The End User Oracle Week Israel 2008The Psychology Of The End User Oracle Week Israel 2008
The Psychology Of The End User Oracle Week Israel 2008blumeny
 
Funds programs-managers
Funds programs-managersFunds programs-managers
Funds programs-managerssheatufim
 
תפקידי הוועד המנהל
תפקידי הוועד המנהלתפקידי הוועד המנהל
תפקידי הוועד המנהלsheatufim
 
ילקוט כלים - ניהול ידע
ילקוט כלים - ניהול ידעילקוט כלים - ניהול ידע
ילקוט כלים - ניהול ידעNOVA
 
מדידה ככלי ניהולי מצגת
מדידה ככלי ניהולי מצגתמדידה ככלי ניהולי מצגת
מדידה ככלי ניהולי מצגתsheatufim
 
מבט לעומק יום האבחון
מבט לעומק יום האבחוןמבט לעומק יום האבחון
מבט לעומק יום האבחוןAdam Milo
 
Sustainable jerusalem Glenn Yagu
Sustainable jerusalem Glenn YaguSustainable jerusalem Glenn Yagu
Sustainable jerusalem Glenn YaguThe Jerusalem Institute for Israel Studies
 
The jerusalem mainstream הצגה לקרן ברי
The jerusalem mainstream הצגה לקרן בריThe jerusalem mainstream הצגה לקרן ברי
The jerusalem mainstream הצגה לקרן בריThe Jerusalem Institute for Israel Studies
 

Weitere ähnliche Inhalte

Ähnlich wie ד"ר ריטה סבר, האוניברסיטה העברית בירושלים ו"אסימון"

סדנה שיתופים ארגז כלים למנהל קרן דר גילה מלך גירסה להדפסה
סדנה שיתופים ארגז כלים למנהל קרן דר גילה מלך גירסה להדפסהסדנה שיתופים ארגז כלים למנהל קרן דר גילה מלך גירסה להדפסה
סדנה שיתופים ארגז כלים למנהל קרן דר גילה מלך גירסה להדפסהsheatufim
 
ד"ר חגית הכהן-וולף, האוניברסיטה העברית בירושלים
ד"ר חגית הכהן-וולף, האוניברסיטה העברית בירושליםד"ר חגית הכהן-וולף, האוניברסיטה העברית בירושלים
ד"ר חגית הכהן-וולף, האוניברסיטה העברית בירושליםThe Jerusalem Institute for Israel Studies
 
ד"ר מיה כהנוב, מכון ירושלים לחקר ישראל והאוניברסיטה העברית בירושלים
ד"ר מיה כהנוב, מכון ירושלים לחקר ישראל והאוניברסיטה העברית בירושליםד"ר מיה כהנוב, מכון ירושלים לחקר ישראל והאוניברסיטה העברית בירושלים
ד"ר מיה כהנוב, מכון ירושלים לחקר ישראל והאוניברסיטה העברית בירושליםThe Jerusalem Institute for Israel Studies
 
יום עיון ממידענים ואנליסטים
יום עיון ממידענים ואנליסטיםיום עיון ממידענים ואנליסטים
יום עיון ממידענים ואנליסטיםDr. Anat Klumel
 
ילקוט כלים פיתוח פעילות חדשה
ילקוט כלים פיתוח פעילות חדשהילקוט כלים פיתוח פעילות חדשה
ילקוט כלים פיתוח פעילות חדשהNOVA
 
ירון זיו - קבלת החלטות
ירון זיו - קבלת החלטותירון זיו - קבלת החלטות
ירון זיו - קבלת החלטותירון זיו
 
מידענות על פי החשיבה התוצאתית
מידענות על פי החשיבה התוצאתיתמידענות על פי החשיבה התוצאתית
מידענות על פי החשיבה התוצאתיתDr. Anat Klumel
 
מצגת מפגש עמיתים - שולחן עגול חינוך, 23.7.15
מצגת מפגש עמיתים - שולחן עגול חינוך, 23.7.15מצגת מפגש עמיתים - שולחן עגול חינוך, 23.7.15
מצגת מפגש עמיתים - שולחן עגול חינוך, 23.7.15sheatufim
 
ילקוט כלים מדידה והערכה במגזר שלישי
ילקוט כלים מדידה והערכה במגזר שלישיילקוט כלים מדידה והערכה במגזר שלישי
ילקוט כלים מדידה והערכה במגזר שלישיNOVA
 
Workshop on Information Quality
Workshop on Information QualityWorkshop on Information Quality
Workshop on Information QualityGalit Shmueli
 
רונית פוריאן 2012 10-24 evaluation - indicators at jerusalem institute
רונית פוריאן 2012 10-24 evaluation - indicators at jerusalem instituteרונית פוריאן 2012 10-24 evaluation - indicators at jerusalem institute
רונית פוריאן 2012 10-24 evaluation - indicators at jerusalem instituteThe Jerusalem Institute for Israel Studies
 
הטמעת ערכי ליבה
הטמעת ערכי ליבההטמעת ערכי ליבה
הטמעת ערכי ליבהsharonbe
 
ניהול אסטרטגי סדנא לשיתופים.Ppt
ניהול אסטרטגי סדנא לשיתופים.Pptניהול אסטרטגי סדנא לשיתופים.Ppt
ניהול אסטרטגי סדנא לשיתופים.Pptsheatufim
 
The Psychology Of The End User Oracle Week Israel 2008
The Psychology Of The End User Oracle Week Israel 2008The Psychology Of The End User Oracle Week Israel 2008
The Psychology Of The End User Oracle Week Israel 2008blumeny
 
Funds programs-managers
Funds programs-managersFunds programs-managers
Funds programs-managerssheatufim
 
תפקידי הוועד המנהל
תפקידי הוועד המנהלתפקידי הוועד המנהל
תפקידי הוועד המנהלsheatufim
 
ילקוט כלים - ניהול ידע
ילקוט כלים - ניהול ידעילקוט כלים - ניהול ידע
ילקוט כלים - ניהול ידעNOVA
 
מדידה ככלי ניהולי מצגת
מדידה ככלי ניהולי מצגתמדידה ככלי ניהולי מצגת
מדידה ככלי ניהולי מצגתsheatufim
 
מבט לעומק יום האבחון
מבט לעומק יום האבחוןמבט לעומק יום האבחון
מבט לעומק יום האבחוןAdam Milo
 

Ähnlich wie ד"ר ריטה סבר, האוניברסיטה העברית בירושלים ו"אסימון" (20)

סדנה שיתופים ארגז כלים למנהל קרן דר גילה מלך גירסה להדפסה
סדנה שיתופים ארגז כלים למנהל קרן דר גילה מלך גירסה להדפסהסדנה שיתופים ארגז כלים למנהל קרן דר גילה מלך גירסה להדפסה
סדנה שיתופים ארגז כלים למנהל קרן דר גילה מלך גירסה להדפסה
 
ד"ר חגית הכהן-וולף, האוניברסיטה העברית בירושלים
ד"ר חגית הכהן-וולף, האוניברסיטה העברית בירושליםד"ר חגית הכהן-וולף, האוניברסיטה העברית בירושלים
ד"ר חגית הכהן-וולף, האוניברסיטה העברית בירושלים
 
ד"ר מיה כהנוב, מכון ירושלים לחקר ישראל והאוניברסיטה העברית בירושלים
ד"ר מיה כהנוב, מכון ירושלים לחקר ישראל והאוניברסיטה העברית בירושליםד"ר מיה כהנוב, מכון ירושלים לחקר ישראל והאוניברסיטה העברית בירושלים
ד"ר מיה כהנוב, מכון ירושלים לחקר ישראל והאוניברסיטה העברית בירושלים
 
יום עיון ממידענים ואנליסטים
יום עיון ממידענים ואנליסטיםיום עיון ממידענים ואנליסטים
יום עיון ממידענים ואנליסטים
 
ילקוט כלים פיתוח פעילות חדשה
ילקוט כלים פיתוח פעילות חדשהילקוט כלים פיתוח פעילות חדשה
ילקוט כלים פיתוח פעילות חדשה
 
ירון זיו - קבלת החלטות
ירון זיו - קבלת החלטותירון זיו - קבלת החלטות
ירון זיו - קבלת החלטות
 
Sap Eng Presentation Win It Dm02
Sap Eng Presentation Win It Dm02Sap Eng Presentation Win It Dm02
Sap Eng Presentation Win It Dm02
 
מידענות על פי החשיבה התוצאתית
מידענות על פי החשיבה התוצאתיתמידענות על פי החשיבה התוצאתית
מידענות על פי החשיבה התוצאתית
 
מצגת מפגש עמיתים - שולחן עגול חינוך, 23.7.15
מצגת מפגש עמיתים - שולחן עגול חינוך, 23.7.15מצגת מפגש עמיתים - שולחן עגול חינוך, 23.7.15
מצגת מפגש עמיתים - שולחן עגול חינוך, 23.7.15
 
ילקוט כלים מדידה והערכה במגזר שלישי
ילקוט כלים מדידה והערכה במגזר שלישיילקוט כלים מדידה והערכה במגזר שלישי
ילקוט כלים מדידה והערכה במגזר שלישי
 
Workshop on Information Quality
Workshop on Information QualityWorkshop on Information Quality
Workshop on Information Quality
 
רונית פוריאן 2012 10-24 evaluation - indicators at jerusalem institute
רונית פוריאן 2012 10-24 evaluation - indicators at jerusalem instituteרונית פוריאן 2012 10-24 evaluation - indicators at jerusalem institute
רונית פוריאן 2012 10-24 evaluation - indicators at jerusalem institute
 
הטמעת ערכי ליבה
הטמעת ערכי ליבההטמעת ערכי ליבה
הטמעת ערכי ליבה
 
ניהול אסטרטגי סדנא לשיתופים.Ppt
ניהול אסטרטגי סדנא לשיתופים.Pptניהול אסטרטגי סדנא לשיתופים.Ppt
ניהול אסטרטגי סדנא לשיתופים.Ppt
 
The Psychology Of The End User Oracle Week Israel 2008
The Psychology Of The End User Oracle Week Israel 2008The Psychology Of The End User Oracle Week Israel 2008
The Psychology Of The End User Oracle Week Israel 2008
 
Funds programs-managers
Funds programs-managersFunds programs-managers
Funds programs-managers
 
תפקידי הוועד המנהל
תפקידי הוועד המנהלתפקידי הוועד המנהל
תפקידי הוועד המנהל
 
ילקוט כלים - ניהול ידע
ילקוט כלים - ניהול ידעילקוט כלים - ניהול ידע
ילקוט כלים - ניהול ידע
 
מדידה ככלי ניהולי מצגת
מדידה ככלי ניהולי מצגתמדידה ככלי ניהולי מצגת
מדידה ככלי ניהולי מצגת
 
מבט לעומק יום האבחון
מבט לעומק יום האבחוןמבט לעומק יום האבחון
מבט לעומק יום האבחון
 

Mehr von The Jerusalem Institute for Israel Studies

The Jerusalem Mosaic: A Delicate Balance. Meir Kraus at UCLA's convention: "I...
The Jerusalem Mosaic: A Delicate Balance. Meir Kraus at UCLA's convention: "I...The Jerusalem Mosaic: A Delicate Balance. Meir Kraus at UCLA's convention: "I...
The Jerusalem Mosaic: A Delicate Balance. Meir Kraus at UCLA's convention: "I...The Jerusalem Institute for Israel Studies
 
שכונות פלסטיניות במזרח ירושלים: צור באחר, אום טובא ובית חנינא
שכונות פלסטיניות במזרח ירושלים: צור באחר, אום טובא ובית חנינאשכונות פלסטיניות במזרח ירושלים: צור באחר, אום טובא ובית חנינא
שכונות פלסטיניות במזרח ירושלים: צור באחר, אום טובא ובית חנינאThe Jerusalem Institute for Israel Studies
 

Mehr von The Jerusalem Institute for Israel Studies (20)

Sustainable jerusalem Glenn Yagu
Sustainable jerusalem Glenn YaguSustainable jerusalem Glenn Yagu
Sustainable jerusalem Glenn Yagu
 
The jerusalem mainstream הצגה לקרן ברי
The jerusalem mainstream הצגה לקרן בריThe jerusalem mainstream הצגה לקרן ברי
The jerusalem mainstream הצגה לקרן ברי
 
The Jerusalem Mosaic: A Delicate Balance. Meir Kraus at UCLA's convention: "I...
The Jerusalem Mosaic: A Delicate Balance. Meir Kraus at UCLA's convention: "I...The Jerusalem Mosaic: A Delicate Balance. Meir Kraus at UCLA's convention: "I...
The Jerusalem Mosaic: A Delicate Balance. Meir Kraus at UCLA's convention: "I...
 
עליית יהודים ותפילה על הר הבית 1967 2015
עליית יהודים ותפילה על הר הבית 1967 2015עליית יהודים ותפילה על הר הבית 1967 2015
עליית יהודים ותפילה על הר הבית 1967 2015
 
שכונות פלסטיניות במזרח ירושלים: צור באחר, אום טובא ובית חנינא
שכונות פלסטיניות במזרח ירושלים: צור באחר, אום טובא ובית חנינאשכונות פלסטיניות במזרח ירושלים: צור באחר, אום טובא ובית חנינא
שכונות פלסטיניות במזרח ירושלים: צור באחר, אום טובא ובית חנינא
 
Project papers full
Project papers fullProject papers full
Project papers full
 
Urban Sustainability in Jerusalem
Urban Sustainability in JerusalemUrban Sustainability in Jerusalem
Urban Sustainability in Jerusalem
 
Jerusalem and the Christian World
Jerusalem and the Christian WorldJerusalem and the Christian World
Jerusalem and the Christian World
 
The Israeli-Palestinian Negotiations over Jerusalem
The Israeli-Palestinian Negotiations over JerusalemThe Israeli-Palestinian Negotiations over Jerusalem
The Israeli-Palestinian Negotiations over Jerusalem
 
Dapey proekt mahon jer10
Dapey proekt mahon jer10Dapey proekt mahon jer10
Dapey proekt mahon jer10
 
Dapey proekt mahon jer9
Dapey proekt mahon jer9Dapey proekt mahon jer9
Dapey proekt mahon jer9
 
Dapey proekt mahon jer8
Dapey proekt mahon jer8Dapey proekt mahon jer8
Dapey proekt mahon jer8
 
Dapey proekt mahon jer7
Dapey proekt mahon jer7Dapey proekt mahon jer7
Dapey proekt mahon jer7
 
Dapey proekt mahon jer6
Dapey proekt mahon jer6Dapey proekt mahon jer6
Dapey proekt mahon jer6
 
Dapey proekt mahon jer5
Dapey proekt mahon jer5Dapey proekt mahon jer5
Dapey proekt mahon jer5
 
Dapey proekt mahon jer4
Dapey proekt mahon jer4Dapey proekt mahon jer4
Dapey proekt mahon jer4
 
Dapey proekt mahon jer3
Dapey proekt mahon jer3Dapey proekt mahon jer3
Dapey proekt mahon jer3
 
Dapey proekt mahon jer1
Dapey proekt mahon jer1Dapey proekt mahon jer1
Dapey proekt mahon jer1
 
Dapey proekt mahon jer2
Dapey proekt mahon jer2Dapey proekt mahon jer2
Dapey proekt mahon jer2
 
Introduction to SPREE project
Introduction to SPREE projectIntroduction to SPREE project
Introduction to SPREE project
 

ד"ר ריטה סבר, האוניברסיטה העברית בירושלים ו"אסימון"

  • 1. ‫נערת לווי או מבקרת המדינה?‬ ‫הערכה כדיאלוג מבוסס-נתונים‬ ‫הרצאה ביום עיון בנושא:‬ ‫למה צריך מעריך?‬ ‫הערכת פרויקטים חברתיים בירושלים‬ ‫8002.6.1‬ ‫במכון ירושלים לחקר ישראל‬ ‫דר' ריטה סבר‬ ‫‪ritasever9@gmail.com‬‬ ‫‪rita.sever@huji.ac.il‬‬
  • 2. ‫במה לא נעסוק‬ ‫נערת לווי‬ ‫מבקרת המדינה‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫2‬
  • 3. ‫תרבות הערכה בתוך ארגון -‬ ‫תרבות של‬ ‫דיאלוג‬ ‫המבוסס על ראיות /נתונים‬ ‫‪Evidence Based‬‬ ‫‪Dialogue‬‬
  • 4. ‫‪EBDM‬‬ ‫‪Evidence Based Decision Making‬‬ ‫מקבלי החלטות נדרשים כיום יותר ויותר‬ ‫לעגן אותן בנתונים,‬ ‫ומצופים לעשות שימוש אינסטרומנטאלי‬ ‫ו/או אסטרטגי בהערכה‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫4‬
  • 5. ‫תרומתה של ההערכה ללקוחותיה‬ ‫יכולה להתבסס‬ ‫על הנתונים שהיא מציגה )הממצאים הקונקרטיים(, או על‬ ‫הפרשנות הניתנת לממצאים והתובנות שהם מציעים.‬ ‫הממצאים‬ ‫עשויים‬ ‫לסייע למקבלי ההחלטות בהכרעה בין חלופות קונקרטיות‬ ‫לתרום לגיבוש מדיניות ועקרונות פעולה‬ ‫הפרשנות והתובנות‬ ‫עשויות‬ ‫לקדם הבנה מעמיקה ו/או כללית יותר של הנושא שלגביו הם‬ ‫אמורים לקבל החלטות.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫5‬
  • 6. ‫פונקציות גלויות וסמויות של הערכה‬ ‫– מתבססות על‬ ‫גלויות‬ ‫)1- עיצוב, 2- ברירה/אחריותיות(‬ ‫ממצאי ההערכה‬ ‫סמויות )1- תקשורתית, 2- פוליטית( – מתבססות על‬ ‫תשומותיה ו/או תהליכיה של ההערכה‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫6‬
  • 7. ‫מטרות ההערכה בזיקה לקבלת החלטות‬ ‫לגבי תכנית‬ ‫למשל,‬ ‫האם מקבלי ההחלטות מעוניינים לדעת אם יש תמורה‬ ‫להשקעה הכוללת שהשקיעו ?‬ ‫]לצורך קבלת החלטות אינסטרומנטלית של המממן –‬ ‫האם להמשיך לממן את התכנית? או – )המדינה( האם‬ ‫לאמץ )ולממן ( תכנית מורכבת שפותחה ע"י גורם אחר‬ ‫שעומד לצאת מן התמונה?[‬ ‫או שמדובר בהחלטות לגבי העתקה / הפצה של‬ ‫תכנית מורכבת .‬ ‫[.‬ ‫כאן חיונית הבנה והמשגה.‬ ‫])6002( ‪Sridharan, Platt &Hume‬‬ ‫פרטית" משלה‬ ‫כי התערבות מבוססת על "תאוריה‬ ‫)ר' להלן(:‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫7‬
  • 8. ‫"התאוריה הפרטית" של ההתערבות )התכנית(‬ ‫"אם נפעיל‬ ‫על אוכלוסיית היעד ‪I1i‬‬ ‫את תשומות-העיבוד ‪2Ij‬‬ ‫והתהליכים ‪Pk‬‬ ‫בקונטכסט ‪) Cl‬הכולל בין היתר גם התערבויות אחרות(‬ ‫נוכל לצפות בטווח הקצר לתפוקות הביניים 1‪PRDm‬‬ ‫ובטווח הארוך לתוצרים 2‪“’ PRDm‬‬ ‫זאת, מפני שאנחנו יודעים‬ ‫-‬ ‫)על סמך סקירת ספרות, נסיון מצטבר, דברים שלמדנו אצל אחרים(‬ ‫למה היא נמצאת במצב ‪X‬‬ ‫1.‬ ‫שבשביל להביא אותה למצב הרצוי )מבחינת התפוקות והתוצרים( – נחוצים‬ ‫2.‬ ‫ומספיקים תשומות הגלם והתהליכים הנ"ל‬ ‫מפני ש....)ידע על קשרים סיבתיים(‬ ‫3.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫8‬
  • 9. (Training in Community Living) TCL ‫ניטור יישומו של פרוייקט‬ a project of community treatment for schizophrenics and the chronically mentally ill (P) ‫( הנגזרות מחשיפת ההנחות‬D) ‫עפ"י שאלות‬ (* Brekke:288 '‫של ה"תאוריה" הפרטית שלו – דוגמאות )עמ‬ The assertive availability of services – P1- Each client will receive a percentage of staff contact that is delivered in locations other than the offices of the project – D1:To what extent are services delivered in locations other than the offices of the project? The longitudinal nature of care – P2- There will be no cessation of contact for any client for as long as they remain in the project – D2: What is the treatment dropout rate in the project? *Brekke, J.S (1987). The model-guided method for monitoring program implementation. Evaluation Review, 11: 281-299 1.6.08 ‫סבר: נערת לווי או מבקרת המדינה‬ 9
  • 10. Features of complex interventions (Pawson et al., 2004) •The intervention is a theory or theories • The intervention involves the actions of people. • The intervention consists of a chain of steps • These chains of steps or processes are often not linear, and involve negotiation and feedback at each stage. • Interventions are embedded in social systems and how they work is shaped by this context. • Interventions are prone to modification as they are implemented. • Interventions are open systems and change through learning as stakeholders come to understand them. 1.6.08 ‫סבר: נערת לווי או מבקרת המדינה‬ 10
  • 11. ‫גישות יסוד להערכה‬ ‫גישות חלקיות‬ ‫גישות מכלוליות‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫11‬
  • 12. ‫גישות מכלוליות‬ ‫הערכה שמתייחסת למכלול ההבטים של מושא‬ ‫ההערכה:‬ ‫תשומות‬ ‫תהליכים‬ ‫תפוקות -‬ ‫וכאלה שלא הוגדרו‬ ‫כאלה שהוגדרו‬ ‫מראש כמטרות‬ ‫מראש כמטרות‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫21‬
  • 13. ‫גישות חלקיות‬ ‫1- הערכה של מושא-ההערכה על פי האיכות‬ ‫והתהליכים שלו , או‬ ‫א( של התשומות‬ ‫-‬ ‫ב( של התפוקות שלו‬ ‫2- הערכה שמתמקדת בשאלה אם הושגו‬ ‫המטרות/היעדים שנקבעו מראש‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫31‬
  • 14. ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫41‬
  • 15. ‫הבנת מדיניות הארגון לגבי השימוש בהערכה‬ ‫לקבל החלטות ספציפיות‬ ‫כמו אם להמשיך או לסגור תכניות?‬ ‫או איך ניתן לשפר תכניות מסויימות , שהן – א( בעלות חשיבות מיוחדת‬ ‫לארגון ו/או ב( הצטברה לגביהן ביקורת או אין להן ביקוש בקרב קהל-‬ ‫היעד?‬ ‫להמשיג מודלים והנחות סמויות של תכניות נסיוניות‬ ‫כדי להקל על הפצתן?‬ ‫של הארגון בכלל או של תכניות‬ ‫לספק מידע לצרכי שווק‬ ‫מסוימות שלו בפרט?‬ ‫לקבל החלטות לגבי הרכבה של אוכלוסיית היעד‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫שאליה הארגון פונה?‬ ‫51‬
  • 16. ‫קביעת מטרת ההערכה‬ ‫לספק מידע לקבלת החלטות‬ ‫קונקרטיות?‬ ‫לבנות בסיס-ידע לגיבוש מדיניות?‬ ‫להמשיג את "התיאוריה הפרטית" של‬ ‫פרוייקט?‬ ‫מטרה אחרת?‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫61‬
  • 17. ‫מאפיינים של דיאלוג‬ ‫סימטריה ותלות הדדית‬ ‫הנחת המוצא:‬ ‫אף אחד מהצדדים איננו יודע הכל , ואין מי שלא יודע כלום.‬ ‫בתחילת התהליך כל אחד מהצדדים יודע משהו שהאחר‬ ‫איננו יודע, ורק ביחד תתברר תמונה שלמה יותר.‬ ‫מכאן –‬ ‫– חובת הענווה.‬ ‫– זרימה דו-סטרית של מידע בין הצדדים‬ ‫כבוד הדדי ואמון‬ ‫שני הצדדים חייבים להאמין שלכל אחד מהם יש עניין אמיתי‬ ‫להבין במה מדובר, ויכולת לתרום להבנה כזאת.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫71‬
  • 18. ‫‪Evidence Based dialogue‬‬ ‫ידע ומידע אינטואיטיביים של הלקוח – בסיס‬ ‫לניסוח השערות )למשל, לגבי סיבתיות(‬ ‫בדיקת השערות: חיפוש אקטיבי של ראיות‬ ‫)נתונים( לאישוש ולהפרכה של ההשערות‬ ‫‪Mixed methodology‬‬ ‫מקצועיות במדידה‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫81‬
  • 19. ‫השתתפות הלקוח בתהליך ההערכה‬ ‫באילו נקודות , באיזה אופן ובאיזה מחיר ?‬ ‫הזמנת הערכה‬ ‫)מתי מתחילים לדבר על הערכה?(‬ ‫ניסוח שאלות ההערכה‬ ‫)מה רוצים לדעת? מה חשוב לקבלת החלטה?(‬ ‫גיבוש המתודולוגיה :‬ ‫עיצוב מערך ההערכה )את מי/מה בודקים (‬ ‫–‬ ‫– דגימה‬ ‫– בחירת/בניית כלי המדידה )כלים לאיסוף מידע/נתונים(‬ ‫איסוף הנתונים‬ ‫עיבוד הנתונים לממצאים‬ ‫הסקת מסקנות‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫הפקת המלצות‬ ‫91‬
  • 20. ‫כשמקבלי החלטות מקבלים ממצאי הערכה‬ ‫)במפורש או במשתמע( :‬ ‫שאלות שעולות אצלם‬ ‫א( שאלת האמינות‬ ‫האם ניתן לסמוך על הממצאים הללו?‬ ‫האם הם "נכונים"?‬ ‫ב( שאלת הרלבנטיות‬ ‫האם הם רלבנטיים להחלטה/ות שלנו?‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫02‬
  • 21. ‫הבטחת איכות‬ ‫למקבלי החלטות – שאלה קריטית היא שאלת הבטחת‬ ‫האיכות/האמינות של הממצאים שאמורים לשמש אותם כראיות.‬ ‫– "ראיות" : החל בתוצאות מדידה בכלי כמותני מהימן כמו "הפסיכומטרי"‬ ‫)בכניסה לאוניברסיטאות( ועד לסדרת עדויות בבית המשפט .‬ ‫מהם בסיסי האמינות שעליהם מסתמכים אנשים? מתי הם‬ ‫מרגישים שהם יכולים לסמוך על מידע/ראיות?‬ ‫כאשר מקור המידע מהימן ;‬ ‫–‬ ‫הפרוצדורה )באיזו צורה נוצר המידע( מקובלת עליהם;‬ ‫–‬ ‫המידע מסתדר להם עם ידע העולם שלהם, ניתן לשלב אותו בתוך הסכמות‬ ‫–‬ ‫הקיימות בראשם;‬ ‫אפשר לשזור אותו ל"סיפור" .‬ ‫–‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫12‬
  • 22. ‫אפילו הדו"ח של רואה-חשבון‬ ‫הוא בעצם "סיפורו" של העסק‬ In the world of business, an account is a story told in quantitative form Lee S. Shulman (2007). Counting & Accounting : Assessment & the quest for accountability. Change Jan/Feb 2007: 1-7. www.carnegiefoundation.org , retrieved 9.3.07 1.6.08 ‫סבר: נערת לווי או מבקרת המדינה‬ 22
  • 23. Accounting as story telling “…accounting […] should be understood as a form of narrative, a kind of drama. Within the ethical and technical rules of the field, the task of the accountant is to figure out which of the stories of the company should be told through the medium of its "books." Accounting is basically about creating the plot, characters, and setting of the story. As the instructor explained to the class, "Your task is to render an account: to tell the facts of the case, the story of the condition of a company in an accurate and yet ultimately persuasive way.“ [Lee Shulman’s daughter] Lee S. Shulman (2007). Counting & Accounting : Assessment & the quest for accountability. Change Jan/Feb 2007: 1-7. www.carnegiefoundation.org , retrieved 9.3.07 1.6.08 ‫סבר: נערת לווי או מבקרת המדינה‬ 23
  • 24. ...‫סיפור הוא לא רק מלים‬ (‫)סיפורם של המספרים/הנתונים‬ How and what we choose to count and the manner in which we array and display our accounts is a form of narrative—legitimately, necessarily, and inevitably. Lee S. Shulman (2007). Counting & Accounting : Assessment & the quest for accountability. Change Jan/Feb 2007: 1-7. www.carnegiefoundation.org , retrieved 9.3.07 1.6.08 ‫סבר: נערת לווי או מבקרת המדינה‬ 24
  • 25. ‫דילמות‬ ‫)לגבי אמינות ורלבנטיות(‬ ‫התשובה לשאלות הנ"ל‬ ‫קשורה לשתי דילמות:‬ ‫הערכה כמותנית לעומת הערכה איכותנית.‬ ‫1.‬ ‫הערכה חיצונית לעומת הערכה פנימית‬ ‫2.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫52‬
  • 26. ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫62‬
  • 27. ‫2 חתולים – או החתולים מסתתרים מפני הגשם מתחת לכסא‬ ‫כמותנית או איכותנית‬
  • 28. ‫נתונים כמותניים:‬ ‫התפלגות ההגדרה העצמית של דתיות בקרב בני הנוער המשתתפים בפרוייקט‬ ‫אחוז מס"ה המשתתפים‬ ‫הגדרה עצמית של דתיות‬ ‫%2.24‬ ‫אורתודוכסים‬ ‫%1.33‬ ‫יוצאים בשאלה/מתלבטים‬ ‫%2.9‬ ‫חילונים‬ ‫%3.7‬ ‫חרדים‬ ‫%8.2‬ ‫מסורתיים‬ ‫%8.1‬ ‫בעלי תשובה‬ ‫%8.1‬ ‫נוצרים‬ ‫%9.0‬ ‫מתגיירים‬ ‫%9.0‬ ‫רפורמים‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫82‬
  • 29. ‫נתונים איכותניים‬ ‫]חלום שסיפר תלמיד הגר בשכונת מצוקה שיש בה עבריינות וסמים[‬ ‫"אה, חלום מוזר... היה לי לפני כמה ימים חלום מוזר.‬ ‫אני וש' )תלמיד מהכיתה( היינו בבית ספר והמורה אמרה לנו‬ ‫– 'כנסו לכיתה, באמצע הלילה. נכנסנו ועף לנו כדור.‬ ‫שמענו קולות, חשבנו נרקומנים. ש' לקח רובה,‬ ‫התחיל לירות לשם. ואז אני הייתי באוטו. חיכיתי.‬ ‫אבא שלי בא. ירו בש'. נכנסתי לאוטו, התחילו לירות‬ ‫בי. ש' קם, רדף אחריהם... אני לא זוכר יותר."‬ ‫מקור: שפירא-אזולאי, נ' )8002(. רב-תרבותיות, דמוקרטיה ואלימות בבתי"ס בישראל. תיזה ל-‬ ‫מ.א., האוניברסיטה הפתוחה, רעננה. עמ' 92.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫92‬
  • 30. ‫)מתצפית בסדנת אמנות במועדון לנוער בסיכון(‬ ‫נתונים איכותניים‬ ‫"אנשים נכנסים ויוצאים לכל אורך סדנת האמנות. עובדים עם צבעי‬ ‫גואש. נערה אחת ממשיכה ציור מהשבוע שעבר, אחרת מכינה‬ ‫עגילים מנוצות וממתכת. מדי פעם מישהו ניגש לעדכן את המוסיקה‬ ‫הבוקעת מהמחשב, עם ויכוחים קלים בין טראנס לרוק. בני נוער‬ ‫שלא מכירים זא"ז מחליפים רשמים מאיפה כל אחד, מי מכיר את‬ ‫זה, מי מכיר את ההוא.‬ ‫שני אחים נכנסים לחדר המחשב ורוצים לעבוד על המחשב. המורה‬ ‫לאמנות מסבירה להם שיש עכשיו שעור אמנות ואי אפשר לעבוד על‬ ‫המחשב; אם הם רוצים, הם מוזמנים לשבת לעבוד באמנות, היא‬ ‫אומרת. אחד מהם מבקש חימר, השני מסתכל. הוא שואל נער אחר‬ ‫מה העובי של מבחנה, הוא רוצה ליצור 'באנג' מחימר. המורה נותנת‬ ‫לו חימר ומתחילה להסביר לו איך לעבוד איתו. הנער קצר רוח, אין‬ ‫לו סבלנות לעבד את החומר ולעבוד איתו לפי הכללים. לאט לאט‬ ‫הוא מתרצה ]...[ יוצר מקטרת, המורה מתקנת לו אותה ומסבירה‬ ‫לו איך לעבוד. מתווכחים עם החבר'ה כמה 'קססה' מקטרת כזאת‬ ‫תוכל להחזיק."‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫03‬
  • 31. ‫דוגמא של ממצאים איכותניים‬ ‫הנוגעים למתנדבים במועדון‬ ‫"תפקיד המתנדב לא עלה כמעט בדבריהם של בני הנוער‬ ‫שרואיינו, ורובם לא זכרו חוויות ספציפיות הקשורות בהם,‬ ‫למרות שידעו על קיומם".‬ ‫" ... קיימות בעיות משמעותיות בתחום ההתנדבות וכיום‬ ‫נראה שההיבט הזה של הפרוייקט נמצא במשבר.‬ ‫למעלה משנה נשארה רכזת המתנדבים ללא הדרכה‬ ‫מהגורם שאמור היה לעשות זאת, והתקן שלה עומד‬ ‫להתבטל. מספר המתנדבים קטן, יש קשיים בגיוס‬ ‫מתנדבים מתאימים ]...[ ועם אלה שמתקבלים יש בעיות‬ ‫של התמדה ושל מחוייבות לאורך זמן."‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫13‬
  • 32. ‫מאפיינים של הערכה כמותנית ואיכותנית‬ ‫הערכה איכותנית‬ ‫הערכה כמותנית‬ ‫מבוססת על פרדיגמה הבנייתית‬ ‫מבוססת על פרדיגמה‬ ‫)קונסטרוקטיביסטית(, שעל פיה‬ ‫פוזיטיביסטית, שעל פיה‬ ‫כשמדובר במדעים העוסקים בבני אדם,‬ ‫קיימת מציאות מוחלטת‬ ‫המציאות היא מה שמשתקף בתפיסות‬ ‫אחת, נטולת תלות‬ ‫)השונות ( של אנשים )שונים( ולפיכך‬ ‫הקשרית‬ ‫קיימות למעשה מציאויות רבות בו-‬ ‫)א-קונטכסטואלית(,‬ ‫זמנית.‬ ‫תפקידה של ההערכה‬ ‫יוצאת מנקודת מוצא כולית, הוליסטית,‬ ‫לגלות אותה באמצעות‬ ‫שעל פיה‬ ‫כלים אובייקטיביים.‬ ‫אי אפשר לפרק את המציאות למרכיבים‬ ‫מציבה השערות מראש‬ ‫פשוטים שיש ביניהם קשרים‬ ‫ובודקת אותן על פי‬ ‫המתקיימים בכל זמן ובכל הקשר.‬ ‫פרוצדורות/ נהלים‬ ‫לא ניתן להבין חלקים בלי להבין את‬ ‫מדוקדקים ואחידים;‬ ‫ההקשר שבו הם מתקיימים, מפני שכל‬ ‫חותרת לבודד משתנים,‬ ‫תופעה היא קונטכסטואלית .‬ ‫לזהות קשרים, ולבחון‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫23 השפעות.‬
  • 33. ‫אמינות‬ ‫בתחום האמינות יש להערכה האיכותנית ולהערכה‬ ‫הכמותנית יתרונות שונים זה מזה :‬ ‫מצד אחד, להערכה כמותנית יש פרוצדורות מוכרות‬ ‫להבטחת איכות ‪; scientifically based‬‬ ‫ובכלל, למספרים יש הילה/דימוי של דיוק, מהימנות,‬ ‫אובייקטיביות, "מדעיות"‬ ‫מצד שני, הערכה איכותנית מוצגת "בלשון בני אדם", היא‬ ‫סיפורית יותר -ואנשים מארגנים ראיות בתוך "סיפור".‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫33‬
  • 34. ‫קושי להתמודד עם קונטכסטואליות של תופעות‬ ‫כאמור, הפרדיגמה הפוזיטיביסטית מבוססת על ההנחה שקיימים ממצאים‬ ‫שהם "נכונים" בפני עצמם ועמידים בפני הקונטכסטואליות.‬ ‫)או מודלים שעוסקים בריבוי רובדים –‬ ‫רגרסיה‬ ‫לכאורה, השימוש בסכימות כמו‬ ‫התלמיד, הכתה, ביה"ס וכו'( שנותנות ייצוג ומשקל למשתנים קונטכסטואליים ,‬ ‫משדר מודעות לחשיבותם – אבל היכולת לתרגם את זה להמלצות אופרטיביות היא‬ ‫די מוגבלת.‬ ‫מתי ממצא נחשב למשמעותי?‬ ‫איזה מתאם )ובאיזו רמת מובהקות( יעיד שאכן יש קשר בין תשומות לתפוקות‬ ‫במניעת התמכרות לסמים/אלכוהול בקרב בני נוער, ולכן כדאי למשל להקדיש שעות‬ ‫בכל שכבות הגיל בביה"ס כדי לקבל צמצום בשיעור הנרקומנים ו/או האלכוהוליסטים‬ ‫הצעירים ?‬ ‫איזה משקל צריך להיות למשתנה מסויים ברגרסיה כדי לבסס עליו החלטות? למשל,‬ ‫אם לתזונה מספקת יש משקל יותר גבוה מאשר לשעות תגבור – האם מקבל‬ ‫ההחלטות אמור לרכז את כל התקציב שלו למימון ארוחות חמות לילדים ? או לחלק‬ ‫את התקציב בין הארוחות לבין שעות התגבור – ובאיזו פרופורציה?‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫43‬
  • 35. ‫שקלולים מסובכים ותבנית הסיפור‬ ‫למוח האנושי יש יכולת מופלאה לבצע את השקלולים‬ ‫המסובכים הללו באופן חלק , הוליסטי, בלי לפרוט אותם‬ ‫לנוסחאות ומשקלות מודעים. בין היתר , הוא "אורג" אותם‬ ‫לתוך סיפור.‬ ‫הסיפור מאפשר להתמודד עם הרבה מידע פזור/נקודתי, ע"י‬ ‫ארגונו לתוך תבנית קיימת )למשל: רקע – התרחשות –‬ ‫סיבות – תוצאות ( ויצירת סינאפסות עם תבניות אחרות‬ ‫ועוגני-מידע אחרים במוח.‬ ‫בעיה – שאם העסק ממש מסובך, הוא מעביר אותו ל"טייס‬ ‫האוטומאטי" ולא בפרוצדורה המקובלת של קבלת החלטות‬ ‫רציונאלית /קיברנטית‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫53‬
  • 36. ‫בעיית הבטחת איכות‬ ‫בהערכה איכותנית‬ ‫להערכה איכותנית יש דימוי רווח שהדגש הוא על‬ ‫הפרשנות של המעריך.‬ ‫יש לה כלים להבטחת איכות )טריאנגולציה למשל(‬ ‫אבל‬ ‫)א( לא פעם חוקרים איכותניים אינם מקפידים‬ ‫להשתמש בהם )או משתמשים, אבל לא מקפידים‬ ‫לדווח בבירור על המתודולוגיה שלהם( ,‬ ‫)ב( הכלים עצמם פחות מוכרים בציבור.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫63‬
  • 37. ‫הקפדה על ניטרול הטיות והימנעות‬ ‫מחיפוש ראיות רק לכוון אחד‬ ‫בבית המשפט, האיזון או החיפוש אחר ראיות לשני הכוונים נעשה ע"י‬ ‫קיומם של סניגור וקטיגור. כל אחד מהם חותר במוצהר לחיפוש ראיות רק‬ ‫לצד אחד – אבל השילוב של שני התפקידים בתוך התהליך השיפוטי הוא‬ ‫שיוצר את האיזון.‬ ‫בפרדיגמה הכמותנית-אקספרימנטלית משתקפת ה"ספקנות המדעית"‬ ‫בכך שמראש מוצגת לא רק השערת-העבודה אלא מולה גם השערת-‬ ‫האפס, שאותה יש להפריך.‬ ‫דווקא הכוון המנוגד למה שאנחנו טוענים הוא הזוכה לתשומת הלב‬ ‫הגדולה.‬ ‫הערכה איכותנית מבהירה ומצהירה שהיא משוחררת מניסוח השערות‬ ‫מראש, אבל שהיא מחוייבת להצגת נקודות מבט שונות ולהצלבת‬ ‫נתונים.‬ ‫אלא שלא פעם חסרה ההקפדה על כך בדוח ההערכה וקשה להשתכנע‬ ‫שהמעריך לא נסחף לאיתור ראיות בכוון אחד יותר מאשר בכוון השני.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫73‬
  • 38. ‫היכולת של הלקוח לקיים דיאלוג סימטרי עם‬ ‫הפרוש שהמעריך נותן לממצאים‬ ‫בהערכה איכותנית‬ ‫בהערכה כמותנית‬ ‫מצד אחד, הממצאים מוצגים‬ ‫מצד אחד, מודלים כמותניים‬ ‫בצורה ידידותית,שמקנה‬ ‫מסובכים אינם ידידותיים‬ ‫הרגשת אוטנטיות‬ ‫לרבים ממקבלי החלטות‬ ‫מצד שני, נדיר שהמעריך‬ ‫מצד שני, קיימת הפרדה בין‬ ‫מצרף לדו"ח את כל התמליל‬ ‫הנתונים -המוצגים‬ ‫המדוייק של הראיונות, ו/או‬ ‫בטבלאות, גרפים וכו' – ובין‬ ‫את התרשומת השוטפת‬ ‫המשמעות שהמעריך מפיק‬ ‫והמלאה מהתצפיות, או את‬ ‫מתוכם.‬ ‫"יומן השדה" שלו במלואו,‬ ‫הקורא יכול איפא לנסות‬ ‫ולכן -‬ ‫ולהגיע לפירושים אחרים של‬ ‫הרבה יותר קשה לעשות את‬ ‫אותם נתונים ולהתווכח עם‬ ‫ההפרדה הזאת .‬ ‫הפירושים של המעריך.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫83‬
  • 39. ‫סיכום יתרונות וחסרונות של הערכה‬ ‫כמותנית ואיכותנית‬ ‫הערכה איכותנית‬ ‫הערכה כמותנית‬ ‫יתרונותיה בתחום הרלבנטיות‬ ‫יתרונותיה בתחום המהימנות‬ ‫ובתחושת האוטנטיות‬ ‫וביכולת ההכללה.‬ ‫יש לה כלים מוכרים )מהימנות , מובהקות,‬ ‫שמקרינה‬ ‫תוקף(, "קבלות" על הבטחת איכות.‬ ‫חסרונותיה בתחום הרלבנטיות:‬ ‫חסרונותיה בתחום הבטחת‬ ‫– האם המשתנים והקשרים שנבדקו‬ ‫איכות: נתפסת כסובייקטיבית‬ ‫הם אמנם בעלי חשיבות מכרעת‬ ‫ומוטה, משהו שממצאיו קמים‬ ‫לעניין שלגביו לקבל את ההחלטה?‬ ‫ונופלים על הפרשנות של‬ ‫– באיזו מידה ניתן לצפות שהם‬ ‫המעריך‬ ‫יתקיימו וישפיעו בתוך ההקשרים‬ ‫השונים ?‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫93‬
  • 40. ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫04‬
  • 41. ‫פרופיל - מעשה ההערכה‬ ‫פנימי‬ ‫המבצע חיצוני‬ ‫המרכיב‬ ‫היוזמה להעריך‬ ‫קביעת הקריטריונים /המדדים‬ ‫פיתוח/התאמת הכלים לאיסוף נתונים‬ ‫ביצוע המדידות‬ ‫קבלת הממצאים‬ ‫שימוש בממצאים לקבלת החלטות‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫14‬
  • 42. ‫הגיונות )רציונאלים( של הערכה פנימית‬ ‫הדגש ההולך וגובר על הערכה פנימית )או עצמית(‬ ‫של מבוסס על "הגיונות" שונים ) 5002 ,‪: (MacBeath‬‬ ‫אחריותיות ‪ + accountability‬יעילות כלכלית‬ ‫שיפור‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫24‬
  • 43. ‫הגיונות של הערכה פנימית‬ ‫ההגיון הכלכלי + אחריותיות‬ ‫‪– accountability‬‬ ‫)א( ארגונים/עמותות חייבים לספק ראיות על איכותם‬ ‫והישגיהם לבעלי העניין השונים, ולציבור בכלל.‬ ‫)ב( לארגונים רבים אין אפשרות כלכלית לספק ראיות‬ ‫כאלה על כל אחת ואחת מתכניותיו ע"י הערכה‬ ‫חיצונית; זול יותר לעבור לביצוע עצמי.‬ ‫שיפור -הערכה היא כלי חיוני לשיפור העשייה של‬ ‫הארגון . הערכה עצמית ככלי לשיפור אמורה להיות‬ ‫חלק בלתי נפרד מחיי הארגון, "אורח חיים" ולא‬ ‫פעילות חד פעמית בנקודות זמן מסויימות.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫34‬
  • 44. ‫יתרונות וחסרונות של‬ ‫הערכה פנימית וחיצונית‬ ‫ההערכה הפנימית שמבוססת על דווחי מפעילי‬ ‫התכנית, המאופיינים בסובייקטיביות, חשודים‬ ‫במהימנות נמוכה.‬ ‫ההערכה החיצונית מבוססת על כלים סטנדרטיים‬ ‫שנחשבים לאובייקטיביים אבל נטען נגדם שהם לוקים‬ ‫בתוקף נמוך מפני שהם נותנים תמונה חלקית בלבד‬ ‫זאת לעומת מפעילי התכנית שיש להם ראייה‬ ‫הוליסטית של התכנית ותמונה שלמה יותר של מה‬ ‫שקורה בה.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫44‬
  • 45. ‫הערכה פנימית מול חיצונית‬ ‫הערכה פנימית היא אורח חיים‬ ‫ַ‬ ‫ופוטנציאלית יש לה יתרונות בתחום התוקף‬ ‫הערכה חיצונית‬ ‫נעשית בדרך-כלל בנקודות זמן מסויימות‬ ‫ופוטנציאלית יש לה יתרונות בתחום המהימנות‬
  • 46. ‫מה חשוב לדעת לגבי הערכה‬ ‫פנימית/חיצונית?‬ ‫להבחין בין הכרעה לגבי הגורם המעריך )חיצוני‬ ‫לעומת פנימי( לבין הכרעה לגבי כלי ההערכה‬ ‫)כלים סטנדרטיים, חיצוניים - לעומת ערכת כלים‬ ‫ייחודית, מותאמת (‬ ‫האפשרות להשתמש ב"ידע דומם" להפקת‬ ‫השערות, ובסוללת מידע לחיפוש ראיות לאישושן‬ ‫או להפרכתן של ההשערות הללו.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫64‬
  • 47. ‫איך רותמים תמהיל של מידע‬ ‫"רך" ו"קשה" למסקנות‬ ‫קובעות?‬
  • 48. ‫התמודדות עם תמהיל של מידע רך ו קשה‬ ‫במהלך הפעלתו של פרוייקט, מצטברים‬ ‫– ידע "דומם" על התכנית אצל כל אחד מהמפעילים‬ ‫– חומרים "רכים" ו"קשים", בלא כל מתכונת אחידה.‬ ‫את הידע ה"דומם" שהצטבר אצל המפעילים כדאי להפוך‬ ‫לשורה של השערות שיהוו בסיס למסקנות קובעות )מאזן‬ ‫היתרונות והחסרונות ( לגבי התכנית.‬ ‫ליצור מתכונת מאחדת עבור ההשערות, למשל ע"י הכלי‬ ‫האנליטי ‪: SWOT‬‬ ‫המפעילים יתבקשו לנסח השערות רבות ככל האפשר סביב כל‬ ‫אחד מארבעת המוקדים :‬ ‫‪Strengths, Weaknesses, Opportunities, Threats‬‬ ‫להתייחס לחומרים ה"רכים" וה"קשים" כאל כמקור לחיפוש‬ ‫ראיות ‪ evidence‬לאישוש או הפרכת ההשערות שנוסחו.‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫84‬
  • 49. ‫התמודדות עם המורכבות‬ ‫חומרים רכים וקשים‬ ‫ידע דומם של המפעילים‬ ‫ללא מתכונת אחידה‬ ‫ניסוח השערות‬ ‫‪SWOT‬‬ ‫בדיקת השערות‬ ‫ראיות‬ ‫השערות‬ ‫שאוששו‬ ‫סבר: נערת לווי או מבקרת הושהופרכו‬ ‫מסקנות‬ ‫מדינה 80.6.1‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫94‬
  • 50. ‫תזכורת‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫05‬
  • 51. ‫מילכוד 22‬ ‫שכיח שמקבלי החלטות "נזכרים" להזמין הערכה לאחר‬ ‫שהביצוע כבר החל, או אפילו מתקרב לסיומו ‪salvage evaluation‬‬ ‫כדי שהערכה תתרום לקבלת החלטות, עליה להביא ממצאים‬ ‫לפני שמתקבלות החלטות‬ ‫המעריך נדרש "להזדרז"‬ ‫פגיעה באיכות הממצאים ו/או באמינותם‬ ‫מקבלי ההחלטות מתאכזבים מפירות ההערכה.‬ ‫החשיבה על ההערכה צריכה להתחיל כבר בשלבי‬ ‫ה"הריון" הראשונים של פרוייקט חדש‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫15‬
  • 52. ‫תודה‬ ‫סבר: נערת לווי או מבקרת המדינה 80.6.1‬ ‫25‬