Testimonies, Data and Meta-data Dr. Renana Keydar Martin Buber Society of Fellows, The Hebrew University of Jerusalem
The Quantitative Turn Keydar, Mass Atrocity, Mass Testimony, and the Quantitative Turn in International Law 53 LAW & SOCIETY REVIEW 2019 The Quantitative Turn The large number of witnesses and victims participating in legal proceedings that prosecute systematic human rights violations. Testimonies as Data How to analyze the testimonial data to better understand human rights violations and the legal process investigating them.
A Computational Approach to the Data Topic Modeling (LDA) Sorting through a large corpus of documents Identifying hidden topics in the corpus Topic a cluster of words with high probability to appear together in a document LDA (Latent Dirichlet Allocation) algorithm every document is composed of a mixture of topics
A Computational Approach to the Data Advantages Unsupervised method Processing natural language Challenges Bag of Words model Hidden assumptions of the algorithm (Blei et al., Probabilistic Topic Models, 2003)
The Kunarac Trial Corpus 211 files; +300,000 words
The Kunarac Trial Topics Topic 0 Topic 1 Topic 2 Topic 3 Topic 4 Topic 5 Topic 6 Topic 7 Topic 8 Topic 9
#7 Procedural
#3 Ethnic tensions
#0 Consent #1 Testimony #2 Attacks #3 Ethnic #4 Military #5 Law #6 Psycho- Medical #7 Procedure #8 Evidence #9 Facts
0-84 פרשת התביעה 85-184 פרשת ההגנה 185-210 פסק הדין
Listen, I can't remember all the details, because I wasn't raped by the buildings. Do you understand that?
Thematic gaps between victims voice and judicial voice Victims Judgement 0.6 Judgement VS. Victims topic distribution 0.5 0.4 0.3 0.2 0.1 0.0 Consent Testimony Attacks Ethnic Military Law Psycho Medical Procedural Evidence Facts
Thematic gaps between victims voice and judicial voice Judgment Fws Kova Testified February Foca Accused Case Dp vukovic july Partizan Soldier Kunarac House Woman Rape Witness School Man girl Remember Give Describe Room Time Happen Night Told Child day Testimonies Topic 1: testimony- most prominent in judgment Topic 9: factual framework, most prominent in victim testimonies
Or Commission of Inquiry: an untapped opportunity for assessing police use of force
The Or Commission Data and Methodology Data 64 Sessions 370 Testimonies 187 police 130 Arabs 1,603,294 Total words Mixed method approach a qualitative approach to the testimonies & an algorithmic analysis of the corpus
אברהם בר: )לא מדבר למיקרופון(. השופט תאודור אור: )לא ברור( טוב, אני חייב להזהיר אותך שאתה צריך להעיד אמת, את כל האמת, ואם לא תעשה כן אתה צפוי לעונשים שקבועים בחוק, זה ברור לך? השופט תאודור אור: בשעות הצהרים, מי הגיע איתך? אברהם בר: הגיע אתי ראשד, והיום נזכרתי שאלכסנדר הגיע איתי גם. אברהם בר: אנחנו שכבנו שם, לא זכור לי כמה זמן בדיוק, ובמשך כמה דקות נשרפנו כבר, אז זרקו עלינו כל מיני בקבוקי תבערה שם וצמיגים. כל השטח מולנו עלה בלהבות. אז נאלצנו לצאת משם ולחכות להוראות של אבו ריש. השופט תאודור אור: אני רוצה להקריא לך קטע מההודאה שלך, שתאשר לי שאמנם כן הוא. אתה אומר בין היתר: "אבו ריש שלח את ראשד עם עוד מישהו מצד שמאל למוסך שהיה שם, הם הגיעו לשם דרך איגוף. בזמן שהלכנו )לא ברור( את המתפרעים אלינו, ראשד הגיע באיגוף למקום שלו וירה גומי לעבר המתפרעים, שבשלב הזה זרקו עלינו אבנים. ראשד פגע במישהו וראינו אותו שוכב על הריצפה, נוצרה סביב הבן אדם התקהלות ובא רכב סובארו ולקח אותו. הסובארו בצבע תכלת עברה דרכנו בצומת בכיוון באקה אל גרבייה, ראינו שמבחוץ לסובארו מלא דם, אבו ריש צעק לראשד לחזור אלינו חזרה, ראשד חזר אלינו". אתה מאשר את הדברים האלה? בר אברהם: כן.... מורשד ראשד: עשינו את זה, אבל לא הצלחנו, למה שכבנו מאחורי סוללה וזרקו עלינו בקת בים והבעירו צמיגים וגלגלו אלינו. זרקו אבנים חוץ מזה.
אברהם בר: )לא מדבר למיקרופון(. השופט תאודור אור: )לא ברור( טוב, אני חייב להזהיר אותך שאתה צריך להעיד אמת, את כל האמת, ואם לא תעשה כן אתה צפוי לעונשים שקבועים בחוק, זה ברור לך? השופט תאודור אור: בשעות הצהרים, מי הגיע איתך? אברהם בר: הגיע אתי ראשד, והיום נזכרתי שאלכסנדר הגיע איתי גם. אברהם בר: אנחנו שכבנו שם, לא זכור לי כמה זמן בדיוק, ובמשך כמה דקות נשרפנו כבר, אז זרקו עלינו כל מיני בקבוקי תבערה שם the וצמיגים. in כל השטח elementsמולנו עלה using structural בלהבות. אז actsנאלצנו speechלצאת and משם speakers ולחכות Identify להוראות של אבו ריש. השופט תאודור אור: אני רוצה להקריא לך קטע מההודאה שלך, שתאשר ``:`` לי-שאמנם כן protocolsהוא. אתה אומר בין היתר: "אבו ריש שלח את ראשד עם עוד מישהו מצד שמאל למוסך שהיה שם, ( textהם theהגיעו withinלשם : דרך (but איגוף. בזמן שהלכנו )לא ברור( את המתפרעים אלינו, ראשד הגיע באיגוף למקום Unclear) שלו - לא וירה גומי ברור)לעבר noise? acts or המתפרעים, Speech שבשלב הזה זרקו עלינו אבנים. ראשד פגע במישהו וראינו אותו שוכב על הריצפה, נוצרה סביב הבן אדם התקהלות ובא רכב סובארו ולקח אותו. הסובארו בצבע תכלת עברה דרכנו בצומת בכיוון באקה אל גרבייה, ראינו שמבחוץ לסובארו מלא דם, אבו ריש צעק לראשד לחזור אלינו חזרה, ראשד חזר אלינו". אתה מאשר את הדברים האלה? בר אברהם: כן.... מורשד ראשד: עשינו את זה, אבל לא הצלחנו, למה שכבנו מאחורי סוללה וזרקו עלינו בקת בים והבעירו צמיגים וגלגלו אלינו. זרקו אבנים חוץ מזה.
השופט תאודור אור: )לא ברור( טוב, אני חייב להזהיר אותך שאתה צריך להעיד אמת, את כל האמת, ואם לא תעשה כן אתה צפוי לעונשים שקבועים בחוק, זה ברור לך? אתי איתי With_me-PP Etty-PN אתי השופט תאודור אור: בשעות הצהרים, מי הגיע איתך? איתי Itay-PN Ethical-ADJ אברהם בר: הגיע אתי ראשד, והיום נזכרתי שאלכסנדר הגיע איתי גם. אתי characteristics ובמשך כמה linguistic דקות Hebrew נשרפנו כבר, אז זרקו עלינו כל מיני אברהם בר: אנחנו שכבנו שם, לא זכור לי כמה זמן בדיוק, בקבוקי תבערה שם וצמיגים. כל השטח מולנו עלה בלהבות. אז נאלצנו לצאת משם ולחכות להוראות של אבו ריש. rich morphological structure highly inflected, function words as prefix השופט תאודור אור: אני רוצה להקריא לך קטע מההודאה שלך, שתאשר לי שאמנם כן הוא. אתה אומר בין היתר: "אבו ריש שלח את ראשד עם עוד מישהו מצד שמאל למוסך שהיה שם, הם vowels הגיעו Noלשם דרך איגוף. בזמן שהלכנו )לא ברור( את המתפרעים אלינו, ראשד הגיע באיגוף למקום שלו וירה גומי לעבר המתפרעים, שבשלב הזה זרקו עלינו Variations in non vocalized writing אבנים. ראשד פגע במישהו וראינו אותו שוכב על הריצפה, נוצרה סביב הבן אדם התקהלות ובא רכב סובארו ולקח שמבחוץ לסובארו מלא דם, אבו ריש ראינוNo explicit גרבייה, mark באקה אל for proper בצומת בכיוון nouns שבשלב ש-ב-שלב אותו. הסובארו בצבע תכלת עברה דרכנו צעק לראשד לחזור אלינו חזרה, ראשד חזר אלינו". אתה מאשר את הדברים האלה? That-in-the-stage בר אברהם: כן.... מורשד ראשד: עשינו את זה, אבל לא הצלחנו, למה שכבנו מאחורי סוללה וזרקו עלינו בקת בים והבעירו צמיגים וגלגלו אלינו. זרקו אבנים חוץ מזה.
בחוק, זה ברור לך? השופט תאודור אור: בשעות הצהרים, מי הגיע איתך?,חברי כנסת,חה כ,הח כ,ח כים,ח כ Acronyms: (>12000 parliament) (member[s] of חבר כנסת occurrences) Part of speech Tagging Lemmatization: אברהם בר: הגיע אתי ראשד, והיום נזכרתי שאלכסנדר הגיע איתי גם. אברהם בר: אנחנו שכבנו שם, לא זכור לי כמה זמן בדיוק, ובמשך כמה דקות נשרפנו כבר, אז זרקו עלינו כל מיני בקבוקי תבערה שם וצמיגים. כל השטח first מולנו עלה differentiate בלהבות. אז toנאלצנו of Verbs לצאתcase משםin ) ולחכות Lemmas להוראות של אבו ריש. and third person) השופט תאודור אור: אני רוצה להקריא לך קטע מההודאה שלך, שתאשר לי שאמנם כן הוא. אתה אומר בין היתר: "אבו ריש שלח את ראשד עם עוד מישהו מצד שמאל למוסך ( wordsשהיה שם, הם open-classהגיעו (other לשם דרך Lexemes איגוף. בזמן שהלכנו )לא ברור( את המתפרעים אלינו, ראשד הגיע באיגוף למקום שלו וירה, modalsגומי filter: לעבר but don t המתפרעים, words שבשלב הזה זרקו functionעלינו Filter אבנים. ראשד פגע במישהו וראינו אותו שוכב על הריצפה, נוצרה סביב הבן אדם התקהלות ובא רכב סובארו ולקח אותו. negations הסובארו בצבע תכלת עברה דרכנו בצומת בכיוון באקה אל גרבייה, ראינו שמבחוץ לסובארו מלא דם, אבו ריש צעק לראשד לחזור אלינו חזרה, ראשד חזר אלינו". אתה מאשר את Stop-words: 20 most frequent words only הדברים האלה? בר אברהם: כן. 498443 tokens post-processing... מורשד ראשד: עשינו את זה, אבל לא הצלחנו, למה שכבנו מאחורי סוללה וזרקו עלינו בקת בים והבעירו צמיגים וגלגלו אלינו.
Topic 0 Topic 1 Topic 2 Topic 3 Topic 4 Topic 5 Topic 6 Topic 7 Topic 8 Topic 9 Weapons Arab/conditio ns Factual/Naza reth Commission/ Procedural Factual/Rotem- Arabe Factual/Um m-al-fahm National/Arab- Jews relations Jerusalem/Pr eceding Events Chain of Command Police/Scrutin y of Command Meter Range Wound Dispersal Bullet Use Ammunition Bullet Distance Triplet If In_Fact Hit Experiment Examination Opinion Testimony Gas Means Grenade Jaffa Also Israel State Opinion Government Violence To_Be Arab Then Began Joined Nothing In_Deed Others Someone Group Will_Be System Think Intersection Meter Nazareth Threw Gas Side Team Stage Live Policemen Vehicle Stone Street Station Like Distance Ran There Exactly Near Testimony Were Asked Message October If Really Live Referred Witness Event Use Audience Meant Committee Investigate Today Happened Requested Mosque Village Olive Grove Bullet Heard Murmelstein Manda Sat Arabe Ankonina Where Car Microphone Lotem Clinic Meter Message Descended Sorry Years_Old Intersection Stage Umm Area Started City Station Vehicle Al Tried Restaurant Point Fahm Moment Really Thoroughfa re Also Around Resident Much State Arab Arab Israel Jewish Citizen Was Year Israeli Office Public Sector Palestinian Percentage Really Citizens Of_Course Member Manner Field Al Aqsa Newspaper Mosque Leadership Definition Want Regarding Rest Things From Sharon Role October Discourse Law Follow_Up Raad Laws Subject Use Minister Really Was Directive Chief_of_Pol ice Report Examination Sniper Asked Evaluation Gas District If Government Manner Operational Ascended Mount Down Belonging Asil Funding Enjoyed Shape Beaten Taken Mixed Yair Final Department Retire High Consistent Narrowing Situation Salame Task Asked Hit
Emotion-based threat perception National identity-based threat perception Circumstance-based threat perception Fear 30 State of Israel 281 Danger 277 Stress 28 War 29 Lethal Danger 157 Anxiety 3 Enemy 5 Riot 87
The Inquisitorial Commissioner Judges, 594327, 37% Rest, 1,008,967, 63%
Identifying Officers Testimony השופט תאודור אור: בשעות הצהרים, מי הגיע איתך? In 1425 cases: אברהם בר: הגיע אתי ראשד, והיום נזכרתי שאלכסנדר הגיע איתי גם. אברהם בר: אנחנו שכבנו שם, לא זכור לי כמה זמן בדיוק, words ובמשך 7 > כמה דקות question נשרפנו כבר, אז זרקו Commissioner עלינו כל מיני בקבוקי תבערה שם וצמיגים. כל השטח מולנו עלה בלהבות. yes אז=נאלצנו answer לצאת משם Officer ולחכות להוראות של אבו ריש. השופט תאודור אור: אני רוצה להקריא לך קטע מההודאה שלך, שתאשר לי שאמנם כן הוא. אתה אומר בין היתר: "אבו ריש שלח את ראשד עם עוד מישהו מצד שמאל למוסך שהיה שם, הם הגיעו לשם דרך איגוף. בזמן שהלכנו )לא ברור( את המתפרעים אלינו, ראשד הגיע באיגוף למקום שלו וירה גומי לעבר המתפרעים, שבשלב הזה זרקו עלינו אבנים. ראשד פגע במישהו וראינו אותו שוכב על הריצפה, נוצרה סביב הבן אדם התקהלות ובא רכב סובארו ולקח אותו. הסובארו בצבע תכלת עברה דרכנו בצומת בכיוון באקה אל גרבייה, ראינו שמבחוץ לסובארו מלא דם, אבו ריש צעק לראשד לחזור אלינו חזרה, ראשד חזר אלינו". אתה מאשר את הדברים האלה? בר אברהם: כן.