הסבר והתקנת ELK – ElasticSearch | Logstash | Kibana

תמליל

1 הסבר והתקנת ELK ElasticSearch Logstash Kibana במאמר זה אסביר כיצד עובד ELK מהם הכלים בתוכו וכיצד נשתמש בו. ELK ELK הוא קיצור של שלושת הכלים במערכת ELK היא מערכת לאיסוף נתונים וסידורם, בדומה למערכת SIEM האוספת נתוני אבטחת מידע מלוגים Syslog, או כל פורמט של התראות או מידע, כך עושה ELK והוא מסדר ומאפיין את המידע כך שיהיה קל יותר לחפש, לבדוק, לאתר התראות או לוגים מתוך מערכת מסויימת. המערכת עוזרת לנתח, לאגד, לאסוף נתונים ממערכות שונות ובכך לעזור לאבטח את הארגון מבחינת איסוף נתונים הכלים שבונים את ELK Stack הם : ElasticSearch מערכת לניתוח טקסט מבוססת Apache Logstash מערכת לוגים האוספת ומאגדת אותם, היא אוספת לוגים ממערכות שונות כמו winlogbeat,filebeat,metricbeat Kibana היא המערכת הוויזואלית, המציגה בצורה נוחה למשתמש את הלוגים, ומכילה את בתוכה את ElasticSearch ו Kibana ושלל אפליקציות העוזרות לניתוח המערכת

2 כלי נוסף במערכת הוא Beats המעביר לוגים אל ELK מכל מערכת Linux & Windows יש כמה כלים ל Beats אבל נתמקד בשלושה winlogbeat מעביר לוגים מתוך Eventviewer של מיקרוסופט וניתן להגדיר איזה לוגים הוא ישלח ל ELK filebeat מתוך קובץ לוגים הנמצא במחשב \ שרת הוא ישלח וניתן להגדיר כמה קבצים שרוצים metricbeat שולח לוגים לגבי מצב המעבד, זיכרון ה,RAM דיסקים וכל ניטור אחר הקיים במערכת Packetbeat אוסף נתוני רשת על התחנה Heartbeat בודק אם התחנה עובדת האם התחנה חיה? יש עוד כלי Beats את כולם ניתן למצוא בקישור הבא אנחנו נתמקד ב בתמונה מתוך האתר *כל הזכויות שמורות ל *Elastic

3 ניתן להבחין שמערכת ה Beats מעבירה מידע ל Logstash ומשם המידע מועבר ל ElasticSearch ואז ל Kibana וכך המערכת אוספת את הנתונים ומסדרת אותם תחילה נבצע את ההתקנה ולאחר ההתקנה אסביר על הפעולות אותם ניתן לבצע ב ELK הדרישות Ubuntu Windows Server עם ) IIS על מנת שנוכל לאסוף לוגים ולהציגם במערכת( וגם מותקן Active Directory כ Domain Controller

4 תחילה בצעו עדכון למערכת Bridge הגדירו את כרטיס רשת sudo apt-get update על מנת לבצע התחברות מרחוק SSH כעת התקינו apt-get install openssh-server Ubuntu הקישו את שם המשתמש שיצרתם בהתקנה של, אל המערכת Putty כעת התחברו דרך והקישו sudo -i ונוכל לבצע את ההתקנה בצורה קלה יותר Root כעת אתם עובדים עם המשתמש nano נתקין apt-get install nano נתחיל בהורדה של שלושת הרכיבים והתקנתם והגדרתו Java נתחיל בהורדה של sudo apt install openjdk-11-jdk java -version update-alternatives config java echo "JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64/" /etc/environment source /etc/environment sudo echo $JAVA_HOME >>

5 כאשר אתם מקישים את הפקודה sudo echo $JAVA_HOME Output חובה שתקבלו את ה /usr/lib/jvm/java-11-openjdk-amd64/ Java מחייב אותנו לעבוד עם Logstash שכן ELK להפעלה ב Https כעת נוריד את ההגדרה של sudo apt-get install apt-transport-https Elastic נתחיל מהורדה והתקנה של wget -qo - sudo apt-key add echo "deb stable main" sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list sudo apt-get update && sudo apt-get install elasticsearch ונתקין Kibana נוריד את echo "deb stable main" sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list sudo apt-get update && sudo apt-get install kibana Logstash כעת נוריד ונתקין את sudo apt-get update && sudo apt-get install logstash נערוך Kibana על מנת שנוכל להיכנס מכל מחשב ל Kibana.yml אך תחילה נערוך את הקובץ את הקובץ sudo nano /etc/kibana/kibana.yml ממש כמו בתמונה ונכניס server.hosts מ # נוריד את

6 9200 בפורט Kibana ואז ל 5044 יגיע לפורט Beats נגדיר שכל לוג שמגיע מ cd /etc/logstash/conf.d nano logstash.conf נכניס לתוך הקובץ את הנתונים הבאים ולאחר מכן נשמור את הקובץ input { beats { port => 5044 } } output { elasticsearch { hosts => "localhost:9200" manage_template => false index => "%{[@metadata][beat]}-%{+yyyy.mm.dd}" document_type => "%{[@metadata][type]}" } } filebeats כעת נתקין את curl -L -O amd64.deb sudo dpkg -i filebeat amd64.deb דרכו נכנס למערכת 5601 לפורט FW נגדיר חוק ב

7 sudo ufw allow 5601/tcp נגדיר שכל האפליקציות יעלו אחרי ריסט sudo sudo sudo sudo systemctl systemctl systemctl systemctl enable enable enable enable kibana filebeat logstash elasticsearch כעת נפעיל את כל האפליקציות sudo service kibana start sudo service logstash start sudo service elasticsearch start כעת נכנס אל המערכת כעת המערכת עלתה הוא כל מ winlogbeat של Index לדוגמה, הם הלוגים המתקבלים מהמערכות השונות Index ElasticSearch ומשם ל Logstash שולח ל winlogbeat העתיקו אותם filebeat ואת winlogbeat נוריד תחילה את, על מנת שנתחיל לקבל נתונים IIS בו קיים ה Windows Server לשרת שלכם ה C חלצו אותם לכונן, ברגע שהורדתם את הכלים

8 Winlogbeat כעת פתחו Powershell עם הרשאות מנהל נכון לכתיבת שורות אלו גרסה היא זו שהופצה וכעת יצאה גירסה 2.0 אין בעיה לעבוד עם,2.0 רק התאימו את השמות של התיקייה ל 2.0 הקישו את הפקודה, על מנת להכנס לתיקייה שחילצתם, אם הגירסה שונה שנו את הפקודה בהתאם cd c:\winlogbeat windows-x86_64 כעת נתקין את winlogbeat powershell.exe -ExecutionPolicy Bypass -File install-service-winlogbeat.ps1 כעת הוא יציג לנו ששירות בשם winlogbeat התווסף למערכת והוא אינו פועל, אל תפעילו אותו עדיין

9 (++notepad )עדיף עם winlogbeat.yml כעת היכנסו לתיקייה וערכו את הקובץ כדי שלא יחול # והכניסו סולמית output.elasticsearch כעת בתוך הקובץ הכניסו ל #output.elasticsearch hosts: localhost וגם ל #hosts: [ localhost:9200 ] כעת הסירו את הסולמית ל #output.logstash ומ

10 ] hosts: [ IP במקום ה IP של output.logstash הזינו את הכתובת IP של ה ELK נגדיר ל winlogbeat להתקין את הפאנל ברירת המחדל, כך שהנתונים יוצגו בצורה ויזואלית יותר כעת בשורה הזו, הסירו את ה # והגדירו את כתובת ה IP של ELK כעת חזרו ל Powershell והקישו את הפקודה cd c:\winlogbeat windows-x86_64.\winlogbeat.exe setup dashboards *ברגע שתבצעו את יצירת ה Dashboard לא תצטרכו לייצר Index בהמשך שכן הוא כבר נוצר כעת יש להוסיף # ל output.elastic search ול hosts שלו כעת הכניסו את הכתובת ה IP של ELK שלכם, זה צריך להיראות כמו בתמונה

11 כעת נפתח את Services.msc ושם נפעיל את השירות winlogbeat זהו, סיימנו להתקין את,winlogbeat עוד נחזור אליו בהמשך שנרצה להגדיר עוד התראות לעוד Events

12 FileBeat filebeat כעת אותו דבר נתקין את נכנס ל cd c:\filebeat windows-x86_64 filebeat נתקין את powershell.exe -ExecutionPolicy Bypass -File install-service-filebeat.ps1 ++notepad נערוך אותו עם

13 winlogbeat נבצע את אותה ההגדרה כמו ב # הסירו את הסולמית output.elasticsearch מתוך השורה #output.elasticsearch hosts: localhost וגם ל #hosts: [ localhost:9200 ] הסירו את הסולמית ל #output.logstash ומ hosts: [ IP ]

14 כעת הכניסו בשורה למעלה בדיוק כמו בתמונה את הנתיב *\*\ c:\inetpub\logs\logfiles כעת חפשו בשורה setup.kibana מתחת יש את השורה " #host: "localhost:5601 שנו את הכתובת לכתובת ה IP שלכם ואל תשכחו להסיר את #!!!! " host: " :5601 הכוכביות זה בגלל שהלוגים של IIS נמצאים בתוך תיקיות ב logfiles שכל תיקייה כזו יכולה להיות אתר

15 IIS נפעיל את מודל ה IIS כעת על מנת לוודא שנקבל לוגים מ כעת מצאו את השורה setup.dashboards.enabled: false שנו ל setup.dashboards.enabled: true Powershell הקישו ב Powershell נחזור ל.\filebeat.exe modules enable iis בדקו כי הוא מופעל על ידי הפקודה.\filebeat.exe modules list כעת בצעו התקנה.\filebeat.exe setup -e Dashboards כעת נגדיר את ה filebeat setup --dashboards בהמשך שכן הוא כבר נוצר Index לא תצטרכו לייצר Dashboard *ברגע שתבצעו את יצירת ה כעת ולסיום היכנסו לנתיב C:\filebeat windows-x86_64\modules.d ערכו את הקובץ iis.yml הכניסו בו את ההגדרות הבאות

16 - module: iis access: enabled: true var.paths: ["C:/inetpub/logs/LogFiles/*/*.log"] error: enabled: true var.paths: ["C:/Windows/System32/LogFiles/HTTPERR/*.log"] שמרו וצאו filebeat הפעילו את ELK נחזור ל, במערכת Indexes כעת יווצרו לנו נקיש winlogbeat בכדי לקבל את כל הלוגים של winlogbeat* Next step ואז לחצו על

17 כעת בחרו שהפילטר שיסדר את כל הלוגים הוא לפי זמן

18 Create index pattern ואז לחצו על filebeat ל Index על מנת ליצור Create Index Pattern כעת לחצו שוב על כעת רשמו filebeat*

19 לחצו הבא ואז סמנו timestamp בדיוק כמו ב winlogbeat וצרו את ה,index כעת יצרתנו,index 2 לחצו שוב על Discover

20 כעת יופיע כל הנתונים, מתוך הרשימה ניתן לבחור איזה Log Beat להציג כעת לאחר שהתקנו את המערכות והם שולחים לוגים אל ה,ELK נעשה בדיקה קטנה, נבחר את

21 filebeat כעת אקיש את כתובת ה IP של השרת IIS שלנו ואכנס אליו כעת אעבור ל ELK

22 בחיפוש אקיש את הכתובת ממנה גלשתי ל הכתובת היא ונבדוק אם הכתובת מופיע מצויין, עד כה עשינו חיפוש פשוט במערכת ובלוגים הנשלחים אלינו כעת למטרה הראשית, כעת נכין DashBoard ובו נתונים שמעניינים אותנו לדוגמה, איפוס סיסמא ב,Active Directory מתי בוצע האיפוס? מי ביצע את האיפוס סיסמא? ולמי ביצעו את האיפוס סיסמא? כך נוכל ליצר Dashboard שבו נקבל את המידע הזה בקלות. נפתח את ה Windows Server ונפתח את,Active Directory יצרתי משתמש בשם Noy כעת נבצע איפוס סיסמא

23 כעת אפתח עוד משתמש בשם Liya אבל למשתמש זה לא האפס סיסמא כיוון שיצירת משתמש חדש והגדרת סיסמא למשתמש מוגדר כאיפוס סיסמא נפתח את,Event Viewer ניתן לפתוח את Run ולהקיש eventvwr.msc ושם נחפש את ה EventID שמספרו 4724 זה Event שנוצר כאשר למשתמש בוצע איפוס סיסמא כעת אחזור למערכת ELK ושם אבצע חיפוש ל 4724 כעת לחצו על החץ הקטן )מסומן באדום(

24 אלו כל הנתונים שקיבל ה ElasticSearch מ Winlogbeat כעת נרד קצת למטה, ונבדוק איפה כתוב, Noy המשתמש שסיסמתו אופסה, והמשתמש שאיפס שהוא Administrator זאת על מנת ליצור את ה Dashboard

25 חדש ונדביק את הנתונים כמו כאן Notepad נפתח Dashboard כיוון שכך נוכל ליצור את ה, למה אנחנו צריכים את ההגדרות האלו The User Password Change: winlog.event_data.targetusername Who Change The Password: winlog.event_data.subjectusername When Password הראשון שלנו Dashboard וכעת ניצור את ה add ואז Dashboard נלחץ בצד שמאל על

26 Add New Visualization כעת נלחץ על

27 Data Table כעת על

28 winlogbeat וכעת על

29 כעת נלחץ על Add Filter ואז נבחר \ נרשום winlog.event_id ואז נבחר is ואת ה Event ID שהוא 4724

30 כעת נגדיר שיוצגו לוגים 15 יום אחורה כעת בצד שמאל

31 Split Rows כעת לחצו על זה לפי winlog.event_data.targetusername כמובן ש, ואז הגדירו את כל ההגדרות הבאות :The User Password Change כתבתי Costum Label הלוג שמקודם הוצאנו ואז ב

32 בסיום לחצו על,Play מסומן באדום כעת נוצר לנו צורה בה יש שם משתמש שלו שונה הסיסמא וכמות הפעמים

33 כעת נמשיך, בצד שמאל ממש למטה נלחץ על Add Sub-buckets ואז שוב Split Rows כעת ניצור עוד אחד של winlog.event_data.subjectusername שבו אנו מגדירים מי היוזר ששינה את הסיסמא

34 עכשיו ניצור עוד אחד באותה הדרך והפעם מתי שונתה הסיסמא

35 נשמור כעת )מסומן באדום(

36 ניתן שם

37 מצויין! יצרנו לוח ראשון ל Dashboard כעת נעבור ל Dashboards נלחץ על Add כעת נחפש הלוח שיצרנו

38 נלחץ עליו מצויין! יש לנו לוח שבו מוצג לנו איפוס הסיסמאות, נוכל באותה הדרך ליצור תרשים עוגה Pie ניצור Pie במקום Data Table נכניס את הנתונים הבאים

39 ובתוצאה הסופית, נקבל תרשים עוגה שבו נבין איזה משתמש יש לו הכי הרבה איפוסי סיסמא

40 הגדרה נוספת שנשאלת הרבה, היא מציאת משתמשים שננעלו בארגון ואיזה מחשב נעל אותם, תשובה לשאלה הנפוצה למה היוזר ננעל? ומאיפה? ה Event ID שאחראי לזה הוא 4740 ואלו 2 ההגדרות שמציגות מי היוזר שננעל ומאיזה תחנה winlog.event_data.targetusername winlog.event_data.targetdomainname

41 כעת ניתן להבחין מי היוזר שננעל

42 וכעת נוסיף מאיזה תחנה

43 כעת נוסיף אותו ל Dashboard שלנו, והופה!

44 Packetbeat הוא כלי לאיסוף נתוני רשת מתוך התחנה, למשל לאיזה כתובת IP התחנה ניגשה, כמה בקשות Http לעומת Https וכו נתחיל בהורדה של Packetbeat מכאן והורידו והתקינו את התוכנה winpcap לאחר שהתקנתם את Winpcap נמשיך, העתיקו את התיקייה של packbeat ל :c כעת בתוך התיקייה נערוך את packbeat.tml שהוא קובץ ההגדרות )נא לבצע את זה בעזרת ++notepad או כל עורך טקסט אחר(

45 סולמית לשורות הבאות # כעת נוסיף #output.elasticsearch: #hosts: ["localhost:9200"] סולמית מהשורות הבאות # נסיר output.logstash: # The Logstash hosts hosts: [" :5044"] ELK של IP ונכניס את כתובת ה

46 כעת עוד קצת למעלה הסירו # מהכתובת IP של, setup.kibana ממש כמו בתמונה, והכניסו את הכתובת IP של ELK כעת ניתן להבחין בכל הפורטים ש Packetbeat ינטר, ניתן להוסיף פרוטוקולים משלכם, כל עוד הם ברשימה של Packetbeat

47 כעת נפתח Powershell עם הרשאות מנהל ונתקין את Packetbeat./install-service-packetbeat.ps1 כעת נתקין את ה Dashboards שנוכל להשתמש כברירת מחדל אם נרצה

48 ./packetbeat.exe setup --dashboards packetbeat כעת נפעיל את על מנת לייצר לוג שבו נכנסו לאתר, נכנסתי לאתר שלי

49 וברגע שהגדרתי packetbeat והכנסתי בחיפוש shushan.co.il הוא מצא את הלוג כעת עברתי ל Dashboards ושם הכנסתי 2 לוחות שהם ברירת מחדל והגיעו בהתקנה שבצענו למשל כמה בקשות http וכמה בקשות DNS בוצעו כל הזכויות שמורות לטל בן שושן Shushan.co.il