קורס ELK Stack

Q: איך משלבים ELK בתהליכי DevOps?

ELK משתלב היטב בתהליכי DevOps דרךניטור אוטומטי של תהליכי CI/CDאיסוף מטריקות ביצועיםהתראות אוטומטיות על בעיותדשבורדים לניטור תהליכי פיתוחאינטגרציה עם כלי אוטומציה

Q: איך מבטיחים אבטחה במערכת ELK?

יש מספר שכבות אבטחה חשובותהגדרת אימות והרשאות משתמשיםהצפנת תעבורה בין רכיבי המערכתהגדרת RBAC (Role-Based Access Control)ניטור גישה ופעילות חשודההקשחת הגדרות ברירת המחדל

קורס ELK Stack

על הקורס

קורס ELK Stack מציע הכשרה מקיפה בפלטפורמת הניטור והאנליטיקה המובילה המורכבת מ-Elasticsearch, Logstash, ו-Kibana. הקורס מכסה את עקרונות איסוף, עיבוד וניתוח לוגים ומידע בזמן אמת, כולל התקנה, קונפיגורציה, וניהול של סטק ELK בסביבות ייצור.

ELK Stack הינו פלטפורמה המאפשרת למשתמשים לאגור ולעבד מידע ממספר מקורות ולשמר אותם במאגר נתונים מרכזי.

ה- ELK Stack מורכב מהרכיבים הבאים:

Elasticsearch הינו קוד פתוח שמאפשר חיפוש טקסט מלא וגם מנוע ניתוחי, המבוסס על מנוע חיפוש Apache Lucene.
Logstash הינו קוד פתוח שאוגר קבצי לוג ממספר מקורות ומבצע בהם שיפורים ושינויים בהתאם.
Kibana הינו קוד פתוח שמאפשר שכבת הדמיה על גבי Elasticsearch ולבצע ניתוח על המידע שמתקבל.
Beats הינם סוכנים קלים מותקנים על מארחים של edge שמטרתו לאסוף סוגים שונים של נתונים והעברתם ל- Stack.

יחד, הם משמשים לניטור, פתרון בעיות ואבטחת סביבת IT (אם כי ישנם עוד שימושים ב- ELK Stack כגון BI וניתוח אתרים).

Beats ו- Logstash דואגים לאיסוף ועיבוד הנתונים, Elasticsearch מבצע אינדקס ומאחסן את המידע. Kibana מספקת ממשק משתמש לשאילתה והצגת נתונים.

מדוע ELK Stack פופולריים?

היא מספקת את הצורך בניהול ואנליזה של קבצי לוג, ניטור אפליקציות מודרניות.
תשתית ה- IT שמספק ELK מאפשר למפתחים לנטר תחת סביבות מבוזרות, דינמיות ורועשות.
היא מספקת פלטפורמה עוצמתית שאוספת ומעבדת נתונים ממספר מקורות, מאחסנת אותם במאגר נתונים מרכזי אחד שיכול להתרחב בהתאם ומספק כלים לניתוח המידע.
ארגוני ה- IT מעדיפים מוצרי קוד פתוח כיוון שזה מונע מהם להיצמד מול ספק יחיד ומקל על הכנסת עובדים חדשים.
קיים קהילה שכל הזמן מניעה התחדשות, תוכנות חדשות ומספקת עזרה במקרה הצורך.
באופן יחסי למתחרה שלה (Splunk), היא מספקת את השירות שלך בעלות הרבה יותר נמוכה.
Splunk הובילה בתחום, אך השרות שהם מציעים משתלם באופן יחסי במיוחד עבור חברות קטנות כגון מוצרי SaaS וסטארטאפים. ל- Splunk יש כ- 15,000 לקוחות בעוד שמספר ההורדות עבור תוכנת ה- ELK Stack עובר את מספר הלקוחות של Splunk בחודש. אולי ל- ELK Stack לא מכיל את כל התכונות של Splunk, אבל אין צורך במרביתם. ה-ELK Stack הינה פלטפורמת ניהול וניתוחית פשוטה אך חזקה שעולה חלק קטן ממחיר Splunk.

מדוע ניתוח לוגים נהיה כה חשוב?

בעולם התחרותי של היום, ארגונים אינם יכולים להרשות לעצמם שנייה שהשבתה או איטיות ביישומים שלהם. בעיות אלו יכולים לפגוע במותג ובמקרים מסוימים להתבטא בהפסד הכנסות. מאותה סיבה, ארגונים אינם יכולים להרשות גם לעצמם להתפשר, אי עמידה בתקנים רגולטוריים עלולה לגרום לקנסות ולפגוע ולפגוע בעסק.

כדי לוודא שאפליקציות זמינות, ביצועיות מאובטחות בכל עת, מהנדסים מסתמכים על סוגי הנתונים השונים שנוצר מהיישומים שלהם או התשתיות שתומכות בהם. נתונים אלה, בין אם הם לוג ו/או מדדים מאפשרים ניטור של מערכות אלה ופתרון בעיות שהן מתרחשות.

לוגים תמיד היו קיימים וכן גם כלים שנועדו לנתח אותם. אולם מה שהשתנה הוא ההבנה של הארכיטקטורות שמפיקות את הלוגים ואת כמות הלוגים שהן מפיקות. תם העידן שבו מהנדסים נהגו לבדוק בלוגים בכל מערכת בעזרת SSH פשוט.

כאן ה-ELK מביא את הפתרון עבור המהנדסים, מאפשר לוודא שכל האפליקציות זמינות ומתפקדות בכל עת.

מערכות ניהול לוגים מודרניות כוללות את הפונקציונליות הבאות:

איסוף - לאגור ולשלוח לוגים ממספר מקורות.
עיבוד - לשנות את תצורת הלוגים לתצוגה נוחה וקלה לניתוח.
אחסון - ביצוע שמירה של נתונים לטווח ארוך בשביל מעקב, ניתוח ובשביל אבטחה.
ניתוח - ניתוח באמצעות שאילתות ויצירת תצוגה גרפית להצגת התוצאות.

התקנת ELK

ניתן להתקין את ה- ELK במגוון שיטות, מערכות הפעלה וסביבות. ניתן להתקין את ה- ELK ברמה המקומית, בענן, ניתן גם לשלב באמצעות Docker וגם מערכות ניהוליות אחרות כגון Ansible, Puppet וב- Chef. ישנה אפשרות לבצע התקנה באמצעות tarball או .zip

רוב ההתקנות זהות מסביבה אחת לאחרת ולא נוכל לכסות את כל התרחישים השונים, ניתן דוגמה להתקנת כל הרכיבים הבאים ב- Linux:
Elasticsearch, Logstash, Kibana ו- Bearts.

דרישות התקנת ELK

כדי להתקין כראוי, עליך להכין מכונה בעלת AWS Ubuntu 18.04 (בדוק 20.04) שמשתמשת בזיכרון המקומי שלה. מופע EC2 מאותחל בתת הרשת הציבורית של ה-VPC ולאחר מכן מוגדרת חבילת אבטחה (firewall) שתאפשר גישה מכל מקום באמצעות SSH ו-TCP 5601 (Kibana). לבסוף נצטרך להגדיר כתובת IP גמישה ולשייך אותה למכונה כדי להתחבר לאינטרנט.
*** ההתקנות הבאות מבוססות על גרסה 6.2 גרסאות מתקדמות יותר ידרשו התקנות נוספות כגון X-Pack עבור התקנות בסיסיות.

ידע ב ELK Stack הכרחי למהנדסי DevOps

במהלך לימודי DevOps ההתמקדות ב-ELK Stack היא חלק בלתי נפרד מההכשרה. ELK הוא ראשי תיבות של שלושה מוצרים: Elasticsearch, Logstash ו-Kibana, המשמשים לאיסוף, אנליזה וויזואליזציה של נתוני לוג. בקורס, המשתתפים לומדים איך להגדיר, להתקין ולהפעיל את ה-ELK Stack, ואיך להשתמש בו כדי לנתח ולהבין את הנתונים הנגרמים מהאפליקציות והשירותים השונים. הידע בכלים אלה מאפשר לצוות ה-DevOps לזהות בצורה מהירה בעיות ואתגרים, לקבל החלטות מבוססות על מידע אמין ולשפר את התהליכים בארגון.

להמשך קריאה

למה כדאי ללמוד ELK Stack ?

סטק ELK הפך לסטנדרט בתעשייה לניהול לוגים ואנליטיקה בזמן אמת. הקורס מכין את המשתתפים להקים ולנהל מערכות ניטור ואנליטיקה מתקדמות, ולהפיק תובנות משמעותיות ממידע מבוזר. בוגרי הקורס יוכלו להוביל פרויקטי ניטור וניתוח מידע בארגונים.

מה לומדים בקורס ELK?

חלק 1: Elasticsearch

הקורס מתחיל בלימוד מעמיק של Elasticsearch, שהוא מנוע החיפוש והאנליטיקה בליבת המערכת. הסטודנטים לומדים על הארכיטקטורה והעקרונות הבסיסיים של המערכת, כולל איך היא מאחסנת ומארגנת מידע. הם מתעמקים בתהליכי Indexing ו-Mapping שמגדירים איך המידע נשמר ומאורגן, לומדים את שפת השאילתות הייחודית (Query DSL) לחיפוש מידע, ועובדים עם Aggregations לניתוח נתונים מתקדם. בנוסף, הם רוכשים מיומנויות בניהול Cluster להבטחת ביצועים ויציבות.

חלק 2: Logstash

החלק השני מתמקד ב-Logstash, כלי עיבוד הנתונים של המערכת. הסטודנטים לומדים על קונפיגורציה והגדרות בסיסיות, עובדים עם מגוון Input Plugins לקליטת מידע ממקורות שונים, ומתרגלים שימוש ב-Filters לעיבוד ועיצוב המידע. הם לומדים להגדיר Output Configuration להעברת המידע המעובד ליעדים שונים, ורוכשים כלים לכוונון ביצועים (Performance Tuning) להבטחת עיבוד יעיל של הנתונים.

חלק 3: Kibana

בחלק השלישי הסטודנטים לומדים על Kibana, ממשק הויזואליזציה והניתוח של המערכת. הם מתרגלים יצירת Visualizations מסוגים שונים להצגת המידע בצורה גרפית, בונים Dashboards אינטראקטיביים למעקב ובקרה, ולומדים להגדיר מערכת התראות חכמה. הקורס מכסה גם עבודה עם Canvas ליצירת מצגות דינמיות, ושימוש ב-APM (Application Performance Monitoring) לניטור ביצועי אפליקציות.

חלק 4: ניהול ותפעול

החלק האחרון עוסק בניהול ותפעול המערכת בסביבת ייצור. הסטודנטים לומדים להגדיר High Availability להבטחת זמינות גבוהה, מתרגלים תהליכי Backup ושחזור להגנה על המידע, ומעמיקים בנושאי אבטחה. הם גם רוכשים כלים לאופטימיזציית ביצועים והגדרת מערכות ניטור לזיהוי ופתרון בעיות. חלק זה מכין את הסטודנטים להפעלה ותחזוקה של מערכת ELK בסביבה ארגונית.

מה לומדים בקורס ELK?

חלק 1: Elasticsearch

חלק 2: Logstash

חלק 3: Kibana

חלק 4: ניהול ותפעול

למי מיועד הקורס?

מנהלי מערכת.
מהנדסי QA.
מהנדסי DevOps.
מנהיג קבוצה.
מתכנתי/מהנדסי מערכות לינוקס.

תנאי קבלה

ידע בסיסי בלינוקס
הבנה בסיסית ברשתות
היכרות עם JSON
ידע בסיסי ב-REST APIs

מיומנויות וטכניקות

Elasticsearch

Cluster Management
Index Management
Query DSL
Mapping Configuration
Aggregations
Performance Tuning
Security Setup
Snapshot & Restore

מבנה הקורס

פרק 1

מה זה ELK Stack?

פרק 2

ELK stack components

פרק 3

Why is ELK Stack popular ?

פרק 4

What are log management systems?

פרק 5

How to use ELK Stack for log analysis?

על המרצה

דמיטרי דנילוב

ראש תחום DEVOPS ואוטומציה.

בעל תואר ראשון במדעי המחשב במכללת הדסה ירושלים.
מנהל קבוצת DevOps בחטיבת הפיתוח ואת המרצים בחטיבת ההדרכה של ב RT-Group
בעל ניסיון של מעל 5 שנים באוטומציה והטמעת DevOps ללקוחותינו.
אחראי על תהליך ההתמחות המעשית (בסיום הקורס).

מה מספרים בוגרי המכללה?

שניר
בוגר קורס DevOps

הגעתי לקורס DevOps כדי להתמקצע בתחום ולהרחיב את הידע שלי. במהלך הקורס למדנו לעומק טכנולוגיות מובילות כמו Docker, Kubernetes, CI/CD ו-AWS. המרצים, בעלי ניסיון מעשי עשיר מהתעשייה, העבירו את החומר בצורה מקצועית וברורה. הפרויקטים המעשיים העניקו לי הזדמנות להתמודד עם אתגרים אמיתיים המדמים עבודה בסביבת תעשייה.

עמית
בוגר קורס DevOps

הגעתי עם רקע בתחום הסיסטם. התכנית כללה לימוד מעמיק של Linux, Networking ו-Python. ההתמחות בליווי מנטורים מנוסים מהתעשייה הייתה גורם מרכזי בהצלחתי ובהשתלבותי המקצועית.

אלעד
בוגר קורס DevOps

בן 27, בוגר כלכלה בהצטיינות. במהלך הלימודים השתלבתי בעבודה כ-DevOps Junior. הקורס כלל לימוד תהליכי עבודה, אוטומציה ותשתיות ענן, שהכינו אותי להתמודד עם אתגרי התעשייה בצורה מקצועית.

סבינה
בוגר קורס DevOps

עברתי הסבה מ-QA לתחום ה-DevOps. הקורס התחיל מיסודות Linux ו-Networking והמשיך לטכנולוגיות מתקדמות ועדכניות. הדגש על התנסות מעשית העניק לי את הביטחון והכלים הדרושים להשתלבות מוצלחת בשוק העבודה.

תשובות לשאלות נפוצות

איך הקורס יעזור לכם להבין טוב יותר את המערכות שלכם?

תלמדו לאסוף, לנתח ולהציג מידע ממערכות מורכבות בצורה ויזואלית וברורה. תתנסו בבניית דשבורדים מתקדמים וניטור בזמן אמת.

האם תלמדו לזהות בעיות במערכת לפני שהן קורות?

כן, תלמדו להגדיר התראות חכמות, לזהות מגמות ולחזות בעיות פוטנציאליות. ההתמחות תכלול עבודה על מערכות אמיתיות.

מה ייחודי בגישת הלימוד שלנו?

אנחנו מתמקדים בתרחישים אמיתיים מהשטח. תעבדו עם נתונים אמיתיים ותלמדו מניסיונם של מומחים שעובדים עם ELK בחברות גדולות.

האם צריך להיות מתכנת כדי להשתמש ב-ELK?

לא חייבים להיות מתכנת, אבל נדרשת הבנה טכנית בסיסית. ידע בסיסי ב-JSON ו-Linux יכול לעזור מאוד. רוב הפעולות הבסיסיות נעשות דרך ממשקים גרפיים, במיוחד ב-Kibana, אבל ידע בכתיבת שאילתות יכול להועיל מאוד.

מה זה ELK ולמה משתמשים בו?

ELK הוא סט כלים המורכב מ-Elasticsearch (מנוע חיפוש), Logstash (עיבוד נתונים), ו-Kibana (ויזואליזציה). משתמשים בו בעיקר לניתוח לוגים, ניטור מערכות, וניתוח נתונים בזמן אמת. היתרון הגדול שלו הוא היכולת לאסוף מידע ממקורות שונים, לעבד אותו, ולהציג אותו בצורה ויזואלית וברורה.

איך משלבים ELK בתהליכי DevOps?

ELK משתלב היטב בתהליכי DevOps דרך: ניטור אוטומטי של תהליכי CI/CD איסוף מטריקות ביצועים התראות אוטומטיות על בעיות דשבורדים לניטור תהליכי פיתוח אינטגרציה עם כלי אוטומציה

איך מבטיחים אבטחה במערכת ELK?

יש מספר שכבות אבטחה חשובות: הגדרת אימות והרשאות משתמשים הצפנת תעבורה בין רכיבי המערכת הגדרת RBAC (Role-Based Access Control) ניטור גישה ופעילות חשודה הקשחת הגדרות ברירת המחדל