ETL – אינפלואו מומחים באינטגרציה בין מערכות ואוטומציה של תהליכים.  מעוניינים לבנות DWH ממספר מקורות? מסנכרנים מערכות ידנית?

מהו תהליך ETL

תהליך שליפת נתונים ממקור נתונים אחד והעתקתו למקור נתונים אחר תוך שינוי המבנה של הנתונים כך שיתאים ליעד.(Extract – Transfer – Load)

לתהליך ישנם 3 מטרת עיקריות :

1. בינה עסקית – יצירת data warehouse
2. אינטגרציה בין מערכות – סינכרון בין מערכות שונות , לעיתים תפעוליות.
3. אוטומציה של תהליך ידני

עבור בינה עסקית

תהליך ה ETL  קיים עשרות שנים והוא החל בצורך של ארגונים להעביר את המידע התפעולי לבסיס נתונים חיצוני (data warehouse) ע"מ לגבות את הנתונים וכן ע"מ לנתחם.מערכות מידע תפעוליות נשענות על בסיסי נתונים בהם נמצאים הנתונים הפיסיים של החברה,כאשר מנסים להפיק דו"ח שרץ על כמות גדולה של נתונים לדוגמא : לבצע השוואה בין שנה X ל Y  הפעולה הנ"ל גורמת לבסיס הנתונים "לעבוד קשה" ואי לכך לפגיעה בביצועיים של המערכת.

ניתן לראות זאת בחברות נותני שירות כגון חברות סלולר ובנקים בהם המסך של נותן השירות "תקוע". (כנראה שמישהו הריץ דו"ח גדול ברקע) על מנת להימנע מכך נולד הנושא של העתקת הנתונים בפעולה יזומה לבסיס נתונים אחר (לא התפעולי)   והרצת הדוחות לצורך ניתוח על בסיס הנתונים האחר. הנתונים בדרך כלל נמצאים במערכות רבות כגון : ERP, CRM, HR , מרכזיות טלפוניה, אתרי אינטרנט של הארגון, מערכות צד ג' שארגון עושה בהם שימוש כגון : google analytics, מערכת דיווח , מערכת Help desk ועוד אין סוף אופציות.

עבור אינטגרציה בין מערכות

בארגונים רבים ישנם מספר מערכות המבצעות פעולות באותו עולם התוכן אך בפועל אין קשר בינהן. כך נוצרים איים של נתונים, אך לעיתים יש צורך לאמת אחת.

להלן 2 דוגמאות:
ארגון שיש בו מערכת ERP אשר בה מנוהלים הפריטים, הלקוחות והמלאי, באותו הארגון ישנה מערכת CRM אשר שולטת על הקשר עם הלקוחות , התלונות על המוצרים ועוד…
במידה ונפתח פריט או לקוח חדש במערכת ה ERP מערכת ה CRM אינה מודעת לכך ויש צורך לעדכן אותה. בחלק מהחברות מעבירים ל CRM גם את כל פרטי הרכישה של הלקוחות.
הדרך לשמור אותם מסונכרנים הינה באמצעות תהליך ETL.

דוגמא נוספת: לחברה יש אתר אינטרנט מכירות והלקוח רוכש פריטים, הנתונים של המכירות צריכים להיכנס למערכת ה ERP הארגונית, ברבים מהארגונים הדבר מתבצע באופן ידני לחלוטין
כמו כן מצב המלאי וסטאטוס הפריטים אמור להתעדכן מהמערכת התפעולית.
הדרך של מערכות ל "דבר" אחת עם השנייה הינה בעזרת תהליכי ETL . כיום יש דרכים נוספות אך הן בעצם ETL שנכתב בקוד. לדוגמא: כתיבת API שכאשר פעולה מסוימת מתבצעת במערכת אחת הוא מעביר את הנתון למערכת השנייה. אך זה יכול לעבוד רק כאשר אכן יש לחברה שליטה על שתי המערכות . אפשר להפעיל ETL אשר יפעיל API / webservice כחלק מהתהליך.

אוטומציה של תהליך ידני

דוגמא אמיתית : חברת ביטוח קיבלה דוחות ידניים באקסל מהסוכנים בשטח. מדובר היה ב 150 סוכנים שפגשו 10 לקוחות ביום. 1500 הרשומות הללו הגיעו ב 150 קבצי אקסל שונים.
שתי מזכירות מחלקה הקלידו מידי יום את הרשומות למערכת. הפתרון הנכון היה לצייד את הסוכנים באפליקציה שתסתנכרן למערכת המידע אך כיוון שמדובר בפיתוח משמעותי ורכישת מכשירים חכמים מתאימים לסוכנים שאין להם , הוחלט לבצע עבודה של מספר ימים של Inflow ולייצר תהליך ETL שמושך את הנתונים מהדוחות ומזין אותם למערכת באופן אוטומטי.

אנו יודעים שבכל ארגון ישנם עדיין עובדים שמבצעים פעולות ידניות חוזרות ונשנות ומבזבנים לעיתים מספר ימים בחודש במצטבר.

תהליך ה ETL מורכב מ 3 חלקים:

Extract – בשלב זה מזהים את בסיס נתונים המקור ואת מבנה הנתונים (הטבלאות והשדות) או קבצים מסוגים שונים.

Transfer – שלב זה הוא המעניין ביותר, במקרה הפשוט בסיס נתונים היעד זהה במבנה למקור, כיוון שבדרך כלל אין לנו מזל כזה, יש צורך להסב את הנתונים ממבנה בסיס נתונים מקור למבנה בסיס נתונים יעד. לעיתים גם אנו מעוניינים להוסיף שדות ומידע כגון חישובים או לוגיקה .

Load – טעינה לאחר שעיצבנו את הנתונים לצרכינו אנו מעבירים את המידע לבסיס הנתונים היעד.

עם השנים הכלים בתחום הפכו להיות מתוחכמים ויעילים , בראשית הדרך בוצעו הפעולות בקוד – תכנות לכל דבר, כיום ישנם כלים המאפשרים לבצע את הפעולות בממשק גראפי ומאפשרים "משחק" רב עם המידע למימוש הצרכים. כמובן שככל שהכלים מאפשרים יותר הם עולים יותר וכאן המקום לכתוב שישנם סוגים שונים של כלים ויכולות

אנו ב inflow בוחרים את הכלי היעיל ביותר לצרכים.

כפי שניתן להבין שלב ה ETL הוא שלב מקדמי להקמת מערכת BI יעילה. התהליך נבנה לאחר ניתוח צרכים ומיפוי מקורות המידע ולאחר ההגדרה התהליך הוא אוטומטי ומתרחש באופן מתוזמן.ישנם כלי ETL רבים בשוק, הם מתחלקים בין אלו של החברות הגדולות לבין כלי ה open source כמובן שההבדל המשמעותי הוא המחיר.
הגדולות : לדוגמא : Informatica , SSIS, Datastage
קוד פתוח : Pentaho, Clover, Jasper , Talend

אנו עובדים בעיקר עם Pentaho , הכלי נבחר לאחר בחינת עשרות כלים ו Inflow היא החברה המובילה בארץ בכלי Pentaho kettle.

אז אם

• האם אתם רוצים לחבר מספר מערכות על מנת לבצע בינה עסקית ?
• האם מערכת הERP לא "מדברת" עם מערכת ה CRM  ?
• האם יש לכם אתר אינטרנט ומערכת ERP ואתם מבצעים סינכרון ידני?
• האם אתם מפיקים דוחות לאקסל ואז מחברים נתונים ממקורות אחרים כול שבוע?
• האם אתם מבצעים copy paste לאקסל ומעבדים אותו?
• האם אתם אוספים נתונים באופן ידני ממספר מקורות ? כגון קבצי אקסל שונים המגיעים   מסוכנים / ספקים / לקוחות מחברים אותם ומפיקים דוחות?
• האם אתם שולחים דוחות באופן ידני לנמענים כל שבוע / חודש ומבזבזים על כך זמן יקר?

חברת Inflow יכולה לחסוך לכם זמן וכסף ע"י מיחשוב ואוטומציה של התהליך.
חברת Inflow היא הכתובת עבורכם.

חברת Inflow מתמחה בפיתוח בינה עסקית וביצוע אינטגרציה בין מערכות שונות. הכלי המרכזי איתו אנו מבצעים את האינטגרציה הינו Pentaho Kettle – PDI. ביצענו פרויקטי מורכבים בחברות Gaming , אופציות בינאריות, תקשורת, מזון , תאגידי מים ועוד. כמו כן פיתחנו קורס מלא אודות מימוש אינטגרציה באמצעות Pentaho kettle  בפלטפורמת UDEMY. עד כה לקחו את הקורס מעל 800 סטודנטים והוא זוכה להצלחה רבה.

להסבר נוסף – קישור לויקיפדיה