Skip to main content

Business Intelligence

and Big Data

המטרה שלנו: לממש את האסטרטגיה של החברה שלך בעזרת תהליך בינה עסקית.

מרבית החברות מתקשות לממש את פוטנציאל הצמיחה העסקית.
מחקרים מצביעים על כך ש 72% מתוך החברות חוות זאת בשל כשלים טכנולוגיים הנוגעים לחוסר זמן ויכולת לנתח בצורה שיטתית וקבועה, מדדים קריטיים לקבלת ההחלטות ביום יום.
אנחנו רוצים שתהיו בצד של ה 28% . החברות הזריזות / חכמות / יעילות המקבלות החלטות ומממשות כאשר הדברים קורים ולא בדיעבד.

ארגונים רבים מקבלים החלטה לרכוש מערכת בינה עסקית אך לא משכילים להבין שלא מדובר בעוד "צעצוע" עבור מחלקת ה IT , אלא מדובר בכלי עם פוטנציאל לממש אסטרטגיה ברמת הנהלת החברה.

מדובר בתהליך ולא בכלי טכנולוגי:
בכל ארגון קיימים מספר לא קטן של מערכות מידע , כל אחד מהם מכיל כמויות גדולות של נתונים.מטרת התהליך אינו להוסיף לחברה עוד כלי טכנולוגי, אלא להחליט באומץ מה חשוב לנתח ומה לא
לאפשר למנהלים גישה למידע הנכון על מנת שיוכלו לקבל החלטות בתחום עליהם הם אמונים במינימום זמן.לא תמיד המנהלים מסכימים על מה הכי חשוב לנתח וגם לא תמיד על המדדים .
מה חשוב יותר? איך נכון לחשב KPI  (יעד מסוים) ? הכלי עצמו לא יבצע את העבודה עבור המנהלים. יש צורך לבצע איפיון ולהבין מה "כואב" ולמה הכי זקוק המנהל בתחומו על מנת לבצע את תפקידו טוב יותר ולשם כך יש צורך בתהליך בינה עסקית

אינפלואו מערכות (Inflow) מבצעת את תהליך בינה עסקית מלא המחולק  2 חלקים מרכזיים:

  1. איפיון המצב הקיים והגדרת הצרכים תוך הובלה של התהליך.
  2. מימוש טכנולוגי של כלי הבינה העסקית.

בתוך שני התהליכים המרכזיים הללו ישנם תתי משימות :

  1. איפיון הצרכים של הארגון
  2. הגדרת מקורות המידע והמורכבות
  3. בחירת המערכת  (business intelligence) הנכונה לארגון
  4. איפיון Datawarehouse
  5. פיתוח ETL – תהליך משיכת המידע ממקורות המידע השונים
  6. ניהול הפרויקט מול המחלקות השונות
  7. הדרכה / הטמעה
  8. תחזוקה שוטפת

דוגמא למורכבות בחלק מהסעיפים:

כדוגמא: קצת מהעולמות הללו

  • מקורות המידע יכולים להיות Big Data כלומר כמויות עצומות של נתונים שיש להביא ולעבד .
  •  הנתונים יכולים להיות בענן (cloud) , כלל לא בתוך הארגון
  •  לא בהכרח הנתונים שייכים לארגון לדוגמא ניתוח של מקורות מידע חיצוניים
  •  הנתונים יכולים להיות בבסיסי נתונים מסוגים שונים כגון nosql , קבצים , webserivces
  •  לעיתים הצורך מורכב במצבים בהם רוצים לאחד מידע ממקורות שונים לחלוטין לכדי מקום אחד DWH

נקודות כואבות בארגונים אשר סביר שקורים גם אצלך בחברה:

  • האם אתם מחליטים על פרסום ושיווק לפי התוצאות הקודמות ?
  • כמה לקוחות שלכם משתמשים במוצרים?
  • האם הם לקוחות חוזרים או שאתם צריכים להשיג חדשים כל פעם מחדש ?
  • האם נציגי המכירות / שירות שלכם עושים את העבודה? כמה זמן הם מקדישים ללידים?
  • האם הזמן שעובר על מתן מענה גורם ללקוחות פוטנציאלים לעזוב? כמה מתוך הלידים שלכם באמת הופכים ללקוחות?
  • קרה לכם בעבר שהזמנת מלאי ואז גילית שכבר יש לכם ממנו ? או שפתאום חסר לכם מלאי שייקח כעת חודשים להביא ביבוא ? בזמן הזה המתחרה שלך נכנס במקומכם.
  • מתי לאחרונה בדקתם כמה החזרות מוצרים יש לכם מלקוחות ומאיזו סיבה , אולי יש לקוחות שמנצלים את העובדה שאין לכם זמן לבדוק ?
  • אילו מוצרים נמכרים החודש הרבה פחות מחודש שעבר ולמה? האם השימוש במוצר שלכם במגמת ירידה או עלייה ? האם אתם מודעים לזה בזמן?
  • האם אתם מפסידים המון כסף עקב חוסר במידע זמין ?
  • אתם קונים PPC באלפי דולרים בחודש, באלו מדינות או איזורים הקמפיינים אפקטיביים?

לכל חברה יש את סט הנושאים שמאפיין אותה בהתאם לתחום העיסוק לדוגמא:

  • בנקים – טרנזקציות, נציגים (ברוקרים)
  • חברות לוגיסטיות – מלאי,  רכש ומכירות
  • חברות טכנולוגיה – בקרים, רשתות, תעבורה, תקשורת, מרכזיות, שרתים
  • חברות אינטרנט ואפליקציות. – big data , מקורות מידע "מוזרים", gaming, אופציות בינאריות, ניתוח אפקטיביות הפרסום

פירוט תתי המשימות בפרויקט בינה עסקית

איפיון הצרכים :

שלב זה אנו לומדים להכיר את המונחים העסקיים של החברה , סוגי המידע הקיים , אנו מראיינים את מנהלי החברה בדרגי הביניים וההנהלה הבכירה , מה קיים היום, מה חסר, נקודות מפתח , דירוג חשיבויות מדובר בדרך כלל ב 4-5 פגישות של 3 שעות .
ברוב במקרים אנו כבר מכירים את עולם התוכן כתוצאה מניסיון העבר שלנו בחברות ואנו יודעים לכוון אתכם,כמו כן אנו יודעים לתת benchmark אל כיצד אחרים ממשו בינה עסקית בנושאים דומים. בסופו של דבר כל חברה מתנהלת באופן שונה אך יש קווי דימיון.

בשלב הבא, אנו מגבשים מסמך איפיון קצר המסכם את הצרכים. לעיתים כאשר הנושאים יותר ברורים ופשוטים אנו גם נגבש יחד אתכם מספר KPI שאתם מעוניינים לנתח וכן סרטוט סכימטי / תיאור של דשבורדים נדרשים.

תלוי הארגון בשלב זה מתגבש האם הפתרון יהיה Self Service.אני אישית חושב שככול שמעבירים את האחריות לגורם שצורך את התוכן הארגון יצליח יותר.

לדוגמא אם בארגון קיים ישנה מערכת דוחות בסיסית .ה IT מקבל דרישות לפיתוח ברמה יומית  וכבר יש צוות של 3 אנשים שזה תפקידו בחיים . אם הארגון גדל פי 5 גם המחלקה הזו תיאלץ לתת שירות להרבה יותר אנשים, לעומת זאת אם הצוות יתפקד כמנטור מקצועי למנהלי הביניים בשטח והמנהלים עצמם יעבדו מול כלי הבינה העסקית ישירות ינוטרל צוואר הבקבוק, המחלקות לא יהיו תלויות בגורם IT שקורס מהעומס ובנוסף צוות ה BI יהפוך להיות גורם שמניע את החברה קדימה במקום להיות ת"פ דוחות.

בדרך כלל מנהלי המחלקות יזהו מיהו ה Power User במחלקה שלהם והוא יהיה המוקד המקצועי של המחלקה.
כמובן שתיאור כזה מדבר על חברה עם מחלקות גדולות ועובדים רבים, בחברת סטארטאפ הצוות טכנולוגי וסביר שה CTO בעצמו ירצה לדעת כיצד לממש.
בחברות קטנות ירצו שאנו נממש את הכול וניתן פתרון מלא כולל , תחזוקה ודרישות פיתוח עתידיות בהתאם להסכם.
במידה ומדובר בפתרון Self service ההמלצה שלי היא להטמיע את המערכת מחלקה מחלקה בשום פנים לא במקביל.

הגדרת מקורות המידע והמורכבות

החלק השני הוא איפיון של מקורות המידע מול אנשי מערכות המידע של הארגון. בצד של ה IT פרויקט זה הינו פרויקט דגל בדרך כלל המנמ"ר (מנהל מערכות המידע / ה CTO ) הופך פתאום לאדם חשוב ובעל השפעה. פרויקט בינה עסקית בדרך כלל סולל את הדרך להיות חברה הנהלה במידה וזה לא קרה עד כה.

אז החלטנו לבצע פרויקט וכחלק מהתהליך אנו צריכים לדעת מהם מקורות המידע , רוב הנתונים נכון להיום בחברות נמצא בבסיסי נתונים רלציוניים (לינק ל wiki).

בסיסי נתונים אלו קיימים שנים רבות והחיבור אליהם בדרך כלל לא מורכב .בסיסי הנתונים יכולים להיות : mssql , mysql, postgres , oracle ועוד רבים וטובים המבנה שלהם הינו טבלאי .

בסיסי נתונים אלו יכולים להכיל כמות נתונים גדולה מאוד – ממאות שורות בודדות ועד עשרות טרה בייט של נתונים . בקצה העליון של כמות הנתונים הזו מתחילים לדבר על המונח שנקרא Big Data .לרוב  כאשר מגיעים לרמות האלו הנתונים לא יהיו בבסיס נתונים רלציוניים  אלא יעברו לבסיסי נתוניםאשר מסוגלים להתפצל – scale out  .
ההבדל בין scale up ל scale out  הינו שהראשון מייצג הגדלת משאבים על שרת אחד כלומר יותר זיכרון / יותר מקום / יותר דיסק אך עדיין שרת אחד לעומת זאת scale out  הינו בסיס נתונים שמפוזר במספר שרתים ויחד הם מרכיבים cluster .

לדוגמא ל mysql ישנה יכולת עם תוסף שהינו בסיס נתונים הנקרא mariadb להיות במספר שרתים . דוגמא נוספת לכך הינה nuodb .

בסיסי נתונים לא רלציוניים
היתרון שלהם בדרך כלל הינו היכולת להיות  scale out  וכן מהירות הכתיבה לתוכם .
למשפחה הזו קוראים Nosql ובהם יש את mongoDB , Cassandra ועוד רבים .
בדרך כלל על מנת לנתח מידע בעזרת כלי בסיסי נתונים יהיה צורך להעביר את המידע למבנה טבלאי
מידע מובנה structured Big Data ימצא ברוב המקרים בבסיסי נתונים מסוג זה , משמש אפליקציות , אתרי ענק , כמויות גדולות של משתמשים בו זמנית עבור כתיבה וקריאה.

מקורות מידע אחרים
בנוסף למקורות ה "רגילים" אפשר למצוא נתונים שיהיו בקבצים מסוגים שונים כגון: XLS , CSV, TXT …ומבנים כגון : XML , JSON
Webservices – הכוונה שהנתונים נמצאים במערכת צד ג' המאפשרת להוציא נתונים על בסיס קריאה עם פרמטרים למידע . לדוגמא: מזג האוויר ביום מסוים מול אתר תחזית.אנו יודעים לגשת למקורות מידע שונים ומשונים אך כמובן שחלק מהתהליך  הוא לזהות במה אתם משתמשים. לרוב אנשי ה IT  יודעים את התשובות לכך.

בחירת מערכת בינה עסקית (Business intelligence ) – הכלי עבור הויזואליזציה

לרוב החברה המעוניינת בפרויקט בינה עסקית BI  עסוקה מאוד דווקא בכלי התצוגה, אני יכול לספר לך שחלק מהחברות משקיעות בכך חודשים , פגישות , בחינת כלים , POC – proof of concept השוואות בין תכונות כאלו ואחרות בין מערכות שונות . אני חושב שהתהליך יכול להיות קצר ויעיל. לאחר שאנו יודעים מה מטרות המערכת בשלב האיפיון אנו מכוונים לקבוצת כלים רלוונטית ובתוכה ניתן לבצע POC קצר של עד שבוע ולבחור את הכלי.

חשוב לבחור את קבוצת הכלים הנכונה לצורך.

בתוך הקבוצה הכלים הספציפיים עונים על רוב הדרישות ויש בהם יתרונות וחסרונות – אף אחד מהכלים אינו מושלם. לנו יש את הניסיון לדעת על בסיס הצורך איזה מהם הקרוב ביותר.
הצרכים יכולים להיות : Self service , on premise או cloud , Embedded, Reporter
כמות המאפיינים גדולה מאוד ולכן יש לנו טבלאות השוואה מוכנות לשלב זה.

סוגי כלי הבינה העסקית:

  1. כלי האנליזה – דשבורד : in memory : לדוגמא : qlikview , tableau , sisense
    כלים אלו נועדו למספר מצומצם של מפתחים / כלכלנים לפתח ולנתח נתונים במהירות המשתמשים יהיו בדרך כלל שכבת המנהלים הבכירה או תצוגה סטטית של סטאטוס KPI. בדרך כלל התוצר יהיה דשבורדים עם אפשרויות חיתוך. כלים אלו אינם מכילים reporter.
  1. סוג הכלים הכולל בינה עסקית ו reporter – מערכתיים : כלים לדוגמא: YellowfinBI ,cognos , BO
    כלים המאפשרים פיתוח דוחות ודשבורדים לקבוצות גדולות של אנשים עם מערכות הרשאות חזקה . ישנו את מרכיב ה self service שקיים באופן חזק מאוד ב YellowfinBI .כמו כן נושא ה embedded BI שאפרט על כך בנפרד.
  1. סוג כלי הקוביה: Olap כלים לדוגמא: פנורמה , BO
    כלים הזקוקים לקוביית מידע על מנת לעבוד , נכון להיום הגישה הזו מאבדת במהירות את מקומה עקב היכולת להתבסס על בסיסי נתונים שנועדו לביצוע אנליזה וכן מחירי המשאבים – שרתים / זיכרון / מקום…
  1. סוג כלי הענן (cloud BI) כלים לדוגמא: Zoho , gooddata, PowerBI  …
    סוג זה מאופיין בכך שיש להעביר את הנתונים של הארגון לענן על מנת לשתפו בין חברי הארגון. מתוך אלו powerBI כרגע תופס תאוצה עקב מחירו לכמות קטנה של משתמשים.
    היתרון המובהק הינו שאין צורך להשקיע בחומרה בחברה עצמה . התשלום בדרך כלל מבוסס על כמות מידע שעוברת וכן מחיר חודשי למשתמש.
  1. סוג כלי הדוחות – Reporters : כלים לדוגמא: Dbxtra , Rix
    אלו כלים אשר חוזקם ביצירת דוחות מול בסיסי נתונים באופן מהיר יחסית ונועדו לאפשר פתרון ארגוני / מחלקתי להפקת דוחות פשוטה ויעילה.

אינפלואו (Inflow) ביצעה POC על רוב הכלים שהובאו כאן לדוגמא , אנו מכירים לעומק את היתרונות והחסרונות ובכל אחד מהסוגים נעזור לכם לבחור את הנכון לכם ולהסביר מהם השיקולים.

איפיון ובחירת  Datawarehouse

כלי הבינה העסקית החדשים כותבים במדיה באתרים והשיווק שהם מכילים בתוכם יכולת משיכת מידע ETL ואין צורך לפתח DWH כלל . החלק של ה ETL  מהווה 60-70% ממשך הפיתוח בפרויקט BI . הוא מורכב ומסובך ודורש מומחיות רבה.

לצערינו, אין פתרונות קסם בשלב זה . אלא אם מדובר בניתוח מידע אשר הלוגיקה בין המקור ליעד די דומה , יש לכלים מנגנונים לסדר את המידע , להוסיף חישובים ונוסחאות , לחבר טקסט אך ברוב הארגונים הלוגיקה מורכבת הרבה יותר.

העובדה היא שבסיסי נתונים אנליטים רק נוספים.זהו עוד מרכיב טכנולוגי מהותי שעל הארגון לבחור בהתאם לכמות המידע וסוגו.

קיימים בסיסי נתונים columnar databases : כגון : redshift , vertica , vectorwise
כלי in memory כגון : exasol , memsql

במידה וכמות הנתונים אינה Big data ניתן להעביר את המידע ל mysql או postgres

בחלק מהמקרים כאשר כמות הנתונים מאוד גדולה (Big data) המידע מועבר למחסני נתונים Hadoop או S3  . כמו כן במידה ומדובר במידע שאינו מובנה ( unstructured) כגון דפי WEB , טוויטים , מידע הנשמר בקבצים כגון לוגים , במידה והמידע שמור כך יש צורך לבצע ETL  ולהעביר את המידע למובנה .ישנם כלים לכך גם בחלק מ Hadoop – HIVE, map reduce  או באמצעות כלים חיצוניים כגון : spark

Inflow אנו , בעלי ניסיון גם בנושא בסיס נתונים אנליטי וחלק מהאיפיון הינו להגדיר ולבחור את הכלי הנכון עבור המקרה שלכם.

פיתוח ETL – תהליך משיכת המידע ממקורות המידע השונים עבור בינה עסקית

תהליך מרכזי מאוד בתוך עולם הבינה העסקית . הצורך להביא את הנתונים ממקורות שונים תוך התאמתם למבנה אחיד וכן להוספת לוגיקה ארגונית רלוונטית.יש לנו ניסיון רב בשימוש ב Pentaho לביצוע פעולות ETL .
ישנם כלים שונים גם עבור ביצוע שלב זה . אנו בחרנו ב pentaho כיוון שהוא Open source  עם רוב היכולות של כלי מסחרי .אנו עובדים עם חברות בגדלים שונים , חברות gaming  , אופציות בינאריות , חברות תקשורת ענק ,נשמח לעזור לך לקבל את ההחלטות הנכונות.