תגובות | נתוני עתק

Nati Mordakhay

בYARN לעומת HADOOP1: א' נכון - ה-Application Manager מעדכן את ה-ResourceManager בדרישות ההקצאה הרלוונטיות לו לכל Job בכל Node. ב' לא נכון - אין רלוונטיות. ג' - YARN מאפשר להריץ תוכנות שלא כתובות רק בצורה של MapRedece. ד' - נכון, הJobTracker ב-HADOOP1 הוא נקודת כשל יחידה, קיים רק אחד ממנו, לכן הוא עשוי להיות מועמס. זה נפתר בעזרת ה-ResouceManager ב-YARN שאינו מתערב בהקצאה הפנימית של המשאבים בתוך השרתים עצמם. ה' - רלוונטי ל-SPARK, לא לYARN.

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

Spark יכול לרוץ גם באופן עצמאי ללא HDFS או מערכת FileSharing. הרחבה מדוקטור צ'אט: Spark הוא מנוע לעיבוד נתונים בזיכרון (In-Memory Processing) שיכול לקרוא נתונים ממקורות שונים. בניגוד ל-Hadoop, שלא יכול לפעול ללא מערכת קבצים מבוזרת כמו HDFS, Spark יכול לפעול בצורה עצמאית (Standalone Mode) ולקרוא נתונים ממקורות שונים.

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

הפעולות א' וג' הן פעולות שקשורות לאבטחה בין היתר, ולכן SP יהיה עדיף. בנוסף לכך, אלו הן פעולות שקורות באופן תדיר יחסית ולכן עדיף שיהיו מקומפלות מראש, במיוחד כי הן חוזרות על עצמן. ב' לא נכון: לרוב שאילתא חד פעמית ולא כזו שחוזרת על עצמה שוב ושוב. בנוסף, עלולה להיות דינאמית. ד' לא נכון: מדובר בתנאים שהמשתמש מגדיר, ולכן עשויות להיות שונות ודינאמיות.

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

א' נכון: YARN מאפשר יותר סקיילביליות לעומת Hadoop1. בזמן שב-Hadoop1 יש לנו JobTracker שמרכז את כלל המשימות באופן עצמאי, ומהווה בין היתר גם Single Point of Failure, ב-YARN קיים ApplicationMaster לכל Job, מה שמאפשר להריץ יותר משימות במקביל. ב' נכון: ApplicationMaster אחראי על משימה מסויממת. לרראות שכל השרתים עובדים על הרשימה. הוא אחראי לניהול Job יחיד. ג' נכון: ApplicationMaster יוכל להתמודד באופן יעיל יותר במקרה של שגיאות מאשר ה-JobTracker היחיד ב-HADOOP. ד' לא נכון: YARN משתמש במנגנון הקצאת *משאבים* יחיד, דרך ה-ResourceManager. ההקצאה ריכוזית, לא מבוזרת, ונעשית ב-RM היחיד בהתאם לבקשות ה-App Manager.

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

א' נכון: ירידה בביצועים (Reponsiveness) נובעת מגורמים כמו עומס על השרת, שאילתות לא יעילו או ביצועי דיסק וזכרון ולא ישירות מהתקשורת בין השרת ללקוח. ב' לא נכון: כן חסרון, כי תקשורת בין הלקוח ל-DB יכולה לגרור מצב של נתונים שלא מוצפנים כראוי. ג' לא נכון: איכות התקשורת בין הלקוח ל-DB עלולה לפגוע בנתונים שעוברים ברשת. ד' לא נכון: הרחבת המערכת כן מושפעת מהתקשורת בין הלקוח ל-DB, זה עלול לגרום לבעיות עקביות ויאתגר סקלביליות.

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

Semi-Join הוא Join חלקי, המשמש כאשר רוצים לדעת אם יש התאמה בין שתי טבלאות – אך בלי להביא את כל הנתונים מהטבלה השנייה. בניגוד ל-Inner Join, ה-Semi-Join לא מחזיר את כל העמודות מהטבלה השנייה, אלא רק את הנתונים הרלוונטיים מהטבלה הראשונה, בהתאם להתאמה. Semi-Join שולח רק את המפתחות הדרושים ולא את כל הרשומות - זה מקטין את התעבורה ברשת בניגוד ל-Join רגיל, שבו לעיתים צריך לשכפל את הנתונים בין השרתים כדי לבצע התאמה מלאה, Semi-Join מסתמך רק על מפתחות זיהוי, ולכן אין צורך בשכפול נתונים מלא - לכן לא מצריך שכפול

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

בתחילת הקוד יוצרים Hash שמכיל את הערכים של השפה, והדירוג של כל אחת מהן. לאחר מכן מוסיפים את הנתונים ל-Redis באמצעות Sorted Set שמסדר את השפות בדירוג יורד (הכי גבוה להכי נמוך) של השפות. מה יכנס לREDIS: ranking: - Python (3000.0) - C# (1500.0) - Java (500.0) עבור משתנה lang שולפים את שולפים את השפה עם הערך הכי גבוה. עבור משתנה rank שולפים את הדירוג של השפה C#. (פייתון הכי גבוה מדורגת 0, לכן אחריה במקום השני C# מדורגת 1)

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

Consistent Hashing - המטרה תהיה לשנע מספר מינימלי של קבצים בין Nodes במקרה של קריסה/כשל במערכת. במקרה של קריסה נעתיק את הקבצים שנמצאים בשרת שקרס לשרת העוקב.

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

Range Partitioning - כל שרת מאחסן רשומות לפי טווח מסוים, בעזרת המפתח אשר מגדיר אותן. החלוקות עלולות להיות לא מאוזנות. יתרונות: מתאימה ל-Range Queries בתנאי והשאילתא מבוססת על RANGE שזהה לערך החלוקה, כך נדע באופן אופטימלי היכן מאוחסנת כל רשומה. חסרונות: לא בהכרח מתאים ל-Full Table Scan, כיוון שהחלוקה יכולה להיות לא אחידה בין כמות הרשומות בכל שרת, מה שיפגע ביעילות המקביליות.

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

2 הטבלאות גדולות מדי מכדי להיכנס בשלמותן לשרת יחיד - נחלק את R ל-N חלקים, ואת S ל-M חלקים. נדקק ל-n*m שרתים לביצוע ה-Join. יתכן וכל טבלה תכיל מספר שונה של Partition-ים. הסיבה שג' לא נכון: החלוקה יכולה להיות בכל שיטה, אבל Random.

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

תמונה א' מציגה מצב עדיף - הסיבה לכך היא שבמקרה של כשל עבור אחד השרתים הפיזיים, הדאטא מחולק באופן שווה יותר בין שאר השרתים, מה שישפר את יעילות המערכת.

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

Vertical Partitioning הוא תהליך שבו מחלקים טבלה רחבה לעמודות (שדות) שונות במספר טבלאות נפרדות. כל חלק מהטבלה מכיל תת-קבוצה של העמודות, תוך שמירה על המפתח הראשי (Primary Key) כדי לאפשר קישור בין החלקים. א' לא נכון כי אין אין בעיה שיהיה מוכל בRACK יחיד. ב' לא נכון כי חייב להיות PRIMARY KEY שיהיה בכל החלוקות. ג' לא נכון, כיוון שמחלקים על סמך ערכים בשדה (שורות) רלוונטי יותר לHorizontal Partitioning.

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

כיוון שמודגש *לאחר סיום ה-Recovery*, אז לאחר סיום תהליך השחזור יבוצע REDO על טרנזקציה 1 שביצעה קומיט בשורה LSN 7. לכן, נוכל לקבוע שA=1 ו-B=2 כי הם חלק מאותה הטרנזקציה.

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

Steal - מאפשר לכתוב לדיסק גם לפני ביצוע קומיט על טרנזקציה, ולכן אנחנו מסתכנים בכתיבת ערכים לא סופיים לדיסק הקשיח, זאת כיוון שייתכן והם עוד ישתנו במהלך הטרנזקציה או שייכתבו ערכים נוספים.

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

Stored Proceures מאפשרים לנו ליצור פונקציות שיהיו מאוחסנות כבר ברמת ה-DB עצמו ויהיו מקומפלות מראש. יש לזה מספר יתרונות: 1. אין כפילות בקוד (כל שינוי שנרצה לבצע נבצע בSP עצמו) 2. נוכל להתממשק לפעולות ב-DB באמצעות כל שפת תכנות, לא יהיה צורך בסינטקסים של DB-ים שונים. 3. חסכון בתקשורת. 4. מאובטח יותר (לדוג', במקום שמשתמש יגיש שאילתא ל-DB ויהיה חשוף לדרך פעילותה, הוא פשוט מבקש את המידע הרלוונטי ואנחנו כבר נספק לו אותו במימוש פנימי שלנו).

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

מטרת ה-Combiners היא צמצום כמו המידע המועברת בין ה-Mappers לבין ה-Reducers. שלב זה מתבצע לאחר של ה-Mapper: נבצע אגריגציה לכל הזוגות עם אותו מפתח למשל ונאחד אותם לזוג. כלומר, נבצע את פעולת האגריגציה ברמה הלוקאלית, ואז ה-Reducers יקבל מידע מצומצם ויבצע את פעולות האגריגציה שלו על דאטא שבחלקו כבר ''עובד'' ומתקבל משאר ה-Nodes. ה-Combiner עובד ברמת הפלט המקומי של Mapper יחיד, אין קשר לתלות ברשת או קירבה פיזית ולכן ד' לא נכון.

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

אמנם אלגוריתם ARIES מותאם לעבוד במצבים של NO-FORCE, STEAL כדי לאפשר מקסימום יעילות (כלומר מצב בו ניתן לכתוב לזכרון לפי ביצוע קומיט, וגם לא מיד לאחר קומיט), אבל זה לא אומר שהוא לא מסוגל לפעול תחת הגדרות אחרות גם אם הן פחות יעילות וייתכן ואפילו לא דורשות אותו.

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

ב-MongoDB קיימות 2 אופציות לקינון אובייקטים. Documents Embedding - נכתוב מחדש את כל המידע הרלוונטי בתוך המסמך. יתרונות השיטה יהיו גישה מהירה יותר למידע, פשטות הנתונים. חסרונות יהיו כפל קוד ודרישת מקום משמעותי יותר בזכרון, ופחות גמישות. Referencing Documents - נבצע הפניה לאובייקט שכבר קיים בפועל, והוא יכוון אותנו למידע הרלוונטי. היתרונות הן מניעת כפל קוד, גמישות גבוהה יותר, חסכון בזכרון, אבל חסרונות יהיו זמן שאילתא ארוך יותר.

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

טריגרים הם סוג של פעולות שמתבצעות באופן אוטומטי כאשר מתקיימת פעולה מסויימת על מסד הנתונים. קיימים 3 סוגי טריגרים: DML - מתבצע כאשר מתקיים עדכון כלשהוא ברמת הטבלה, כלומר פעולת INSERT, UPDATE, DELETE בטבלה ספיציפית. DDL - מתבצע כאשר מתקיים עדכון כלשהוא ברמת ה-DB, כלומר CREATE, ALTER, DROP, GRANY, DENY על טבלה. LOGON - מתבצע בכל פעם שמישהו נכנס לשרת, כלומר מתחבר משתמש לDB למשל.

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0

Nati Mordakhay

המטרה של Consistent Hashing, היא שבמצב בו יש קריסה של Node, נצטרך להעביר מינימום של קבצים ל-Node-ים אחרים. בפועל, זה רלוונטי גם עבור הוספה, כי זה מאפשר מינימום תעבורה במידת הצורך להזזת קבצים בין Nodes שונים.

לפני חודש

הנדסת מערכות מידע
נתוני עתק

0