© Dr. Igor Kleiner | igkleiner@gmail.com | Introduction to Data Science | Orange Data Mining
מבוא למדעי הנתונים | Orange Data Mining

מטלה 1: חקר נתונים ורגרסיה ליניארית ב־Orange

State Data | Life Expectancy | Visualization | Linear Regression
State Data | Geo Map | Correlation | Linear Regression | Multicollinearity | AI Reflection
טיפ: רעיון המטלה
המטרה היא לתרגל עבודה אמיתית עם נתונים: לפתוח דאטה, להסתכל עליו, לבנות גרפים, לבנות מודל, ואז לשאול האם הפרשנות שלנו באמת נכונה.

הנחיות הגשה

מה להגיש?
מסמך PDF עם תשובות, צילומי מסך מ־Orange, הסברים קצרים, וסיכום אישי בסוף.
בסוף העבודה ודאו שיש במסמך:
  • תשובות קצרות לשאלות ההבנה.
  • צילומי מסך רלוונטיים מ־Orange.
  • השוואה בין שני מודלי הרגרסיה.
  • פסקת רפלקציה על שימוש ב־AI.

מטרות העבודה

לתרגל שימוש בסיסי ב־Orange.
לתרגל הצגה גרפית של נתונים.
להבין קשר בין משתנים דרך גרפים וקורלציות.
לבנות מודל רגרסיה ליניארית ולפרש אותו.
להבין מה יכול להשתבש כאשר משתנים קשורים זה לזה.
לתרגל שימוש ביקורתי בכלי AI כמו ChatGPT או Gemini.

חלק 1: טעינת הנתונים והכנתם לעבודה

בשאלה זו נעבוד עם State Data מארצות הברית. ננסה להבין אילו משתנים קשורים לאורך החיים הממוצע במדינות שונות בארצות הברית.

קישור לקובץ הנתונים:
State Data להורדה מ־Google Drive

תיאור קצר של המשתנים בדאטה

לפני שמתחילים לבנות גרפים ומודלים, חשוב להבין מה כל עמודה מייצגת. בחלק מהמשתנים יש שמות קצרים, ולכן כדאי לכתוב לעצמכם פירוש קצר.

משתנה פירוש קצר הערה לעבודה
state.name שם המדינה בארצות הברית משתנה מזהה, לא מספרי. מתאים להיות Meta.
state.abb קיצור שם המדינה גם זה משתנה מזהה. מתאים להיות Meta.
state.region אזור גאוגרפי רחב בארצות הברית יכול לעזור בהשוואה בין אזורים.
state.division חלוקה גאוגרפית מפורטת יותר יכול לעזור להבין דפוסים אזוריים.
longitude, latitude קואורדינטות גאוגרפיות נשתמש בהן להצגה על מפה. בדרך כלל לא נשתמש בהן כמשתנים מסבירים במודל.
life.exp תוחלת חיים ממוצעת זהו משתנה המטרה שאותו נרצה לחזות.
income הכנסה ממוצעת נבדוק האם היא קשורה לתוחלת החיים.
murder שיעור מקרי רצח נבדוק קשר אפשרי בינו לבין תוחלת החיים.
illiteracy שיעור אי־ידיעת קרוא וכתוב יכול להיות קשור למדדים חברתיים נוספים.
hs.grad אחוז בוגרי תיכון משתנה חינוכי שיכול להשפיע על המודל.
frost מספר ימי כפור בשנה משתנה סביבתי. בדקו אם הוא באמת רלוונטי לחיזוי.
population, state.area אוכלוסייה ושטח המדינה שימו לב: גודל המדינה לא בהכרח מסביר תוחלת חיים.

שלבים ב־Orange

  1. הורידו את קובץ הנתונים למחשב.
  2. פתחו את הקובץ בעזרת הווידג'ט File.
  3. חשוב: אם הנתונים לא נפתחים נכון, או אם כל השורה מופיעה כעמודה אחת, שנו בתוך הווידג'ט File את File Type לפורמט CSV / Comma separated file.
  4. לאחר שינוי סוג הקובץ בדקו ב־Data Table שהעמודות נפתחות בצורה תקינה.
  5. בתוך הווידג׳ט File, שנו את שם המשתנה X ל־longitude.
  6. בתוך הווידג׳ט File, שנו את שם המשתנה Y ל־latitude.
  7. בתוך הווידג׳ט File, הפכו את life.exp למשתנה מטרה (Target).
  8. בתוך הווידג׳ט File, הפכו את המשתנים הבאים ל־Meta: state.area, longitude, latitude, state.division, state.region, state.abb, state.name.
  9. לחצו על Apply.
שימו לב:
שינוי שמות המשתנים, בחירת משתנה מטרה, והעברת משתנים ל־Meta נעשים כולם בתוך הווידג׳ט File, לפני שמחברים את הנתונים למודולים אחרים.
שאלת הבנה על טעינת קובץ:
אם הקובץ לא נפתח נכון עד שבחרתם CSV / Comma separated file, הסבירו בקצרה מה הייתה הבעיה. אפשר להיעזר ב־ChatGPT או Gemini כדי להבין מהו קובץ CSV.
שאלת הבנה 1:
למה לדעתכם חשוב להגדיר את life.exp כמשתנה מטרה? מה עלול לקרות אם נשכח לעשות זאת?
שאלת הבנה 2:
מה ההבדל בין משתנה רגיל לבין משתנה שמוגדר כ־Meta? מדוע למשל שם המדינה לא צריך להיות משתנה מספרי במודל?

בדיקה ראשונית

  1. כמה תצפיות יש בדאטה?
  2. כמה מאפיינים יש?
  3. האם יש ערכים חסרים?
  4. האם יש משתנים שנראים לכם בעייתיים או לא רלוונטיים למודל?
מה לצרף למסמך?
צרפו צילום מסך אחד של טעינת הנתונים או של טבלת הנתונים, וכתבו לידו כמה תצפיות וכמה מאפיינים מצאתם.

חלק 2: הצגת הנתונים על מפה

בחלק זה נציג את המדינות על מפת ארצות הברית. נשתמש בתוסף Orange-Geo.

התקנת Orange-Geo

  1. לחצו על Options → Add-ons.
  2. בחרו Orange-Geo, סמנו אותו ולחצו OK.
  3. לאחר ההתקנה תופיע קטגוריית Geo בצד שמאל.
  4. חברו את File אל Geo Map.
  5. בתוך Geo Map בחרו: latitude = latitude, longitude = longitude.

מה לבדוק במפה?

שאלת הבנה 3:
האם מפה עוזרת להבין את הנתונים יותר מטבלה רגילה? כתבו דוגמה אחת למשהו שהיה קל יותר לראות במפה.
שאלת חשיבה:
האם צבע חזק במפה תמיד אומר שיש קשר סיבתי? למשל, אם באזור מסוים יש גם הכנסה גבוהה וגם תוחלת חיים גבוהה, האם זה מוכיח שהכנסה גורמת לתוחלת חיים גבוהה?
מה לצרף למסמך?
צרפו 1–2 צילומי מסך מהמפה. ליד כל צילום מסך כתבו מה הצבע מייצג ומה הדפוס המרכזי שראיתם.

חלק 3: חקר נתונים בסיסי

שאלות בעזרת Data Table וכלים גרפיים

  1. באיזה אזור ממוצע אורך החיים הוא הגבוה ביותר?
  2. מהו המתאם בין ממוצע אורך החיים לבין כמות הרציחות?
  3. מהי ההכנסה הגבוהה ביותר בדאטה?
  4. באיזו מדינה מופיעה ההכנסה הגבוהה ביותר?
  5. בחרו גרף אחד שלדעתכם עוזר להבין את הנתונים, והסבירו למה.
שאלת הבנה 4:
אם מצאתם קורלציה שלילית בין murder לבין life.exp, איך הייתם מסבירים זאת במילים פשוטות?
שאלת ביקורת:
אילו טעויות אפשר לעשות כאשר מסתכלים רק על קורלציה? כתבו לפחות טעות אחת אפשרית.
מה לצרף למסמך?
צרפו צילום מסך אחד לפחות של Correlation, Scatter Plot או Data Table, והסבירו במשפטים קצרים מה למדתם ממנו.

חלק 4: בניית מודל רגרסיה ליניארית

כעת נבנה מודל רגרסיה ליניארית לחיזוי life.exp על סמך המשתנים הבלתי תלויים.

מודל ראשון: כל המשתנים

  1. חברו את הנתונים לווידג'ט של רגרסיה ליניארית.
  2. העריכו את איכות המודל בעזרת R².
  3. בדקו מהם המקדמים של משוואת הרגרסיה.
  4. שימו לב במיוחד למקדם של income.
שאלת הבנה 5:
מה המשמעות של R² במילים פשוטות? האם ערך גבוה של R² תמיד אומר שהמודל טוב?
שאלת חשיבה חשובה:
אם במודל קיבלנו מקדם שלילי עבור income, אבל בגרף רואים קשר חיובי בין income לבין life.exp, איך זה יכול לקרות?
רמז: לפעמים משתנים בלתי תלויים קשורים מאוד זה לזה. מצב כזה נקרא multicollinearity. במקרה כזה מקדמים של רגרסיה עלולים להיראות מבלבלים.

בדיקת קורלציות בין מאפיינים

  1. השתמשו בווידג'ט Correlation.
  2. חפשו זוגות משתנים עם קורלציה גבוהה.
  3. נסו להסביר איך זה יכול להשפיע על מודל הרגרסיה.
שאלת הבנה 6:
למה מודל עם הרבה משתנים לא תמיד עדיף על מודל פשוט יותר?

מודל שני: ארבעה משתנים חשובים

ננסה לבנות מודל פשוט יותר. השתמשו בווידג'ט Rank כדי למצוא משתנים חשובים לחיזוי.

  1. לפי גישת univariate regression, השתמשו בארבעת המשתנים: murder, illiteracy, hs.grad, income.
  2. בנו מודל רגרסיה ליניארית רק עם ארבעת המשתנים האלה.
  3. את שאר המשתנים סמנו כ־Meta או אל תשתמשו בהם במודל.
  4. השוו בין המודל הראשון לבין המודל השני.
שאלת השוואה:
האם R² ירד? אם כן, האם זה בהכרח רע? הסבירו במילים שלכם.
שאלת סיכום ביניים:
איזה מודל הייתם מעדיפים להציג למנהל או לאדם שאינו מומחה בסטטיסטיקה: מודל מורכב יותר או מודל פשוט יותר? למה?
מה לצרף למסמך?
צרפו צילומי מסך של המודל הראשון, תוצאות Rank, והמודל השני. ליד כל צילום מסך כתבו מה המסקנה העיקרית.

חלק 5: שימוש ב־AI ורפלקציה

בחלק זה תנסו להיעזר בכלי AI כמו ChatGPT או Gemini. המטרה היא לא להעתיק תשובה, אלא לבדוק איך AI יכול לעזור לנו לחשוב, להסביר, ולבקר את התוצאה.

מה לעשות?

  1. בחרו שאלה אחת מהמטלה שהייתה לכם קשה או מעניינת.
  2. שאלו את ChatGPT או Gemini שאלה ברורה.
  3. צרפו למסמך את הפרומפט שכתבתם.
  4. כתבו בקצרה מה התשובה של ה־AI עזרה לכם להבין.
  5. כתבו גם מה בתשובה היה חסר, לא מדויק, או דרש בדיקה נוספת.

דוגמאות לפרומפטים אפשריים

רפלקציה קצרה:
כתבו 5–8 שורות: האם ה־AI עזר לכם? האם הוא טעה במשהו? האם הייתם סומכים עליו בלי לבדוק?
חשוב: מותר להשתמש ב־AI ככלי עזר, אבל אתם אחראים להבין את התשובה. אין להגיש טקסט שלא קראתם ולא הבנתם.

סיכום אישי

בסוף העבודה כתבו סיכום קצר:

  1. מה למדתם על עבודה עם Orange?
  2. איזה גרף היה הכי שימושי לדעתכם?
  3. מה היה מבלבל או קשה?
  4. מה למדתם על רגרסיה ליניארית?
  5. מה למדתם על שימוש ביקורתי ב־AI?

רשימת בדיקה לפני הגשה

סעיף בדיקה
נתונים הנתונים נטענו נכון, והוגדרו המשתנים המתאימים.
מפה וגרפים יש לפחות 2 צילומי מסך עם הסבר קצר.
קורלציות יש תשובה על הקשר בין life.exp לבין murder.
רגרסיה יש השוואה בין מודל עם כל המשתנים לבין מודל פשוט יותר.
AI יש פרומפט, תיאור קצר של תשובת ה־AI, ורפלקציה ביקורתית.
סיכום יש סיכום אישי קצר וברור.