Lecture7

Report
‫המחלקה לניהול תעשייתי‬
‫סמסטר א'‪ ,‬תשע"ב‬
‫רגרסיה לינארית‪ ,‬ניתוח שונות‬
‫ותכנון ניסויים סטטיסטיים‬
‫הרצאה ‪7‬‬
‫טרנספורמציות‬
‫טרנספורמציות‬
‫מודלים של רגרסיה ליניארית נקראים מודלים נסיבתיים‪ ,‬הנותנים הסבר‬
‫נסיבתי לגבי הקשר שבין משתנה אחד לשני‪.‬‬
‫כזכור‪ ,‬ברגרסיה ליניארית המודל הינו‪:‬‬
‫‪ k xk   i‬‬
‫‪bk x k‬‬
‫‪ y i   0   1 x1   2 x 2 ‬ערך אמיתי‬
‫‪yˆ i  b0  b1 x1  b2 x 2 ‬‬
‫‪‬אומדן‬
‫אך מה קורה כאשר הפונקציה שמבטאה את הקשר בין משתנים אינה‬
‫ליניארית?‬
‫‪2‬‬
‫לדוגמא‪:‬‬
‫טרנספורמציות‪ :‬דוגמה ‪1‬‬
‫‪y i   0   1 x1   2 x   i‬‬
‫‪2‬‬
‫‪2‬‬
‫בעזרת טרנספורמציה פשוטה ניתן להפוך את המודל הנ"ל למודל ליניארי‪:‬‬
‫‪2‬‬
‫נגדיר משתנה‪z  x 2 :‬‬
‫המודל החדש שמתקבל לאחר טרנספורמציה זו הינו ליניארי‪:‬‬
‫‪y i   0   1 x1   2 z   i‬‬
‫כעת ניתן להריץ מודל רגרסיה ליניארית‪ ,‬ובו קשר בין ‪ x1‬ל‪ z -‬הוא ליניארי‪.‬‬
‫‪3‬‬
‫טרנספורמציות‪ :‬דוגמה ‪2‬‬
‫פונקציית ייצור מפורסמת קוב‪-‬דוגלאס‪:‬‬
‫תפוקה (‪ )Y‬כפונקציה של שתי תשומות‪ ,‬למשל שעות עבודה ידנית (‪)x1‬‬
‫ושעות מכונה (‪:)x2‬‬
‫‪‬‬
‫‪‬‬
‫‪y   x1 1 x 2 2‬‬
‫נבצע טרנספורמציה למודל ליניארי בעזרת הפעלת פונקציית ‪ ln‬על שני‬
‫אגפים של משוואה (טרנספורמציית חזקה)‪:‬‬
‫‪ln  x1    2 ln  x 2 ‬‬
‫‪1‬‬
‫‪  ln     ‬‬
‫‪‬‬
‫נגדיר ‪ 4‬משתנים הבאים‪:‬‬
‫*‬
‫*‬
‫‪ln  x 2  ,‬‬
‫‪y  ln  y  ,   ln   ‬‬
‫לאחר הטרנספורמציה מתקבל מודל ליניארי הבא‪:‬‬
‫‪ 1 x   2 x   i‬‬
‫*‬
‫‪2‬‬
‫‪4‬‬
‫*‬
‫‪1‬‬
‫*‬
‫‪‬‬
‫‪ln  y   ln  x1 1 x 2 2‬‬
‫‪‬‬
‫‪x2 ‬‬
‫*‬
‫‪y ‬‬
‫*‬
‫‪x1  ln  x1  ,‬‬
‫*‬
‫טרנספורמציות‪ :‬דוגמה ‪2‬‬
‫כעת נריץ רגרסיה ליניארית על מודל המתקבל לאחר הטרנספורמציה‬
‫למשתנים החדשים‪.‬‬
‫תמיד‪ ,‬לאחר מציאת הפתרון למקדמים שונים‪ ,‬נחזור לערכים המקוריים‬
‫(טרנספורמציה הפוכה)‪.‬‬
‫כלומר‪ ,‬אחרי שנמצא אומדנים למקדמים ‪  * ,  1 ,  2‬נצטרך לבצע‬
‫טרנספורמציה הפוכה על מנת למצוא ערכים מקוריים של מקדמים ‪ ,  1 ,  2‬‬
‫בדוגמה שלנו בעצם יש צורך לבצע טרנספורמציה הפוכה רק לשם מציאת ‪: ‬‬
‫*‪‬‬
‫‪5‬‬
‫‪ e‬‬
‫‪ ‬‬
‫‪ ln  ‬‬
‫*‬
‫‪‬‬
‫טרנספורמציות‪ :‬דוגמה ‪3‬‬
‫פונקציה מפורסמת בתחום מכירות – עקומת ‪:S‬‬
‫(מכירות (‪ )y‬כפונקציה של אורך חיי המוצר (‪))t‬‬
‫‪‬‬
‫‪t‬‬
‫‪‬‬
‫‪ye‬‬
‫נבצע טרנספורמציה למודל ליניארי בעזרת פונקציית ‪( ln‬טרנספורמציה‬
‫‪   ‬‬
‫‪ ‬‬
‫מעריכית)‪ :‬‬
‫‪   ‬‬
‫‪ ln  e    ‬‬
‫‪t ‬‬
‫‪t‬‬
‫‪ ‬‬
‫נגדיר ‪ 3‬משתנים הבאים‪:‬‬
‫‪*  ‬‬
‫‪ y,‬‬
‫‪t‬‬
‫‪y *  ln‬‬
‫לאחר הטרנספורמציה מתקבל מודל ליניארי הבא‪:‬‬
‫‪y*     * x *   i‬‬
‫‪6‬‬
‫‪ln  e‬‬
‫‪‬‬
‫‪,‬‬
‫‪1‬‬
‫‪t‬‬
‫‪ y ‬‬
‫‪x* ‬‬
‫‪ln‬‬
‫טרנספורמציות‪ :‬דוגמה ‪4‬‬
‫פונקציה מפורסמת נוספת הינה גידול אקספוננציאלי באחוז קבוע (למשל‪,‬‬
‫מכירות הגדלות בשנה ב ‪:)5%-‬‬
‫(מכירות (‪ )y‬כפונקציה של תקופה (‪))t‬‬
‫‪ t‬‬
‫‪ye‬‬
‫גם במקרה זה נבצע טרנספורמציה למודל ליניארי בעזרת פונקציית ‪ln‬‬
‫(טרנספורמציה מעריכית)‪:‬‬
‫‪  t  ln  e      t‬‬
‫נגדיר משתנה הבא‪ y  :‬‬
‫‪  ‬‬
‫‪ t‬‬
‫‪y *  ln‬‬
‫לאחר הטרנספורמציה מתקבל מודל ליניארי הבא‪:‬‬
‫‪y*     t   i‬‬
‫‪7‬‬
‫‪‬‬
‫‪ln  y   ln e‬‬
‫טרנספורמציות‪ :‬דוגמה ‪5‬‬
‫פונקציה מפורסמת נוספת – מודל המתאר ירידה לאורך זמן המתכנסת‬
‫לגודל קבוע (למשל‪ ,‬ירידה קבועה במכירות באחוז קבוע הנעצרת בגודל‬
‫קבוע ‪:)a‬‬
‫‪b‬‬
‫(מכירות (‪ )y‬כפונקציה של תקופה (‪))t‬‬
‫‪y a‬‬
‫‪t‬‬
‫נבצע טרנספורמציה למודל ליניארי ע"י הגדרת משתנה חדש‪:‬‬
‫‪1‬‬
‫‪x ‬‬
‫‪t‬‬
‫טרנספורמציה מסוג זה נקראת טרנספורמציה הופכית‬
‫לאחר הטרנספורמציה זו מתקבל מודל רגרסיה ליניארית פשוטה‪:‬‬
‫‪y  a  bx   i‬‬
‫‪8‬‬
‫טרנספורמציות‪ :‬דוגמה ‪6‬‬
‫לכל פולינום מכל סדר ניתן לבצע טרנספורמציה פולינומיאלית באופן הבא‬
‫(נדגים בעזרת פולינום מסדר שלישי)‪:‬‬
‫‪2‬‬
‫‪3‬‬
‫‪y i   0   1 x1   2 x 2   3 x 3   i‬‬
‫נגדיר משתנים חדשים‪:‬‬
‫‪w  x3‬‬
‫‪3‬‬
‫‪z  x2 ,‬‬
‫‪2‬‬
‫לאחר הטרנספורמציה מתקבל מודל רגרסיה ליניארית מרובה‪:‬‬
‫‪y i   0   1 x1   2 z   3 w   i‬‬
‫‪9‬‬
‫טרנספורמציות‪ :‬דוגמה ‪7‬‬
‫נציג קשרים אחרים האפשריים בין ‪ X‬ל‪.Y -‬‬
‫למשל‪ ,‬נתונה פונקציה הבאה‪:‬‬
‫‪1‬‬
‫‪ 0   1 x1   2 x 2   i‬‬
‫‪yi ‬‬
‫נבצע טרנספורמציה הופכית ע"י הגדרת משתנה הבא‪:‬‬
‫‪1‬‬
‫‪yi‬‬
‫‪yi * ‬‬
‫לאחר הטרנספורמציה מתקבל מודל רגרסיה ליניארית מרובה‪:‬‬
‫‪y i *   0   1 x1   2 x 2   i‬‬
‫‪10‬‬
‫טרנספורמציות‪ :‬דוגמה ‪8‬‬
‫נציג קשרים אחרים האפשריים בין ‪ X‬ל‪.Y -‬‬
‫למשל‪ ,‬נתונה פונקציה הבאה‪:‬‬
‫‪i‬‬
‫‪ 1 x1‬‬
‫‪yi   0e‬‬
‫נבצע טרנספורמציה מעריכית בעזרת הפעלת ‪:ln‬‬
‫‪ i   ln   0    1 x1  ln   i ‬‬
‫נגדיר משתנים חדשים הבאים‪:‬‬
‫‪ln  y i  ,  0 *  ln   0 ‬‬
‫‪1 x1‬‬
‫‪yi * ‬‬
‫‪‬‬
‫‪ln  y i   ln  0 e‬‬
‫‪ i *  ln   i  ,‬‬
‫לאחר הטרנספורמציה מתקבל מודל רגרסיה ליניארית הבא‪:‬‬
‫* ‪y i *   0 *   1 x1   i‬‬
‫כדי שהנחות היסוד של המודל יהיו תקפות‪ ,‬מניחים ש‪E   i   1 :‬‬
‫ועל כן ‪E  ln   i    0‬‬
‫‪11‬‬
‫טרנספורמציות‪ :‬דוגמה ‪9‬‬
‫נציג דומה לפונקציה שלא ניתן עבורה לבצע טרנספורמציה למודל ליניארי‪.‬‬
‫למשל‪ ,‬נתונה פונקציה הבאה‪:‬‬
‫‪ i‬‬
‫‪ 2 x1‬‬
‫‪y i   0   1e‬‬
‫המודל אינו ליניארי ולא ניתן לבצע טרנספורמציה שתביא למודל ליניארי‪,‬‬
‫לכן לא ניתן לאמוד בשיטת רגרסיה ליניארית את הפרמטרים ‪ 0 ,  1 ,  2‬‬
‫קיימות שיטות של אמידה והסקה סטטיסטית למודלים של רגרסיה לא‬
‫ליניארית‪ ,‬אך לא נלמד אותם במסגרת קורס זה‪.‬‬
‫‪12‬‬
‫לסיכום‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫משפט טיילור‪ :‬לכל פונקציה ניתן למצוא קירוב בעזרת פולינום‪.‬‬
‫ברגרסיה משתמשים בכמה שפחות חזקות על מנת לא לאבד דרגות‬
‫חופש‪ .‬מספר דרגות חופש הינו הפרש בין מספר התצפיות (גודל‬
‫המדגם) לבין מספר המקדמים שאומדים‪.‬‬
‫שואפים שמספר התצפיות ביחס למספר המקדמים יהיה גדול ככל‬
‫האפשר‪ ,‬ככל שמספר דרגות חופש יותר גדול‪ ,‬כך מודל הרגרסיה הינו‬
‫יותר טוב‪.‬‬
‫האמינות של המודל גדולה יותר ככל שמספר דרגות חופש גדול יותר‪.‬‬
‫בעיה נוספת שעלולה להיווצר הינה שיתכן וקיימת תלות בין משתנים‬
‫בלתי תלויים‪.‬‬
‫בכדי להתגבר על בעיה זו נשתמש בשיטת רגרסיה בשלבים ‪.stepwise‬‬
‫‪13‬‬
‫הקשר בין דרגות החופש לאמינות המודל‬
‫• ככל שנוסיף משתנים בלתי תלויים‪ ,‬נוכל להגדיל את ‪ R2‬באופן מלאכותי‪:‬‬
‫‪1‬‬
‫‪SSR‬‬
‫‪R ‬‬
‫‪2‬‬
‫‪SST‬‬
‫• על מנת להגדיל את ‪ R2‬יש להגדיל את ‪ .SSR‬ככל שנוסיף יותר משתנים‬
‫מסבירים ה‪ SSE-‬יקטן (או לפחות לא יגדל) ועל כן ‪ SSR‬גדל‪.‬‬
‫• אולם‪( R2 ,‬בניגוד למבחן ‪ F‬למשל) אינו מתחשב במספר משתנים בלתי‬
‫תלויים ודרגות חופש של ‪ SSR ,SSE‬ו‪.SST-‬‬
‫• לכן‪ ,‬מדד חלופי ל‪ R2 -‬שמתחשב במספר משתנים ב"ת ודרגות חופש‬
‫הינו ‪: R2 Adjusted‬‬
‫‪‬‬
‫)‪SSE * ( n  1‬‬
‫)‪SST * ( n  k  1‬‬
‫‪ 1‬‬
‫)‪SSE / ( n  k  1‬‬
‫)‪SST / ( n  1‬‬
‫) ‪* (1  R‬‬
‫‪2‬‬
‫‪14‬‬
‫‪R  1‬‬
‫‪n 1‬‬
‫‪n  k 1‬‬
‫‪2‬‬
‫‪ 1‬‬

similar documents