Robust Weighted Approaches to Detect and Deal with Outliers in Estimating Principal Component Regression Model.

conclusions

1. The M estimators could not give a clear picture about the efficiency of the estimators when there are outliers (Leverage Points) in the data of the independent variables.
2. The proposed method of the method of least squares for the principal components LSPCRRobBisquare remains superior in the case of the existence of two problems of outliers in the dependent variable (Y-outliers) and Multi-collinearity in the data at the same time.

The instability of the behavior of the proposed estimator LSPCRRobBisquare compared to the ordinary least squares method, which excelled in some cases, is due to the fact that the estimation process took place in two stages.   The first was to overcome the problem of multi-collinearity by finding the principal components corresponding to the independent variables, and this is in favor of the method of least squares, and the second was to use robust M estimators method, whose robustness is limited to the presence of outliers in the dependent variable, and as a result, the estimators were the ordinary least squares using the principal components as independent variables instead of the original linearly correlated variables.

1- المقدمةIntroduction  

 فی حالة وجود مشکلة تعدد العلاقة الخطیة فی البیانات فإن تحلیل الانحدار الخطی المتعدد یعطی مقدرات غیر موثوقة لمعلمات الانحدار وتباین تلک المعلمات یمکن أن یکون کبیراﹰ الأمر الذی یؤدی بنا إلى استخدام الطرق المتحیزة ومنها طریقة انحدار المکونات الرئیسیة فضلاﹰ عن بعض الحالات التی تنطوی على وجود القیم الشاذة والتی من الممکن معالجتها بإستخدام أوزان حصینة لکی تتم السیطرة على تأثیر تلک القیم على معلمات النموذج المقدر.

وتعتبر طریقة المکونات الرئیسیة أسلوب فعال فی التعامل مع مشکلة التداخل الخطی بین المتغیرات التفسیریة ومعالجتها، وذلک لان المکونات الرئیسیة دائماﹰ ما تکون متعامدة (مستقلة)، کما أن المکونات الرئیسیة قامت بدورها فی اختزال عدد المتغیرات التفسیریة وهناک عدة اختبارات ومعاییر معروفة تستخدم للکشف عن وجود مشکلة التداخل الخطی بین المتغیرات التفسیریة. ویجمع الاسلوب الکلاسیکی بین تحلیل المکونات الرئیسیة (PCA Principal Component Analysis) مع انحدار المربعات الصغرى. ومع ذلک، تعطی کلتا المرحلتین نتائج غیر موثوقة عندما تحتوی مجموعة البیانات على قیم شاذة. ولذلک تم فی هذا البحث اقتراح استخدام طریقة انحدار المکونات الرئیسیة الحصینة والتی تتم على مرحلتین، یتم فی الأولى تطبیق طریقة تحلیل المکونات الرئیسیة الاعتیادیة على البیانات، ثم نقوم بإعادة تطبیق انحدار المکونات بإستخدام طریقة انحدار حصینة (Huber & Verboven,2003)( .(Huber & Verboven, 2003

2- هدف البحث

یهدف هذا البحث إلى تناول مشکلتین فی نماذج الانحدار الأولى هی وجود مشکلة تعدد العلاقة الخطیة بین المتغیرات المستقلة والثانیة مشکلة وجود الشواذ فی البیانات سواءاً کانت فی المتغیر المعتمد أو فی المتغیرات المستقلة ، وعلیه هدف البحث إلى ایجاد طریقة تتعامل مع المشکلتین فی آنٍ واحد بحیث تقلل من تأثیر القیم الشاذة على النموذج وکذلک تزیل تأثیر مشکلة تعدد العلاقة الخطیة ، وعلیه تم اللجوء إلى استخدام انحدار المکونات الرئیسیة الذی یتم فیه تحویل المتغیرات إلى مرکبات أو مکونات رئیسیة لاتعانی من مشکلة تعدد العلاقة الخطیة وتکون مستقلة ثم استخدام أوزان حصینة لوزن النموذج واستخدام طریقة المربعات الصغرى الموزونة بمتغیرات هی عبارة عن المرکبات أو المکونات الرئیسیة للمتغیرات المستقلة وفی النهایة الوصول إلى نموذج نحصل من خلاله على مقدرات کفوءة تمتلک خاصیتی الکفاءة والحصانة.

3- الجانب النظری

       1-3 طریقة انحدار المکونات الرئیسیة           Principal Components Regression Method

تم اقتراح انحدار المکونات الرئیسیة لأول مرة بواسطة Kendall,1957)). حیث تم استخدام نتائج تحلیل المکونات الرئیسیة التی یتم إجراؤها على مقدرات نموذج الانحدار واستخدام المرکبات الناتجة کمتغیرات جدیدة . وبهذه الطریقة تکون المتغیرات المستقلة متعامدة وتضمن أن الحسابات أسهل وأکثر استقراراً (Jolliffe,1982). ویتم اللجوء إلى استخدام PCA فی الانحدار الخطی لخدمة هدفین أساسیین. یتم تنفیذ الأول على مجموعات البیانات حیث یکون عدد المتغیرات المستقلة کبیراً وترتبط مع بعضها. لقد کانت طریقة انحدار المکونات الرئیسیة اسلوباً لتقلیل الأبعاد جنباً إلى جنب مع انحدار المربعات الصغرى الجزئیة. أما الهدف الثانی من (PCR) فهو التخلص من تعدد العلاقة الخطیة المتداخلة بین المتغیرات. ونظراً لأن کل مکون رئیسی هو متعامد، فقد تم استخدام PCR لمنع الأخطاء التی تتسبب بها المشکلة بین المتغیرات المستقلة المفترضة فی الانحدار وعندما یتعلق الأمر باختیار عدد المکونات الرئیسیة المناسبة، فإن الباحثین لم یجمعوا على رأی واحد واقترحوا عدة أسالیب ومنها اختیار أفضل المکونات الرئیسیة کما لو کانت متغیرات منتظمة. وبین باحثون آخرون أنه من الأفضل اختیار أول عدد محدد من المکونات الرئیسیة التی تفسر أعلى التباین (Hadi&Ling,1998). وهذا یؤدی إلى رفض بعض المکونات الرئیسیة التی تکون مساهمتها فی تفسیر التباین منخفضة ومع ذلک ، فقد تم انتقاد هذا النهج حیث یمکن للمکونات الرئیسیة المرفوضة أن تکون فی الواقع هی تلک التی ترتبط بالمتغیر التابع وذلک إثر وجود مشکلة تعدد العلاقة الخطیة مع مشکلة أخرى کوجود قیم شاذة فی البیانات (Outliers) والتی تحرف النموذج عن مساره الطبیعی وهذا هو محور اهتمام هذا البحث.

تعتمد طریقة تحلیل المکونات الرئیسیة اسلوب تحویل المتغیرات التوضیحیة الأصلیة الى متغیرات جدیدة تسمى " بالمکونات أو المرکبات الرئیسیة". حیث ان کل مکون (مرکب) رئیسی هو عبارة عن ترکیبة خطیة فی المتغیرات التفسیریة الأصلیة.

ویتم تحویل المتغیرات التفسیریة الى المکونات الرئیسیة بالشکل الآتی:

                                                                              …(1)

حیث أن :

a: عبارة عن مصفوفة المتجهات الممیزة المرافقة لمصفوفة الارتباط بین المتغیرات التوضیحیة، فإذا عوضنا عنXa  بکمیة ثابتة (pc) والتی تمثل مصفوفة ذات بعد (n×p) أعمدتها عبارة عن معاملات انحدار النموذج المحور فإن النموذج الناتج یأخذ الشکل الآتی:

*= * *+                                                                                  … (2)

وعند تطبیق اسلوب المکونات الرئیسیة یفضل تحویل المتغیرات الى متغیرات قیاسیة اذا کان هناک اختلاف فی وحدات القیاس ،حیث أن:

                                                                                           …(3)

        حیث أن:   : یمثل الوسط الحسابی للمتغیر

             : یمثل الإنحراف المعیاری

              ویعود تاریخ استخدام طریقة انحدار المکونات الرئیسیة إلى أعمال کل من Beltrami فی عام 1873 وJordan  فی عام 1874 حیث قاما بشکل منفصل بوضع ما یسمى بــــ Singular Value Decompostiton (SVD) مما مهد إلى تعریف تحلیل المکونات الرئیسیة PCA من قبل کل منPearson  فی عام 1901 و Hotelling فی عام 1933.

          تعتبر طریقة المکونات الرئیسیة واحدة من النماذج الخطیة المتحیزة الواسعة الاستخدام لتخطی مشکلة تعدد العلاقة الخطیة التی کثیراً ما یعانی منها نموذج الانحدار الخطی المتعدد . وتقوم طریقة انحدار المکونات (المرکبات) الرئیسیة على تحویل المتغیرات التفسیریة الأصلیة المرتبطة دون حذف أی منها الى متغیرات جدیدة متعامدة (أی مستقلة) تسمى بالمکونات الرئیسیة ، وکل مرکب رئیسی عبارة عن ترکیب خطی فی المتغیرات التفسیریة الأصلیة(مستور وعبد الرحیم،2016). تقدم المکونات الرئیسیة قدر کبیر من المعلومات عن مشاهدات المتغیرات الأصلیة مثل أنماط تجمعاتها وعلاقتها بالمتغیرات الأصلیة ،وتقدم ایضاً معلومات عن الارتباطات بین المتغیرات الجدیدة والقدیمة والمجموعات أو التصنیفات التی تحتویها البیانات أو المتغیرات. وعادةً یتم ترتیب المکونات الرئیسیة وفقاً لمقدار التباین بحیث تکون المرکبة الأولى هی المرکبة ذات التباین الأکبر، ومن ثم یتم اعتماد عدد قلیل من المکونات التی یتوقع أن تفسر أکبر قدر ممکن من التباین ، ویتم اهمال المکونات ذات التأثیر الأقل. وتعتبر عملیة ایجاد المکونات الرئیسیة خطوة مهمة لإزالة أثر التعدد الخطی تمهیداً لاستخدام طریقة المربعات الصغرى الاعتیادیة لتقدیر معالم نموذج الانحدار الخطی الأصلیة للمتغیرات التفسیریة (جبریل،2014). فإذا کانت (X₁,X₂,…,X_p) متغیرات تفسیریة ، فیمکن تعریف تولیفة متعامدة منها وفقاً للمعادلة (4) التی تناظر المعادلة(1).

Z = XA                                                                                                   … (4)

 حیث تمثل Z مصفوفة المکونات الرئیسیة من الرتبة (n×p)، بینما مصفوفة A فهی عبارة عن مصفوفة متعامدة للمتجهات الممیزة المعیاریة المناظرة للجذور الممیزة لمصفوفة معلومات النظام ( ) ورتبتها (p×p)، عناصرها a_ij وأعمدتها A_j وهی تجعل المصفوفة ( ) مصفوفة قطریة ، وباعتبار λ₁ λ₂ … λ_p قیم ممیزة للمصفوفة ( ) فإن المتغیر Z_j یتوزع بمتوسط یساوی الصفر وتباین λ_j.

وللتعبیر عن Y کدالة فی المکونات الرئیسیة بدلا̋ من المتغیرات المستقلة (X₁,X₂,…,X_p) المرتبطة فیما بینها ، وبما أن A مصفوفة متعامدة حیثI     = فیمکن اعتبار X=Z  بالنسبة الى معادلة نموذج الانحدار  +Y=X  فنحصل على نموذج الانحدار وفقا̋ للمعادلة التالیة:

Y=Z                                                                                       … (5)

 وعلى افتراض أن  فتصبح المعادلة لنموذج الانحدار وفقاً للمعادلة التالیة:

Y=Z                                                                                                  … (6)

 حیث  تمثل متجه المعلمات (  المناظرة للمرکبات الرئیسیة (Z₁,Z₂,…,Z_P) التی یمکن تقدیرها باستخدام طریقة المربعات الصغرى الاعتیادیة وفقاً للمعادلة التالیة:

                                                      … (7)

والمصفوفة ⋀ تعتبر مصفوفة قطریة من الرتبة (p×p) عناصرها عبارة عن الجذور الممیزة للمصفوفة ( ). والتوقع لهذه المعلمات هو =  وتباینها Var(  ، علیه یمکن القول إن متجه المعلمات  له توزیع طبیعی بمتوسط  وتباین . وبالتالی فإن تباین أی معلمة ضمن متجه المعلمات  یحسب وفقاً للصیغة:

Var (                                                                                           … (8)                                                                              

مع الأخذ فی الاعتبار أن / _i=  ، ویتم التنبؤ بقیمة المتغیر التابع Y وفقاً للمعادلة (9):

_j                                                                                         … (9)

ویکون التباین المخفض لتوفیق نموذج الانحدار باستخدام المرکب الرئیسی Z_jیساوی المقدار  λ_j ، علیه فإن نسبة التباین المفسر فی قیم متغیر الاستجابة Y بواسطة المرکب الرئیسی Z_jهی:

 ̸ )*100                                                                  ...(10)    

 وتساوی هذه النسبة مربع معامل ارتباط متغیر الاستجابة والمرکب الرئیسی Z_j مع ضرب الناتج فی مائة . وبناءاً علیه یکون مربع الخطأ لمعادلة الانحدار المقدرة هو:

MSE =                                                         … (11)                                                                     

وللحصول على معلمات المتغیرات التفسیریة الأصلیة لنموذج الانحدار، یستفاد من العلاقة بین المعلمات الأصلیة  ومعلمات نموذج الانحدار  الخاصة بانحدار المتغیرY على المکونات الرئیسیة Z وفقاً لما یلی:

اذا کان

   =                                                                                                    … (12)

و          

 = I                                                                                                     … (13)

 فإن

 = A                                                                                                     … (14)

وبما أن المعلمات  تتوزع طبیعیا̋ بمتوسط A  . فإن القیمة المتوقعة للمعلمة  تحسب وفقاً لما یلی:

Ε( _i) =                                                                                  …(15)                                                                      

وبما أن المعلمات  لها التباین  . فإن تباین المعلمة  یحسب وفقاً للمعادلة التالیة:

Var( _i) =                                                                           …(16)                                                               

وعند استخدام الجذور الممیزة لمصفوفة معاملات الارتباط بدلاً من مصفوفة التباین والتغایر کمدخلات فی تحلیل انحدار المکونات الرئیسیة فإنه یجب استخدام n  بدلاً من . وتوضح العلاقة أن تباین معلمات نموذج الانحدار المقدرة  ایضا̋ تعتمد على الجذور الممیزة للمصفوفة ( ) وبناءاً على ذلک فهی تتأثر بوجود الجذور الممیزة الصغیرة التی ینتج عنها تضخم التباینات. ووفقاً لتعریف المکونات الرئیسیة فإن الجذور الممیزة الصغیرة التی تسهم فی تضخیم تباین معلمات نموذج الانحدار دائماً تقابل المکونات الرئیسیة الأخیرة للمصفوفة ( )،علیه یتطلب تخفیض التباین الکلی للمعلمات ، واستبعاد المکونات الرئیسیة المقابلة لأصغر الجذور الممیزة للمصفوفة ( ).

اقترح بعض الباحثین أمثال Chatterjee&Price,Jolliffee,Jeffers (جبریل،2014) أن یتم استبعاد المکونات الرئیسیة التی تقابل الجذور الممیزة التی تقل عن 70%. کما اقترح Morrison اختیار المکونات الرئیسیة التی تفسر على الأقل 75% من التباین فی قیم متغیر الاستجابة. وهذه النسبة یمکن الحصول علیها بقسمة مجموع الجذور الممیزة المقابلة لــ K من المکونات الرئیسیة على مجموع الجذور الممیزة عند استخدام مصفوفة التباینات والتغایرات للمتغیرات التفسیریة کمدخلات لتحلیل المکونات الرئیسیة وفقاً لـــــــــ:

(                                                                 … (17)

اما عند استخدام مصفوفة معاملات الارتباط کمدخلات لتحلیل المکونات الرئیسیة فعندئذٍ یتم استخدام عدد المتغیرات التفسیریة P بدلاً من مجموع الجذور الممیزة. ویتم بناء نموذج الانحدار لمتغیر الاستجابة Y على المکونات الرئیسیة المتبقیة ، بعد استبعاد المرکبات التی لا تحقق المعاییر السابقة . بافتراض أن S من الجذور الممیزة لها قیم کبیرة من بین P من الجذور الممیزة للمصفوفة ( ) ، یکون هناک (P-S) من المکونات الرئیسیة Z، ومن ثم یجری توفیق نموذج انحدار Y على المکونات الرئیسیة المتبقیة وبذلک تکون المعادلة التنبؤیة کما یلی:

_s = _j                                                                                        … (18)

ویحسب مجموع مربعات الخطأ الخاص بنموذج الانحدار المقدر بعدد S من المکونات الرئیسیة وفقاً لما یلی:

   = MSE =                                                          … (19)          

 ولحسن الحظ فإن خاصیة التعامد لمقدرات المربعات الصغرى لــ  سوف لن تختلف فی حال استخدام جمیع المکونات الرئیسیة أو مجموعة جزئیة منها، وتأسیساً على ذلک یتم تقدیر معلمات نموذج الانحدار  وفقاً لما یلی:

                                                                                       ... (20)

حیث أن:

                                                                    … (21)

ویتم الحصول على متجه المعلمات  بتجزئة المصفوفة وفقاً لما یلی:

A=[A_s : A_p-s]                                                                                         … (22)

حیث أن:

A_s=[A₁,A₂,…,A_s]                                                                                  … (23)

A₁= [                                                                            … (24)

ومصفوفة المکونات الرئیسیة هی:

Z=[Z_s : Z_p-s]                                                                                           … (25)

حیث أن:

Z_s=[Z₁,Z₂,…,Z_s]                                                                                    …(26)

ومتجه المعلمات هو:

                                                                               … (27)

 وعند الحصول على تقدیر متجه المعلمات  یمکن استخدامه فی تقدیر متجه معلمات نموذج الانحدار الأصلی  وتحسب وفقاً لما یلی:

 = A_s                                                                                             … (28)

 ویمکن الحصول على معلمات الانحدار للمتغیرات التفسیریة باستخدام معلمات الانحدار للمکونات الرئیسیة وفقاً للمعادلة التالیة:

=

وتباین _i   یقدر وفقاً لما یلی:

Var (                                                                … (30)

ویعتبر المقدر  مقدر متحیز ، ویحسب مقدار تحیزه وفقاً لما یلی:

Bias = E (                                                                               … (31)

         = -                                                                        … (32)

وبذلک فإن متوسط مربع الخطأ للمقدر  یحسب وفقاً لما یلی:

MSE( = var (  + Bias of ( ²                                                      … (33)

                =    + ( - ²                              … (34)

2-3 طریقة مقدرات (M)

قام الباحث (Huber,1973) بتوسیع نتائجه للتقدیر الحصین من معلمة الموقع إلى حالة الانحدار الخطی باستخدام مقدرات M. وقد اکتسبت هذه التقدیرات شهرة أکثر من بقیة المقدرات الحصینة الأخرى لأنها أکثر مرونة وکذلک توفر إمکانیة تعمیمها مباشرة إلى الانحدار المتعدد .

حیث أن طریقة مقدرات (M) تهدف إلى تصغیر المقدار

Min                                                                                       … (35)                                         

Min                                                                            … (36)

 إذ تمثل  دالة بدلالة الأخطاء ولتصغیر المعادلة (36) نشتقها جزئیاﹰ بالنسبة للمتجه  ومساواتها بالصفر وکما یلی:

                                                                            … (37)

  إذ تمثل  المشتقة الجزئیة للدالة ( ) بالنسبة للمعلمات فی المعادلة (37) وتمثل منظومة مکونة من (P) من المعادلات وتحل باستخدام أحدى الطرق العددیة المعروفة أو طریقة المربعات الصغرى الموزونة (Weighted Least Squares Method) ولإیجاد مقدرات M التی تحقق المعادلة (36) وذلک باستخدام الصیغة التالیة:

                                                                        … (38)

إذ تمثل (W) مصفوفة الأوزان وهی مصفوفة قطریة عناصرها القطریة معطاة بالصیغة الآتیة:

                                                                         … (39)

                                                                               … (40)    

إذ تمثل  القیم الابتدائیة لمتجه معلمات النموذج ویتم استخدامها لتحدید الأوزان ویمکن استخدام مقدرات المربعات الصغرى کقیم ابتدائیة ومن التکرار الأول نجد قیمة  وفی التکرار الثانی نستخدم  فی إیجاد الأوزان لإیجاد  وهکذا تستمر عملیة التکرار حتى نحصل على مقیاس التقارب (Convergence) المعرف بالصیغة الآتیة:-

Max                                                                   … (41)

إذ تمثل ᵹ قیمة صغیرة جداﹰ و(n) تمثل رقم التکرار أی أن الحل یتوقف عندما یصبح الفرق المطلق بین المعلمات المقدرة فی المرحلة الحالیة والمرحلة السابقة أصغر من القیمة المختارة (ᵹ) أو یساویها ولجعل مقدرات M تمتلک خاصیة (Scale Invariant) فان الدالة المطلوب تصغیرها هی :-

Min                                                                    … (42)

ثم نشتقها بالنسبة للمتجه  ومساواتها بالصفر

=0                                                                 … (43)

یمکن حل المعادلة أعلاه باستخدام المعادلة (38) حیث أن الأوزان یتم إیجادها وفق الصیغة الآتیة:-

                                                                                       … (44)

                                                                                    … (45)

ولإیجاد ( ) فی المعادلة اعلاه والتی تمثل قیمة المقدر المعیاری وان هذه القیمة تقدر مرة واحدة فقط باستخدام القیم الأولیة قبل البدء بالتکرار وهناک عدة صیغ لتقدیرها منها:

1)    

2)    

3)    

4)    

إذ تمثل ( ) البواقی (Residuals) وmed یشیر إلى الوسیط ولقد اقترح الباحثون عدداﹰ من الدوال  أو مشتقاتها Ψ بحیث تجعل نتائج التقدیر جیدة ولا تتأثر بوجود الشواذ وفیما یلی بعض الدوال المهمة لهذا النوع من المقدرات والمعرفة بدلالة الدالة Ψ . وبإفتراض أن وسیط الأخطاء المطلقة (MAD) (Median Absolute Deviation) یأخذ الصیغة الآتیة (الراوی،2017):-

𝑀𝐴𝐷 = 𝑚𝑒𝑑𝑖𝑎𝑛|𝑒𝑖 − 𝑚𝑒𝑑𝑖𝑎𝑛 (𝑒𝑖)| / 0.6745                                       … (46)

وقد عمد الباحثون (Montgomery, et. Al., 2001) فی هذه الدراسة إلى عرض دوال الوزن الترجیحیة لمقدرات M بأسلوب سهل وبأستخدام رموز سهلة لم یعهد أستخدامها فی أدبیات الإحصاء الحصین لإشاعة إستخدامها من قبل الباحثین فی المستقبل. وبأخذ الصیغة القیاسیة للبواقی (Standardized Residuals) باستخدام المعادلة (47) وکما یلی:

                                                                                             … (47)

وبأفتراض ثابت القطع ((Tunning Constant (c) الذی یجعل التباین المقدر  مقدر غیر متحیز تقریباً لـ  عندما یکون حجم العینة کبیراً والخطأ یتوزع طبیعیاً (الطالب،2011).

1. دالة Hampel

                … (48)

حیث أن القیم الأفتراضیة لثوابت القطع (Tuning Constatnts) تکون فی برنامج S-Plus:

وهناک بعض المصادر تفترض قیم أخرى لثوابت القطع  (Montgomery, et. Al., 2001) مثل:

1. دالة Huber (Huber,1964)  

                                          … (49)

حیث أن   تأخذ القیمة الأفتراضیة 

1. دالةBisquare والتی تسمى أحیاناً بدالة الوزن التربیعی المزدوج Tukey’s Biweight))

                      … (50)

حیث أن   تأخذ القیمة الأفتراضیة 

الشکل (1) یبین الأشکال البیانیةلدوال الوزن المشار إلیها فی أعلاه:

الشکل (1) : التمثیل البیانیلدوال الوزن لمقدرات M المستخدمة

وأخیراﹰ فإن ثابت القطع) (Tunning Constant (C) لکل دالة یستخدم لتعدیل کفاءة المقدرات الناتجة لتوزیعات محددة بکفاءة تقریبیة (95%) عندما تتبع الأخطاء التوزیع الطبیعی ، وان الاختبار الجید لقیمة ثابت القطع یؤدی إلى زیادة حصانة المقدرات لان له تأثیر کبیر على حصانة المقدرات وان قیمته تتراوح مابین انحراف معیاری واحد إلى انحرافین معیاریین لقیم المشاهدات أو الأخطاء أی مثلا (S<H<2S) من ما تقدم بأن ثابت القطع یعدل للحصول على مقدرات جیدة (الراوی،2017).

4- الجانب التجریبی

إن تحلیل المکونات أو المرکبات الرئیسیة هو الأساس فی أسلوب انحدار المکونات الرئیسیة حیث أنه فی تحلیل المکونات الرئیسیة الاعتیادی یتم ایجاد المکونات أو المرکبات ثم ایجاد قیم التحمیلات والجذور الممیزة أما انحدار المکونات الرئیسیة فتکون فیه المتغیرات المستقلة على شکل مکونات رئیسیة نقوم بدراسة تاثیرها على المتغیر المعتمد، وعلیه نحتاج إلى انحدار المکونات الرئیسیة عندما یکون لدینا مشکلة تعدد العلاقة الخطیة بین المتغیرات المستقلة ، وهنالک بعض الحالات یکون فیها المتغیر المعتمد أو المتغیرات المستقلة ملوثة بقیم شاذة فتسبب خفض فی کفاءة النموذج المقدر وعندها تتداخل أهمیة دمج انحدار المکونات الرئیسیة مع الاسالیب الحصینة للحصول على مقدرات کفوءة، وقد تم فی هذا البحث استخدام اوزان حصینة على نموذج مقدر بطریقة المربعات الصغرى متغیراتها المستقلة عبارة عن المکونات الرئیسیة للنموذج الاصلی. لمقارنة کفاءة الطرق تمت تجربة نماذج بثلاثة وخمسة وتسعة متغیرات على التوالی وبأحجام عینات 50 و 100 و 200 مشاهدة على التوالی فی حالة عدم وجود شواذ فی البیانات وایضاً فی حالات وجود 5% أو %6 و%10 و %20 و %30 و %40 شواذ فی البیانات فی المتغیر المعتمد Y وتم تطبیق إنحدار المربعات الصغرى الاعتیادیة  بعد تحویل المتغیرات الى المرکبات الرئیسیة ومن ثم تطبیق المربعات الصغرى الموزونة بدوال أوزان من مقدرات M ومنها Huber و Hampel و Bisquare کون هذه المقدرات تکون حصینة ضد الشواذ فی قیم المتغیر المعتمد Y (Y-Outliers). ولکون القیم الجاذبة (X-leverage) أکثر خطورة على النموذج من القیم الشاذة فی المتغیر المعتمد ولهذا فإنه من المتوقع أن وجودها فی مشاهدات المتغیرات المستقلة سیؤثر على قیم حد الخطأ کونها قد تسحب الأنموذج بإتجاهها، وبناءاً على ذلک ولأجل تغطیة کل الإحتمالات قمنا بتجریب تطبیق النماذج المقترحة على بیانات تحتوی على قیم جاذبة کی نتمکن من تمییز الطریقة الأکثر کفاءة مقارنة ببقیة الطرق وذلک فی حالات وجود 5% أو %6 و%10 و %20 و %30 و %40 شواذ فی البیانات فی المتغیرات المستقلة وکما هو مبین من الجداول (4-1).  ولأجل المقارنة بین أداء کل طریقة من الطرق المستخدمة فی حالات عدم وجود شواذ وحالتی وجود قیم شاذة فی المتغیرین المعتمد والمتغیرات المستقلة تم إستخدام العدید من معاییر المقارنة الشائعة ومنها الخطأ القیاسی لقیم البواقی Residual standard error، معامل التحدید R-Square، متوسط مربعات الخطأ MSE، جذر متوسط مربعات الخطأ RMSE، وسیط نسبة الأخطاء النسبیة Median Absolute Percentage Error MDAPE، ووسیط الأخطاء المطلقة MADE وهی من المعاییر المعروفة فی مقارنة الکفاءة ودقة التقدیر بین النماذج المختلفة(Memmedli and Ozdemir , 2009) , (Boiroju and Reddy, 2012), (Willmott and Matsuura, 2005), (Sarwar and Sharma, 2014), (Woschnagg and Cipan, 2004), (Makridakis and Hibon, 1995).

جدول (1) : مقارنة کفاءة الطرق لنتائج المحاکاة لثلاثة متغیرات ولعینة بحجم 50

جدول (2) : مقارنة کفاءة الطرق لنتائج المحاکاة لخمسة متغیرات ولعینة بحجم 100

جدول (3) : مقارنة کفاءة الطرق لنتائج المحاکاة لتسعة متغیرات ولعینة بحجم 200   

جدول (4) : تفسیر النتائج لکل تجربة المحاکاة التی بلغت 432 محاولة

5- الجانب التطبیقی  Application Part

لتطبیق الطرق المقترحة تم جمع بیانات من معمل اسمنت بادوش للفترة من 2008- 2014، مع استبعاد أشهر الصیانة التی توقف المعمل فیها عن الانتاج. یتکون الاسمنت من بعض المواد الأساسیة المتوافرة بصورة طبیعیة من الحجر والرمل والحصى وبعض الإضافات الاخرى أثناء عملیة التصنیع والتی تتضمن مواد تعمل على التغلب على بعض المشاکل الفنیة ومواد لزیادة بیاض الاسمنت.  وقد تم تحدید المتغیرات الآتیة :-

X₁: تمثل أوکسید المغنیسیوم Mgo، X₂: تمثل أوکسید الکالسیوم Cao، X₃ : تمثل أوکسید الحدیدیک Fe2o3، X₄ : تمثل أوکسید الالمنیوم Al2o3، X₅ : تمثل ثنائی أوکسید السیلیکون Sio2، X₆: تمثل معامل الإشباع الجیری L.S.F، X₇ : تمثل مواد غیر قابلة للذوبان In.R، X₈: تمثل الفقدان بالحرق  L.O.، X₉: تمثل ثالث أوکسید الکبریت Sio3 ، Y: تمثل تمدد الإسمنت Autoclave

1-5 إختبار وجود مشکلة تعدد العلاقة الخطیة

تم فی البدأ التأکد من وجود مشکلة تعدد العلاقة الخطیة بین المتغیرات المستقلة لبیانات معمل السمنت، وتم البدأ بمصفوفة الارتباط ورسوم الانتشار بین المتغیرات المستقلة.

الشکل (3): شکل یمثل مصفوفة الارتباط

نلاحظ من الشکل (3) أعلاه الذی یبین رسم مصفوفة الارتباط أن هنالک علاقة قویة للمتغیر  X₂(أوکسید الکالسیوم Cao) مع المتغیرین X₆(معامل الإشباع الجیری L.S.F) _و X₈(الفقدان بالحرق  L.O.)_،  وکذلک بینX₅  (ثنائی أوکسید السیلیکون Sio2) و X₆وربما ینتج عن ذلک حصول مشکلة تعدد العلاقةالخطیة.

جدول (5): المؤشرات العامة لوجود مشکلة تعدد العلاقة الخطیة

1 --> COLLINEARITY is detected

0 --> COLLINEARITY in not detected by the test

Eigenvalues with INTERCEPT

                          Intercept     israa.x1     israa.x2     israa.x3      israa.x4         

                          israa.x5       israa.x6     israa.x7     israa.x8      israa.x9

Eigenvalues:     9.5689         0.3026       0.1056      0.0142         0.0062            

                          0.0013         0.0008       0.0005      0.000           0.000

Condition Indeces: 1.0000   5.6232       9.5199      25.9951       39.2908

                         86.1575       109.7136   143.0268   1175.945     1721.596

ونلاحظ من الجدول (5) أعلاه أن قیمة محدد مصفوفة المعلومات صغیر جداً، وقریب من الصفر (0.0014) وکذلک فإن قیمة إحصاءة مربع کای لفارار(Farrar and Glauber)  کبیرة جداً، کما أن قیمة العدد الشرطی Condition Number کبیرة جدا، کذلک فإن معیار Red Indicator غیر مساویة للصفر، وأخیراً فإن قیمة مؤشر Theil أکبر من الواحد الصحیح بکثیر.  کل هذه الأمور تدل على وجود مشکلة تعدد العلاقة الخطیة.  وللتأکد من وجود المشکلة تم إجراء إختبار فارار – کلاوبر لمعرفة مصدر المشکلة. 

جدول (6): المؤشرات الفردیة لوجود مشکلة تعدد العلاقة الخطیة

ونلاحظ من الجدول (6) أعلاه وکما بین الشکل (3) أن هنالک علاقة قویة للمتغیر X₂(أوکسید الکالسیوم Cao) مع المتغیرین X₆(معامل الإشباع الجیری L.S.F) _و X₈(الفقدان بالحرق  L.O.)،  وکذلک بین X₅  (ثنائی أوکسید السیلیکون Sio2) و X₆ . هذا یظهر من خلال قیم معامل تضخم التباین التی زادت عن 10 وبالمقابل قیم ال TOL الصغیرة وکبر قیم Wi و Fi الکبیرة وکذلک قیم إحصاءة Leamer الصغیرة وکذا قیم CVIF والتی زادت عن العشرة وکل هذه أدلة على وجود مشکلة تعدد العلاقةالخطیة، وقد تناوزل العدید من الباحثین مؤشرات الکشف عن وجود مشکلة تعدد العلاقة الخطیة منهم (Asteriou and Hall, 2007), (Gujarati and Porter, 2008), (Farrar and Glauber, 1967), (Belsley et. al., 2004), (Chatterjee and Hadi, 2012), (Maddala, 1992), (Kovács et. al., 2005), (Kutner et. al., 2004), (Marquardt, 1970), (Curto and Pinto, 2011), (Greene, 2003), (Imdadullah et. al., 2016).

الشکل (4): شکل یبین رسم معامل تضخم التباین والجذور الممیزة

والشکل (4) أعلاه یبین ما أکدته المؤشرات العددیة ویتضح من رسمی VIF ورسم الجدور الممیزة بان هنالک ثلاثة متغیرات تعانی من مشکلة تعدد العلاقة الخطیة.

2-5 إنحدار المکونات الرئیسیة

بعد التأکد من وجود مشکلة تعدد العلاقة الخطیة تمت مقارنة أداء الطرق المقترحة على بیانات معمل الأسمنت بعد تحویل المتغیرات الى الصیغة القیاسیة (لإختلاف وحدات قیاسها) ومن ثم مقارنة کفاءة الطرق المقترحة فی تقدیر نموذج الانحدار لتمدد الأسمنت على متغیرات الدراسة التسعة. وقد کانت مقاییس الکفاءة کما هو مبین فی الجدول أدناه والتی یتضح منها تفوق طریقة المربعات الصغرى الموزونة بأوزان Bisquare من مقدرات M:

ونلاحظ من رسم البواقی ضد القیم المقدرة فی الشکل (2) أدناه لنموذج انحدار المتغیر المعتمد y (تمدد الإسمنت) الموزون بدالة وزن Bisquare من مقدرات M (الرسوم للدوال الأخرى مطابقة لها) ضد المکونات الرئیسیة المقابلة للمتغیرات المستقلة أنه لاتوجد علامة لوجود ارتباط بین البواقی والقیم المقدرة ولا یوحی الشکل بوجود علاقة غیر خطیة. أما بالنسبة لرسم QQ-Plot نلاحظ وجود حوالی ثلاثة قیم شاذة (20, 23, 181) حیث نلاحظ إنحراف النموذج عن التوزیع الطبیعی کما هو واضح فی أطراف الرسم. وبالنظر إلى رسم جذر الاخطاء القیاسیة ضد القیم المقدرة أن النقاط متوزعة حول الخط بشکل منتظم الامر الذی یدل على عدم وجود مشکلة عدم تجانس التباین بین الأخطاء.  وأخیراً وبالنظر الى رسم قیم الجذب Leverage (مسافات کوک Cook’s Distance) ضد الأخطاء القیاسیة نجد أن الرسم قد أفرز قیمتین شاذتین فی المتغیر المعتمد (20, 23) وهما نفس القیمتین اللتان تم تشخیصهما فی رسم QQ-Plot، ولایبدو من الرسم وجود أیة قیم جاذبة Leverage Points)) فی البیانات.

الشکل (2): الرسوم التشخیصیة لمشاکل نموذج الانحدار الخطی LSPCRRobBisquare

6-الاستنتاجات

1. لم تتمکن مقدرات M من إعطاء صورة واضحة حول کفاءة المقدرات عند وجود قیم شاذة (قیم جاذبة أو مخلة) فی بیانات المتغیرات المستقلة X-Leverage Points.
2. بقیت الأسلوب المقترح لطریقة المربعات الصغرى للمکونات الرئیسیة LSPCRRobBisquare متفوقاً فی حالة وجود مشکلتی الشواذ فی المتغیر المعتمد Y-outliers وتعدد العلاقة الخطیة فی البیانات فی آنٍ واحد.
3. إن عدم ثبات سلوک المقدر المقترح LSPCRRobBisquare مقابل طریقة المربعات الصغرى الاعتیادیة التی تفوقت فی بعض الحالات یعد الى ان عملیة التقدیر قد تمت على مرحلتین، الأولى تم فیها التغلب على مشکلة تعدد العلاقة الخطیة من خلال إیجاد المرکبات الرئیسیة المقابلة للمتغیرات المستقلة وهذا لصالح طریقة المربعات الصغرى، والثانیة إستخدام أسلوب مقدرات M الحصین الذی تقتصر حصانته على وجود قیم شاذة فی المتغیر المعتمد، وبالمحصلة کانت مقدرات المربعات الصغرى الاعتیادیة باستخدام المکونات الرئیسیة کمتغیرات مستقلة بدلاً من المتغیرات الاصلیة المرتبطة خطیاً.