Title: Improving Polynomial Regression Using Principal Components Regression With the Example of the Numerical Inversion of Probability Generating Function
Abstract: 종속변수와 설명변수 사이의 관계가 선형이 아닌 경우에는 비선형 관계를 반영할 수 있는 다항회귀분석을 이용하여 회귀분석을 수행한다. 한편, 다항회귀분석에는 설명변수의 거듭제곱항들이 설명변수에 추가되므로 설명변수들 사이에 상관관계가 발생하여 다항회귀모형의 성능 저하 문제가 발생할 수 있다. 본 논문에서는 PGF 수치역변환 문제를 사례로 하여 주성분회귀분석을 통해 다항회귀분석의 성능을 극적으로 향상시킬 수 있음을 보인다. 본 논문에서는 PGF의 정의를 이용하여 PGF를 다항회귀분석으로 모형화한다. 다항회귀분석을 이용하여 PGF 전개식의 회귀계수를 추정하면 회귀계수의 추정 자체가 불가능하거나 계수 추정의 정확성이 저하되는 문제가 발생한다. 이 경우 다항회귀분석에 주성분회귀분석을 적용하면 계수 추정의 정확도가 극적으로 향상되어 다항회귀분석의 계수 추정 시 발생하는 문제를 해결할 수 있음을 밝힌다. We use polynomial regression instead of linear regression if there is a nonlinear relation between a dependent variable and independent variables in a regression analysis. The performance of polynomial regression, however, may deteriorate because of the correlation caused by the power terms of independent variables. We present a polynomial regression model for the numerical inversion of PGF and show that polynomial regression results in the deterioration of the estimation of the coefficients. We apply principal components regression to the polynomial regression model and show that principal components regression dramatically improves the performance of the parameter estimation.