Funktionsapproximation mit einer Regressionsanalyse

Dieser Onlinerechner nutzt verschiedene einfache Regressionsverfahren für die Approximation einer unbekannten Funktion anhand von einem Satz von Datenpunkten.

Diese Webseite exisiert dank der Arbeit von den folgenden Menschen:

Timur

Timur

Stefan Roesner

Erstellt: 2020-11-04 14:39:45, Letzte Aktualisierung: 2020-11-04 14:39:45

Das Problem der Funktionsapproximation ist, eine Funktion aus einer genau-definierten Gruppe zu wählen, die einer unbekannten Funktion fast gleicht (Approximation)

Dieser Rechner nutzt die vorgegebenen Daten der Zielfunktionstabelle in Form von Punkten {x, f(x)}, um verschiedene Regressionsverfahren zu erstellen. Dies sind: lineare Regression, quadratische Regression, kubische Regression, Potenzregression, logarithmische Regression, hyperbolische Regression, ab-Exponentialregression, Exponentialregression. Die Ergebnisse können anhand Korrelationskoeffizienten, Bestimmtheitsmaß, Durchschnitt von relativen Fehlern (Standardfehler der Regression) und visuell in einem Graphen verglichen werden. Theorien und Formeln werden wie immer unter dem Rechner angegeben.

PLANETCALC, Funktionsapproximation mit einer Regressionsanalyse

Funktionsapproximation mit einer Regressionsanalyse

Zahlen nach dem Dezimalpunkt: 4
Lineare Regression
 
Linearer Korrelationskoeffizient
 
Bestimmtheitsmaß
 
Durchschnitt von relativen Fehler, %
 
Quadratische Regression
 
Korrelationskoeffizient
 
Bestimmtheitsmaß
 
Durchschnitt von relativen Fehler, %
 
Kubische Regression
 
Korrelationskoeffizient
 
Bestimmtheitsmaß
 
Durchschnitt von relativen Fehler, %
 
Potenregression
 
Korrelationskoeffizient
 
Bestimmtheitsmaß
 
Durchschnitt von relativen Fehler, %
 
ab-Exponentialregression
 
Korrelationskoeffizient
 
Bestimmtheitsmaß
 
Durchschnitt von relativen Fehler, %
 
Logarithmische Regression
 
Korrelationskoeffizient
 
Bestimmtheitsmaß
 
Durchschnitt von relativen Fehler, %
 
Hyperbolische Regression
 
Korrelationskoeffizient
 
Bestimmtheitsmaß
 
Durchschnitt von relativen Fehler, %
 
Exponetialregression
 
Korrelationskoeffizient
 
Bestimmtheitsmaß
 
Durchschnitt von relativen Fehler, %
 
Ergebnisse
Die Datei ist sehr groß; Beim Laden und Erstellen kann es zu einer Verlangsamung des Browsers kommen.

Lineare Regression

Gleichung:
\widehat{y}=ax+b

a Koeffizient
a&=\frac{\sum x_i \sum y_i- n\sum x_iy_i}{\left(\sum x_i\right)^2-n\sum x_i^2}

b Koeffizient
b&=\frac{\sum x_i \sum x_iy_i-\sum x_i^2\sum y_i}{\left(\sum x_i\right)^2-n\sum x_i^2}

Linearer Korrelationskoeffizient
r_{xy}&=\frac{n\sum x_iy_i-\sum x_i\sum y_i}{\sqrt{\left(n\sum x_i^2-\left(\sum x_i\right)^2\right)\!\!\left(n\sum y_i^2-\left(\sum y_i\right)^2 \right)}}

Bestimmtheitsmaß
R^2=r_{xy}^2

Standardfehler der Regression
\overline{A}=\dfrac{1}{n}\sum\left|\dfrac{y_i-\widehat{y}_i}{y_i}\right|\cdot100\%

Quadratische Regression

Gleichung:
\widehat{y}=ax^2+bx+c

Ein Gleichungssystem um a, b und c zu finden
\begin{cases}a\sum x_i^2+b\sum x_i+nc=\sum y_i\,,\\[2pt] a\sum x_i^3+b\sum x_i^2+c\sum x_i=\sum x_iy_i\,,\\[2pt] a\sum x_i^4+b\sum x_i^3+c\sum x_i^2=\sum x_i^2y_i\,;\end{cases}

Korrelationskoeffizient
R= \sqrt{1-\frac{\sum(y_i-\widehat{y}_i)^2}{\sum(y_i-\overline{y})^2}},
wobei
\overline{y}= \dfrac{1}{n}\sum y_i

Bestimmtheitsmaß
R^2

Standardfehler der Regression
\overline{A}=\dfrac{1}{n}\sum\left|\dfrac{y_i-\widehat{y}_i}{y_i}\right|\cdot100\%

Kubische Regression

Gleichung:
\widehat{y}=ax^3+bx^2+cx+d

Gleichungssysteme um a, b, c und d zu finden
\begin{cases}a\sum x_i^3+b\sum x_i^2+c\sum x_i+nd=\sum y_i\,,\\[2pt] a\sum x_i^4+b\sum x_i^3+c\sum x_i^2+d\sum x_i=\sum x_iy_i\,,\\[2pt] a\sum x_i^5+b\sum x_i^4+c\sum x_i^3+d\sum x_i^2=\sum x_i^2y_i\,,\\[2pt] a\sum x_i^6+b\sum x_i^5+c\sum x_i^4+d\sum x_i^3=\sum x_i^3y_i\,;\end{cases}

Korrelationskoeffizient, Bestimmtheitsmaß, Standardfehler der Regression – die gleichen Formeln wie in der quadratischen Regression.

Potenzregression

Gleichung:
\widehat{y}=a\cdot x^b

b Koeffizient
b=\dfrac{n\sum(\ln x_i\cdot\ln y_i)-\sum\ln x_i\cdot\sum\ln y_i }{n\sum\ln^2x_i-\left(\sum\ln x_i\right)^2 }

a Koeffizient
a=\exp\!\left(\dfrac{1}{n}\sum\ln y_i-\dfrac{b}{n}\sum\ln x_i\right)

Korrelationskoeffizient, Bestimmtheitsmaß, Standardfehler der Regression – die gleichen Formeln wie oben.

ab-Exponentialregression

Gleichung:
\widehat{y}=a\cdot b^x

b Koeffizient
b=\exp\dfrac{n\sum x_i\ln y_i-\sum x_i\cdot\sum\ln y_i }{n\sum x_i^2-\left(\sum x_i\right)^2 }

a Koeffizient
a=\exp\!\left(\dfrac{1}{n}\sum\ln y_i-\dfrac{\ln b}{n}\sum x_i\right)

Korrelationskoeffizient, Bestimmtheitsmaß, Standardfehler der Regression – die gleichen Formeln wie oben.

Hyperbolische Regression

Gleichung:
\widehat{y}=a + \frac{b}{x}

b Koeffizient
b=\dfrac{n\sum\dfrac{y_i}{x_i}-\sum\dfrac{1}{x_i}\sum y_i }{n\sum\dfrac{1}{x_i^2}-\left(\sum\dfrac{1}{x_i}\right)^2 }

a Koeffizient
a=\dfrac{1}{n}\sum y_i-\dfrac{b}{n}\sum\dfrac{1}{x_i}

Korrelationskoeffizient, Bestimmtheitsmaß, Standardfehler der Regression – die gleichen Formeln wie oben.

Logarithmische Regression

Gleichung:
\widehat{y}=a + b\ln x

b Koeffizient
b=\dfrac{n\sum(y_i\ln x_i)-\sum\ln x_i\cdot \sum y_i }{n\sum\ln^2x_i-\left(\sum\ln x_i\right)^2 }

a Koeffizient
a=\dfrac{1}{n}\sum y_i-\dfrac{b}{n}\sum\ln x_i

Korrelationskoeffizient, Bestimmtheitsmaß, Standardfehler der Regression – die gleichen Formeln wie oben.

Exponentialregression

Gleichung:
\widehat{y}=e^{a+bx}

b Koeffizient
b=\dfrac{n\sum x_i\ln y_i-\sum x_i\cdot\sum\ln y_i }{n\sum x_i^2-\left(\sum x_i\right)^2 }

a Koeffizient
a=\dfrac{1}{n}\sum\ln y_i-\dfrac{b}{n}\sum x_i

Korrelationskoeffizient, Bestimmtheitsmaß, Standardfehler der Regression – die gleichen Formeln wie oben.

Ableitungen von Formeln

Fangen wir mal mit einem Problem an:
Wir haben eine unbekannte Funktion y=f(x), die in Form einer Datentabelle (zum Beispiel solche die aus einem Experiment erhalten wurde) gegeben ist.
Wir müssen die Funktion mit bekannter Art (linear, quadratisch etc.) y=F(x) finden, deren Werten so nah wie möglich wie die Werte in der Tabelle sein sollten. In der Praxis bedeutet es, dass die Art der Funktion durch den visuellen Vergleich zwischen den Tabellenpunkte und der Graphen der bekannten Funktionen ermittelt wird.

Als Ergebnis sollten wir eine Formel y=F(x) erhalten, die sogenannte empirische Formel (Regressionsgleichung, Funktionsapproximation), welche es erlaubt, y für x’s zu berechnen, die nicht in der Tabelle sind. Daher „glättet“ die empirische Formel die y-Werte.

Wir nutzen das Verfahren der kleinsten Quadrate um den Paramater F für die beste angepasste Form zu erhalten. Die beste Form in dem Verfahren der kleinsten Quadrate minimiert die Summe von quadratischen Residuen. Residuen sind die Unterschiede zwischen einem beobachteten Wert dem gepassten Wert durch ein Verfahren.

Daher müssen wir die Funktion F finden, wie die Summe von quadratischen Residuen S minimiert sind
S=\sum\limits_i(y_i-F(x_i))^2\rightarrow min

Nun beschreiben wir die Lösung für dieses Problem mit der linearen Regression F=ax+b als Beispiel.
Wir müssen die beste angepasste Form für die Koeffizienten a und b finden, daher ist
S die Funktion von a und b. Um das Minimum zu finden, werden wir die Extrempunkte finden, wo die partiellen Ableitungen gleich Null sind.

Unter der Verwendung der Ableitungsformel von komplexen Funktionen erhalten wir die folgende Gleichung
\begin{cases} \sum [y_i - F(x_i, a, b)]\cdot F^\prime_a(x_i, a, b)=0 \\ \sum [y_i - F(x_i, a, b)]\cdot F^\prime_b(x_i, a, b)=0 \end{cases}

Für die Funktion F(x,a,b)=ax+b sind die partiellen Ableitungen
F^\prime_a=x,
F^\prime_b=1

Erweitert man die erste Formel um eine partielle Ableitung, erhält man die folgende Gleichung
\begin{cases} \sum (y_i - ax_i-b)\cdot x_i=0 \\ \sum (y_i - ax_i-b)=0 \end{cases}

Nachdem man die Klammern entfernt hat, bekommt man das folgende:
\begin{cases} \sum y_ix_i - a \sum x_i^2-b\sum x_i=0 \\ \sum y_i - a\sum x_i - nb=0 \end{cases}

Von diesen Gleichungen können wir die Formeln für a und b erhalten, die gleich mit oben genannten Formeln sind.

Mit dem Gleichen Verfahren können wir die Formeln für alle weiteren Regressionen bekommen.

URL zum Clipboard kopiert
PLANETCALC, Funktionsapproximation mit einer Regressionsanalyse

Kommentare