Ha több tudományos adatpontot ábrázol, érdemes lehet, hogy a pontokhoz illeszkedjen a legjobban illeszkedő görbe. A görbe azonban nem egyezik pontosan az adatpontokkal, és ha nem, akkor érdemes lehet kiszámítani a négyzet középértéki hibáját (RMSE) annak érdekében, hogy felmérje, hogy az adatpontok mennyiben különböznek a görbétől. Az RMSE képlet minden egyes adatponthoz kiszámítja az adatpont tényleges értéke és az adatpont legjobban illeszkedő görbe értéke közötti különbséget.
Keresse meg a megfelelő y-értéket a legjobban illeszkedő görbén az x minden egyes értékéhez, amely megfelel az eredeti adatpontoknak.
Vonja le az y tényleges értékét az y értékéből a legjobban illeszkedő görbén minden egyes adatpontja esetén. A legjobban illeszkedő görbe y tényleges értéke és y értéke közötti különbséget maradványértéknek nevezzük. Négyzetbe tegye az egyes maradványokat, majd összegezze a maradványokat.
Ossza el a maradék összegét a rendelkezésére álló összes adatponttal, és vegye le a hányados négyzetgyökét. Ez adja meg a gyökér átlag négyzet hibáját.