Beregn outliers

1. Lær, hvordan du spotter potentielle outliers. Før vi kan beslutte, om vi skal fjerne unormale værdier fra et bestemt datasæt, skal vi selvfølgelig genkende de mulige outliers i datasættet. Generelt er outliers de datapunkter, der afviger væsentligt fra tendensen, at de andre værdier i den indstillede form – med andre ord, de skyde ud af de andre værdier. Det er normalt let at genkende dette i tabeller og (især) i grafer. Hvis datasættet tegnes visuelt, vil outlierne være `langt væk` fra de andre værdier. For eksempel, hvis de fleste punkter i et datasæt danner en lige linje, vil outliers ikke være i overensstemmelse med denne linje.

• Lad os se på et datasæt, der viser temperaturerne på 12 forskellige genstande i et rum. Hvis temperaturen på 11 af genstandene svinger omkring 21°C med højst et par grader, mens en genstand, en ovn, har en temperatur på 150°C, kan man med et øjeblik se, at ovnen formentlig er en yderside.

2. Sorter alle datapunkter fra lav til høj. Det første trin i beregningen af ​​outliers er at finde medianværdien (eller den midterste værdi) af datasættet. Denne opgave bliver meget lettere, hvis værdierne i sættet er i rækkefølge fra laveste til højeste. Så før du fortsætter, skal du sortere værdierne i dit datasæt på denne måde.

3. Beregn medianen af ​​datasættet. Medianen af ​​et datasæt er det datapunkt, hvor halvdelen af ​​dataene er over det, og halvdelen af ​​dataene er under - det er dybest set "centeret" af datasættet. Hvis datasættet indeholder et ulige antal punkter, er medianen let at finde – medianen er punktet med lige så mange punkter over som under det. Hvis der er et lige antal point, da der ikke er ét midtpunkt, skal du tage gennemsnittet af de to midtpunkter for at finde medianen. Ved beregning af outliers er medianen normalt angivet med variablen Q2 - fordi den ligger mellem Q1 og Q3, den første og tredje kvartil. Vi vil bestemme disse variabler senere.

4. Beregn den første kvartil. Dette punkt, som vi omtaler som variablen Q1, er det datapunkt, under hvilket 25 procent (eller en fjerdedel) af observationerne ligger. Med andre ord er dette midtpunktet af alle punkter i dit datasæt under medianen. Hvis der er et lige antal værdier under medianen, skal du igen gennemsnittet de to midterste værdier for at finde Q1, som du måske allerede har gjort for at bestemme medianen selv.

5. Beregn den tredje kvartil. Dette punkt, som vi betegner med variablen Q3, er det datapunkt, over hvilket 25 procent af dataene ligger. At finde Q3 er praktisk talt det samme som at finde Q1, undtagen i dette tilfælde ser vi på punkterne over medianen.

6. Find interkvartilområdet. Nu hvor vi har bestemt Q1 og Q3, skal vi beregne afstanden mellem disse to variable. Afstanden mellem Q1 og Q3 kan findes ved at trække Q1 fra Q3. Den værdi, du får for interkvartilområdet, er afgørende for at bestemme grænserne for ikke-afvigende punkter i dit datasæt.

7. Find de `indre grænser` for datasættet. Du kan identificere outliers ved at bestemme, om de falder inden for en række numeriske grænser; de såkaldte `indre grænseværdier` ​​og `ydre grænseværdier`. Et punkt, der falder uden for datasættets indre grænser, klassificeres som en mild udligger, og et punkt, der falder uden for de ydre grænser, er klassificeret som en ekstrem udligger. For at finde de indre grænser for dit datasæt skal du først gange interkvartilområdet med 1,5. Tilføj resultatet til Q3 og træk det fra Q1. De to resultater er de indre grænser for dit datasæt.

8. Find datasættets `ydre grænser`. Det gør du på samme måde som med de indre grænser, med den eneste forskel, at du multiplicerer interkvartilområdet med 3 i stedet for med 1,5. Du tilføjer derefter resultatet til Q3 og trækker fra Q1 for at finde de ydre grænser.

9. Brug en kvalitativ vurdering til at afgøre, om du skal "kassere" afvigelserne. Med ovenstående metode kan du bestemme, om visse punkter er milde outliers, ekstreme outliers eller ingen outliers overhovedet. Men tag ikke fejl – at anerkende et punkt som en afviger gør det kun til et kandidat skal fjernes fra datasættet, og ikke straks fjernes en prik skal blive til. Det red hvorfor en outlier er forskellig fra resten af ​​punkterne i sættet er afgørende for, om outlieren skal fjernes. Generelt fjernes outliers forårsaget af en fejl - f.eks. en fejl i målingerne, i optagelserne eller i det eksperimentelle design -. I modsætning hertil er outliers, der ikke er forårsaget af fejl, og som afslører ny, uforudset information eller tendenser, normalt ikke slettet.

10. Forstå vigtigheden af ​​(nogle gange) at fastholde outliers. Mens nogle outliers bør fjernes fra et datasæt, fordi de er resultatet af fejl, eller fordi de vildledende skævvrider resultaterne, bør andre outliers bevares. For eksempel, hvis en outlier er opnået korrekt (dvs. ikke resultatet af en fejl), og/eller hvis outlieren giver en ny indsigt i det fænomen, der skal måles, bør den ikke fjernes med det samme. Videnskabelige eksperimenter er særligt følsomme situationer, når det kommer til at håndtere outliers - fejlagtig fjernelse af en outlier kan betyde, at man kasserer vigtig information om en ny trend eller opdagelse.