Klimatbloggen

november 27, 2006

Felvaliderad ENSO?

Filed under: Havet,Klimatdata — by Daniel @ 19:59

Med anledningen av förgående inlägg, om att El Niño etablerats i Stilla Havet, kan man fundera på en kort artikel, som dök upp i Geophysical Research Letters under förgående vecka. Artikel, skriven av Andrew Solow, genomför en analys av tillgänglig ENSO-data (ENSO = El Niño Southern Oscillation) för att se om fenomenet beter sig utanför det naturliga mönstret. Det har föreslagits att El Niño kan komma att uppstå oftare (eller åtminstone starkare) jämfört med normalt när jorden värms upp. Specifikt hänvisar Solow till en välciterad artikel publicerad 1996 av Kevin Trenberth och Timothy Hoar i Geophysical Research Letters. Enligt denna skulle det mönster som observerades under första hälften av 1990-talet vara såpass ovanligt att sannolikheten för inträffandet var 1 på 2000 år, varför man funderade på om det fanns länkar med växthusgaser och om ett regimskifte hade ägt rum.

Solow anser att den metod Trenberth och Hoar använt kan ge en lite missvisande bild då de använt samma data i såväl beräkningar som i valideringssyfte. Detta ger upphov till en viss rundgång eftersom samma data används för att validera sig självt. Tyvärr är det inte helt omöjligt att sådana situationer uppstår, speciellt i fall där data är mycket begränsat. Exempelvis använder många temperaturrekonstruktioner en mängd olika mätserier. Om man efter rekonstruktionen använder någon av dessa mätserier för att validera temperaturen jämför man lite döljt egentligen samma serie med sig självt. Så det får man passa sig noga för.

Solow räknade om resultaten med fristående data och fann att Trenberths och Hoars slutsatser kanske inte var såpass robusta som man först kunde tro. ENSO-beteendet under tidiga 1990-talet var, enligt Solow, ovanligt men att ett regimskifte ägt rum var endast svagt uppbackat i data. Om det stämer eller inte ger det ändå intresse att få upp frågan på bordet igen för vidare utredning.

5 kommentarer

  1. Men… är det inte det bland det _första_ man får lära sig – att aldrig validera en modell med samma data som den bygger på? Går sådant verklien igenom den vetenskapliga granskningen utan att ifrågasättas? Nu sitter jag inte och reviewar vetenskapliga artiklar (inte än iallafall), men om jag fick en modell i min hand som bara hade validerats med de data den bygger på… nog skulle jag bli synnerligen tveksam till att godkänna den.

    Inom neuronnätsmodellering, maskininlärning och dataklassning (det område, eller kanske nära besläktade områden, där jag själv stött på problemet) finns diverse olika etablerade sätt att ”gå runt” problemet. Till exempel att spara typ var tionde datapunkt, bygga en modell med hjälp av de andra 90% av data och sedan validera med de återstående 10 procenten av data.

    Nu vet jag inte särskilt mycket om klimatmodellering – är det så att det är väldigt svårt att ”spara undan” data i just det fallet?

    Kommentar av Malin — november 28, 2006 @ 13:11

  2. Malin: Jo, det skall vara bland det första man tänker på (vilket det också är hos de flesta). Men ibland kan det vara svårt att hålla tungan rätt i mun. Turligt nog är det ganska ovanligt och förhoppningsvis upptäcker en revieware sådana saker… men då gäller det att reviewaren har full koll på ursprungskällan (med tidspress kan sådant brista). Om det faktiskt är så som Solow påstår vet jag inte, men om ett sådant valideringsfel har gjorts är det ganska allvarligt, även om slutsatserna inte blev så värst mycket påverkade i sig.

    Kommentar av Daniel — november 28, 2006 @ 13:43

  3. kommer inte åt artikeln för tillfället, men läste ”sammanfattningen”.

    Av den framgår det inte att man använt samma data, men att datat inte var helt oberoende. Men det kanske framgår i artikeln?

    Kommentar av Magnus W — november 28, 2006 @ 17:04

  4. Magnus: Tack, rätt skall vara rätt. Det är möjligt att det inte är identisk data som använts, men likväl var den inte oberoende. Båda situationerna ger upphov till samma problem som diskuterats.
    Det mest ingående som beskrivs i artikel är följande: ”However, unless the test explicitly accounts for the
    fact that the test period was chosen precisely because it was
    unusual, this not constitute a valid test for a shift in ENSO
    behavior. /…/ A valid procedure in a situation where the observational
    record is used to identify a potential shift in ENSO behavior
    can be based on an assessment of the predictive ability
    under the hypothesis of no shift using fresh data.”

    Kommentar av Daniel — november 28, 2006 @ 20:59

  5. Ok, tack. Det är alltid svårt att veta hur alvarligt likande är utan att få se på analysen.

    Kommentar av Magnus W — december 1, 2006 @ 8:54


RSS feed for comments on this post. TrackBack URI

Blogga med WordPress.com.

%d bloggare gillar detta: