Sadržaj Opšte o ansambl sezonskim prognozama 1 Uvod Početkom 20. veka se javila ideja o numeričkom rešavanju osnovnih jednačina atmosfere (Wilhelm Bjerknes, 1904), tzv. numeričkim modelima za prognozu vremena. Razvojem računara, oni su se intenzivno razvijali, i u današnje vreme njima dobijeni produkti se koriste u najrazličitijim sferama života. U zavisnosti od vremenskih i prostornih razmera atmosferskih procesa koje opisujemo, prognoze se dele na: 1. predočavanje (do 2 časa unapred) 2. veoma kratkoročnu (do 12 časova unapred) 3. kratkoročnu (do 72 časa unapred) 4. srednjoročnu (do 10 dana unapred) 5. peoduženu (do 30 dana unapred) 6. dugoročnu (do 2 godine unapred) Poznato je da prognozljivost pojava i promena u atmosferi opada sa dužinom prognostičkog perioda. Rezultati kratkoročnih prognoza jasno svedoče da je prognozljivost reda veličine od oko dve nedelje. S obzirom na to da se sezonske prognoze, po dužini prognostičkog perioda, svrstavaju u dugoročnu prognozu (30 dana do 2 godine unapred), ovaj problem je naročito izražen. U cilju procene neodređenosti rezultata, uvodi se ansambl prognoza. Sezonske prognoze se gotovo uvek izrađuju u obliku ansambla prognoza. Ansambl prognoza je metod numeričke prognoze vremena čiji je rezultat skup mogućih budućih stanja atmosfere. To je skup pojedinačnih prognoza dobijenih višestrukim integracijama numeričkim modelima. Za obradu i tumačenje ansambl sezonskih prognoza, koristi se drugačiji pristup nego kod kratkoročnih prognoza, pa s toga postoje i specijalno prilagođene metode za verifikaciju. U ovom radu je dat pregled prognostičkih produkata dobijenih iz ansambl sezonskih prognoza, i razmatrane su neke od metoda za njihovu verifikaciju. Neke od metoda su i praktično primenjene na rezultate dobijene regionalnim klimatskim modelom (RCM-SEEVCCC). OVO SKINUTI Numerički modeli koji se koriste za izradu sezonskih prognoza su prilagođeni za duže integracije uračunavajući spoljne uticaje na atmosferu - temperaturu površine mora, promene u snežnom i ledenom pokrivaču. To su povezani modeli atmosfere i okeana. 1.1 Napomene u vezi sa terminologijom U cilju boljeg razumevanja, navedeni su neki od pojmova korišćenih u radu: Period integracije (forecast range): vremenski period od objavljivanja prognoze (forecast issue time), do kraja integracije Vodeće vreme (lead time): vreme od objavljivanja prognoze (forecast issue time) do prvog dana važenja Prognostički period (forecast period)-period važenja: vremenski period od prvog dana važenja do kraja integracije Startni datum: datum koji se koristi za start prognoze, tj. datum objavljivanja prognoze Važeći datum (datum važenja): datum za koji je izdata prognozirana vrednost Npr. ako je prognoza izdata 1. januara, a vodeće vreme jednako je jedan mesec, onda prognostički period počinje 1. februara. 2 Ansambl prognoza 2.1 Osobine Dobre Prognoze Ansamblima, hahahhmm Osnovna ideja prognoze ansamblima je uzimanje u obzir neodređenosti početnih uslova preko odgovarajuće kolekcije, tj. ansambla međusobno sličnih početnih uslova. Idealno, početni ansambl predstavlja slučajni uzorak iz gustine raspodele koja oslikava neodređenost početnih uslova, definisan na faznom prostoru posmatranog dinamičkog modela. Ako su početni članovi ansambla slučajno izabrani iz gustine raspodele „neodređenosti početnih uslova“, i ako su u modelu fizički procesi verno prikazani, disperzija ansambla nakon integracije u vremenu predstavljaće slučajni uzorak iz gustine raspodele neodređenosti prognoziranih vrednosti. Ukoliko se ovi uslovi mogu postići, pravo stanje atmosfere biće samo još jedan član ansambla, u početnom trenutku i kroz period integracije, i statistički se neće razlikovati od ostalih članova. Ovaj uslov, da je stvarno stanje atmosfere u budućem vremenu zapravo slučajni uzorak iz iste raspodele iz koje je kreiran ansambl, naziva se konzistentnost ansambla. str 315 anderson nije mi bas jasno! Tako, prognoze ansamblima su prognoze verovatnoća koje su izražene kao diskretna aproksimacija neprekidne gustine raspodele prognoziranih vrednosti. U skladu sa ovom aproksimacijom, relativna frekvencija iz ansambla predstavlja-aproksimira-daje ocenu „stvarne“ verovatnoće. Prognozirane veorvatnoće iz ansambla će biti dobre (tj. pravilno će odražavati neodređenost prognoza)...hmmm ne kontam.-ono što prognoziramo da izgleda statistički kao da pripada ansamblu, kao da je član ansambla-.. Neophodan uslov za ensemble consistency je odgovarajuća veličina disperzije ansambla. Ako je disperzija premala, vrlo često osmatranje neće pripadati raspodeli ansambla, što implicira da će relativna frekvencija ansambla biti loša aproksimacija prognozirane verovatnoće. Dakle, ako je disperzija previše mala (fig 7.21a) članovi ansambla su međusobno slični, ali previše se razlikuju od osmatranja. Ako je disperzija prevelika (fig 7.21c), osmatranja će uglavnom uzimati vrednosti iz sredine raspodele ansambla, što opet znači da će relativna frekvencija iz ansambla loše aproksimirati verovatnoću. Na slici (fig 7.21b) prikazana je raspodela ansambla koja je dobra, u ovom slučaju osmotrena vrednost će imati iste šanse da pripadne bilo kom kvantilu raspodele procenjenog ansamblom. Empirijska raspodela prognoze ansamblima, kao što je prikazana na slici 7.21, daje direktnu procenu prognozirane gustine raspodele za neprekidni skalarni prediktand. U slučaju diskretnog prediktanta takođe koristimo raspodelu ansambla, ali verovatnoće dobijamo preko epmirijske kumulativne frekvence, koja će aproksimirati verovatnoću Pr(Y\leq y) na osnovu rangova y_{(i)} članova iz raspodele ansambla. Prognozirana verovatnoća ostvarenja diskretnog prediktanda ispod ili u vrednosti zadate pragom y , dobija se koristeći formulu p(y)=i/n_{ans}, gde je i rang od y_{i}, u raspodeli od n_{ans} članova ansambla. Dakle, Pr(Y\leq y) biće dato kao relativna frekvencija članova ansambla manjih od praga y, tj. Pr(Y\leq y_{(i)})\approx i/n_{ans.} Postoje i druge metoda procene kumulativnih verovatnoća Table 3.2, ali o tome ovde neće biti reči. DAKLE OVO NINASTA NE LICI! 2.2 Šta je Ansambl prognoza Znatan broj činilaca utiče na numerička rešenja prognostičkih jednačina: nemogućnost da se trenutno stanje atmosfere egzaktno poznaje i predstavi, procesi koji se odvijaju u atmosferi su nelinearni, numerički modeli su samo aproksimacija ovih procesa... Iz navedenih razloga, svaka prognoza predstavlja samo jedno od mogućih budućih stanja atmosfere. Iako buduće stanje atmosfere nije moguće tačno odrediti, moguće je smanjiti grešku rešenja i proceniti meru neodređenosti. U tom cilju se koristi ansambl prognoza. Ansambl prognoza predstavlja skup pojedinačnih prognoza dobijenih višestrukim integracijama numeričkim modelima za isti period integracije. Svaka od ovih pojedinačnih prognoza naziva se članom ansambla. Način na koji se formira ansambl prognoza zavisi od postupka kojim se određuju članovi ansambla: 1. Perturbacijom početnih uslova koji se zatim koriste kao početna polja za start istog prognostičkog modela 2. Perturbacijom prognostičkog modela, gde svaka perturbacija startuje iz istih početnih uslova 3. Kombinacijom prognoza dobijenih iz više različitih prognostičkih modela (tzv. multi-model ensemble, poor man's ensemble) 4. Kombinacijom 1., 2., 3. Za rad modela, neophodno je definisati početno stanje atmosfere u tačkama integracije (početni uslovi). Međutim, ovim procesom se neminovno uvodi greška, zato što podaci osmotreni u jednom trenutku samo približno predstavljaju pravo stanje klimatskog sistema (atmosfere, okeana i tla). Suočavamo se sa problemom raspoloživosti, tačnosti i reprezentativnosti osmotrenih podataka. Osmatrački sistem je takav da pokrivenost i kvalitet osmatranja značajno varira. Takođe se analizom (fusnota) podataka gube neke informacije o početnom stanju. Relativno mala greška u osmotrenim vrednostima značajno se odražava na vrednost prognozirane veličine. Poznato je da su nelinearni sistemi (u našem slučaju modeli koji opisuju atmosferu) izuzetno osetljivi na varijacije u početnim uslovima. Posmatrajući evoluciju dva nelinearna sistema, čija se početna stanja vrlo malo razlikuju, često se uočava da njihov razvoj posle izvesnog vremena bude u potpunosti različit (informacija o početnom stanju se gubi). Mera neodređenost početnih uslova, izražena članovima ansambla, omogućava da se utvrdi mera pouzdanosti prognoze. Drugi izvor grešaka, prilikom izrade prognoze numeričkim modelima, potiče od postavke samog modela. Nemogućnost da se modelom egzaktno opišu fizički procesi koji vladaju u atmosferi, uzrokuje greške u prognoziranim vrednostima. Kako bismo uzeli u obzir ovako nastale greške, formiramo ansamble perturbacijom prognostičkog modela (promenom razlaganja, jednačina dinamike, parametrizacija fizičkih procesa, numeričkih šema). 2.3 Klimatologija modela - hindcast Modelska klimatologija predstavlja niz prognoza dobijenih puštanjem modela za neki period u prošlosti (koristeći osmotrena polja iz tog perioda). Statistike izvedene iz tog niza takođe nazivamo modelska klimatologija. Kako modeli nisu savršena slika stvarnih dešavanja u atmosferi, tako ni modelska klimatologija ne predstavlja stvarne klimatološke vrednosti na datoj lokaciji. U nekim regionima modelska klimatologija može biti toplija od osmotrene klimatologije, a u nekim regionima modelske klimatološke vrednosti su hladnije. Zato se javlja sistematska srednja greška (sistematski bajas) u prognozi. Ovaj bijas se poništava ako prognozirane vrednosti izrazimo kao anomalije od modelske klimatologije - postupak koji se naziva kalibracija. Ovako dobijene anomalije zatim posmatramo kao anomalije stvarnog sistema u odnosu na osmotrenu klimatologiju. Modelska klimatologija se takođe koristi i u procesu verifikacije sezonske prognoze. Svaka važeća prognoza ima modelsku klimatologiju koja joj odgovara. Neka je period integracije sedam meseci unapred. Model se pušta za svaku godinu iz niza (npr. 1981-2010), za svaki startni mesec, sedam meseci unapred. Uzmimo primer gde je start važeće prognoze januar 2013. godine. Odgovarajući hindcast dobijamo tako što puštamo model (sedam meseci unapred) sa startom u januaru, za svaku godinu (1981-2010). Na taj način će svaki važeći mesec prognoze imati svoju klimatologiju. Praktičan postupak je sledeći: 1. odredi se željeni period u prošlosti (npr. 1981-2010, što čini niz od 30 godina) 2. odredi se startni mesec 3. obezbede se početni uslovi za startni mesec, za svaku godinu u nizu 4. model se pušta 30 puta, 7 meseci unapred, koristeći početne uslove za taj startni mesec (iz tačke 3) 5. postupak se ponovi za svih 12 startnih meseci 6. koraci 1-5 se ponavljaju za svaki član ansambla Bitno je istaći da svaki važeći mesec prognoze, u zavisnosti od vodećeg vremena ima sedam vrednosti za klimatologiju: posmatrajmo decembar kao važeći mesec prognoze. Za prognozu koja je startovala u decembru, decembar je prvi mesec važenja (vodeće vreme je nula). Za prognozu koja je startovala u novembru, decembar je drugi mesec važenja (vodeće vreme je 1). Za prognozu koja je startovala u junu, decembar je sedmi mesec važenja (vodeće vreme je 6). Dakle, pored odabira važećeg meseca, moramo voditi računa o kom vodećem vremenu je reč, i izabrati odgovarajuću modelsku klimatologiju za važeći mesec i odgovarajuće vodeće vreme. Ovo je bitna razlika osmotrene i modelske klimatologije. Druga razlika leži u tome što je uzorak modelske klimatologije obogaćen ansamblima. To znači da ako za decembar osmotrena klimatologija ima obim od 30 godina, odgovarajuća modelska klimatologija za važeći mesec decembar i jedno vodeće vreme imaće obim od 30 godina * broj ansambala. 2.4 Prognostički proizvodi sezonskih prognoza Glavni prognostički proizvodi sezonskih prognoza opisuju osrednjene vrednosti meteoroloških elemenata na mesečnom i sezonskom nivou (osrednjena tri meseca). Direktan izlaz modela za sezonsku prognozu je po formi isti kao izlaz iz modela za kratkoročne prognoze, ali se pristup u obradi i korišćenju ovih rezultata znatno razlikuje. Nakon perioda od npr. deset dana, nije moguće dati detaljan opis meteoroloških elemenata, ali se može reći nešto o prosečnim uslovima koji će vladati u narednih nekoliko meseci. Prognozirane vrednosti se prikazuju u vidu anomalija (odstupanja) od modelskih klimatskih vrednosti, i kao verovatnoće realizacija unapred definisanih kategorija (npr. iznad, oko i ispod normale), a sve to za posmatran mesec ili sezonu. Ako je prognozirana temperatura za zimsku sezonu oko normale, to ne znači da će konstantno vladati takvi uslovi. Pažnja se mora obratiti i na to da su prognozirane vrednosti kako vremenski, tako i prostorno osrednjene. U dve različite lokacije koje pripadaju regionu za koji je prognoza osrednjena, moguće je da se osmotre različiti uslovi, koji u srednjem daju prognoziranu vrednost. Ovo naročito važi za predele sa brdovitim terenom. Iz prognoziranih verovatnoća dalje možemo proceniti i neodređenost prognoziranih vrednosti. 2.4.1 Definicija prognoziranih kategorija Za svaku stanicu (ili tačku mreže) i dati mesec (sezonu) važeće prognoze, vrednosti modelske klimatologije se sortiraju u rastući niz. Zatim se odrede dve granične vrednosti (tercili), koje ovaj niz dele na tri jednaka dela (tri kategorije). Na ovaj način, verovatnoća ostvarivanja jedne od kategorija je 33.3%, u proseku jednom u tri godine. U slučaju temperatura kategorije nazivamo hladno, normalno i toplo, a za padavine suvo, normalno i vlažno. Kažemo da je prognozirana vrednost: iznad normale: vrednost temperature/padavina veća od gornjeg tercila (pripada najtoplijoj/najvlažnijoj trećini klimatološkog niza) ispod normale: vrednost temperature/padavina je manja od donjeg tercila u normali: vrednost temperature/padavina je veća ili jednaka od donjeg, a manja ili jednaka od gornjeg tercila Na isti način se definišu prognoze za pet kategorija. Granične vrednosti u ovom slučaju su kvartili (dele niz na pet jednakih delova). 2.4.2 Definicija prognoziranih verovatnoća Prognozirane verovatnoće se dobijaju tako što odredimo kojoj kategoriji pripada vrednost svakog člana ansambla važeće prognoze. Zatim dobijen broj ansambala u svakoj kategoriji podelimo sa ukupnim brojem članova ansambla. Nakon što smo unapred definisali (opisali) događaj za koji prognoziramo verovatnoću ostvarenja. Sledeći korak je formiranje uzorka podataka za ocenu. skupa prognoza y_{i} su vrednosti prognoziranih verovatnoća Prognozirana verovatnoća ostvarenja diskretnog prediktanda ispod ili u vrednosti zadate pragom y , dobija se koristeći formulu p(y)=i/n_{ans}, gde je i rang od y_{i}, u raspodeli od n_{ans} članova ansambla. Dakle, Pr(Y\leq y) biće dato kao relativna frekvencija članova ansambla manjih od praga y, tj. Pr(Y\leq y_{(i)})\approx i/n_{ans.} Postoje i druge metoda procene kumulativnih verovatnoća Table 3.2, ali o tome ovde neće biti reči. DAKLE OVO NINASTA NE LICI! Prognozirane verovatnoće nalaze se u intervalu između 0.0 i 1.0 (uključujući i ove dve krajnje tačke), i predstavljaju verovatnoće ostvarenja razmatranog događaja (događaja koji se prognozira). Primer je prognoza verovatnoće padavina (PoP forecast), gde događaj koji se prognozira, a samim tim i ocenjuje, definišemo npr. kao: „pala je kiša“. Prognozirane verovatnoće od 0.0 ili 1.0 su očigledno netačne (0.0) tj. tačne (1.0), ali za sve ostale vrednosti u navedenom intervalu, ovo se ne može tvrditi. Ocena prognoziranih verovatnoća vrši se preko zajedničke raspodele parova prognoza-osmatranje. 2.4.3 Prognoza srednjakom ansambla Prognozirana vrednost se prikazuje i kao odstupanje srednje vrednosti ansambla od klimatske srednje vrednosti za datu lokaciju i mesec ili sezonu. Ocena Prognoze Vremena 3 Uvodna Razmatranja Ocena vremenske prognoze definiše se kao metod procene kvaliteta prognoze. Formiraju se skupovi prognoziranih i osmotrnih vrednosti, a zatim se određuju statističke karakteristike svakog skupa pojedinačno, kao i veze između ta dva skupa. [key-7] (predictand-ono sto je prognozirano) 3.1 Svrha ocene vremenske prognoze U zavisnosti od cilja ocene prognoze, razrađuje se sistem tj. metoda po kojoj se vrši ocena. Brier i Allen (1951) su dali sledeću podelu: Administrativni cilj. Ocene dobijene u ovu svrhu često se koriste za praćenje kvaliteta prognoze u toku vremena. Prati se kvalitet prognoze za različite lokacije i/ili vodeće vreme. Takođe se može uporediti kvalitet prognoziranih vrednosti različitih prognostičara i/ili prognostičkih sistema. Naučni cilj. Svrha je identifikovati vrline i mane prognostičkog modela sa takvim detaljima koji će usmeriti dalje istraživanje i razvoj u cilju poboljšanja tog modela. Ekonomski cilj. Određuje se moguća korist od prognoze vremena naspram troškova izrade prognoze. Ovo se postiže pravilno izabranim metodama kojima se dobijaju informacije o greškama. 3.2 Metodi Ocene Prognoze Vremena Da bi se što vernije predstavile karakteristike modela, potrebno je odrediti nekoliko različitih mera uspešnosti. Razlikujemo: Apsolutne mere („Skor“): Odnose se na karakteristike individualnog prognostičkog sistema. Primer je srednja kvadratna greška. Relativne mere („Skill Skor“): Poređenje karakteristika dva prognostička sistema, tj. prognostički sistem koji ocenjujemo poredimo sa određenim standardom. Obično se koriste tri standarda: slučajnost, perzistencija i klimatologija. Slučajnost predstavlja čisto nagađanje; perzistencija je prognoziranje vrednosti identičnih prethodno prognoziranim vrednostima (do trenutka izdavanja prognoze koju ocenjujemo); klimatologija je prognoziranje prosečnog vremena, tj. klimatoloških vrednosti za dati period; Oblik mere uspešnosti dat je kao:SS=\frac{SC-ST}{PS-ST} gde je: SC rezultat postignut prognozom, ST je rezultat postignut korišćenjem standardne (referentne) prognoze (slučajnost, perzistencija ili klimatologija), i PS je rezultat koji bi se dobio iz perfektne prognoze. Bez obzira na kojoj apsolutnoj meri SC (npr. srednja kvadratna greška itd.) je bazirana relativna mera uspešnosti SS , ona je uvek data u gore navedenom obliku, i meri atribute uspešnosti. 3.3 Zajednička raspodela Prognoza i Osmatranja U osnovi svih metoda ocena prognoze je zajednička raspodela prognoziranih i osmotrenih vrednosti. Prognozirane i osmotrene vrednosti obrazuju konačan skup diskretnih vrednosti. Prognozirane vrednosti su obeležene sa y_{i} , i uzimaju bilo koju od I vrednosti y_{1},\, y_{2},....,\, y_{I} (npr. 10 diskretnih vrednosti za verovatnoću); odgovarajuće osmatrene vrednosti su obeležena sa o_{j} , i one uzimaju bilo koju od J vrednosti o_{1},\, o_{2},....,\, o_{j} . Tada zajedničku raspodelu prognoziranih i osmotrenih vrednosti označavamo kao: p(y_{i},\, o_{j})=Pr\left\{ y_{i},\, o_{j}\right\} =Pr\left\{ y_{i}\Cap o_{j}\right\} ;\,\,\,\, i=1,....,\, I;\,\, j=1,....,\, J Ovo je diskretan dvodimenzionalni zakon raspodele, koji svakoj od mogućih I\times J kombinacija prognoza i osmatranja dodeljuje odgovarajuću verovatnoću (frekvencu). Čak i u trivijalnom slučaju, kada je I=J=2 , zajedničku raspodelu nije praktično koristiti direktno, već se ona razlaže na proizvod dva člana. Postoje dva načina na koji se raspodela može razložiti, od kojih svaki nosi drugačije informacije o kvalitetu prognoze. Prvi od načina je calibration-refinement factorization [key-1] :p(y_{i},o_{j})=p(o_{j}\mid y_{i})p(y_{i});\,\,\,\, i=1,....,\, I;\,\, j=1,....,\, J Prvi član ove faktorizacije je skup od I uslovnih verovatnoća p(o_{j}\mid y_{i}) . Ova uslovna verovatnoća predstavlja verovatnoću ostvarenja svakog od J događaja o_{j} pod uslovom da je izdata prognozirana vrednost y_{i} . Koliko često se događaj ostvario u slučaju kad smo prognozirali y_{i} . Na osnovu toga možemo reći koliko dobro ja kalibrisana svaka od prognoziranih vrednosti y_{i} . Drugi činilac faktorizacije je bezuslovna (marginalna) raspodela p(y_{i}) , koja predstavlja relativne frekvencije korišćenja svake od prognoziranih vrednosti y_{i} (koliko često je upotrebljena (izdata) svaka od I mogućih prognoziranih vrednosti). Navedena marginalna raspodela se ponekad naziva i prediktivna raspodela. OVO SKLONI Iz marginalne raspodele uočavamo kolika je disperzija prognoziranih verovatnoća. Ako je varijansa ukazuje da se svaka od mogućih prognoza relativno često upotrebljavaju, što znači da prognostički proizvod potencijalno može razlikovati širok spektar uslova. Suprotno ovome, ako je većina prognoziranih vrednosti međusobno slična, tada je marginalna raspodela AAnarrow. Ova osobina marginalne reaspodele naziva se AAsharpness DO OVDE SKLONI Druga mogućnost da se razloži zajednička raspodela parova prognoza/osmatranje je AAlikelihood-base rate faktorizacija [key-1] p(y_{i},o_{j})=p(y_{i}\mid o_{j})p(o_{j});\,\,\,\, i=1,....,\, I;\,\, j=1,....,\, J U ovom slučaju, uslovne verovatnoće p(y_{i}\mid o_{j}) predstavljaju broj pojavljivanja svake od I mogućih prognoza, kada je unapred osmotrena vrednost o_{j} . Bezuslovna raspodela p(o_{j}) izražava relativne frekvencije J osmotrenih događaja o_{j} iz uzorka koji se ocenjuje (koliko često se ostvario svaki od događaja o_{j} ). Navedena raspodela se uobičajeno naziva uzoračka klimatološka raspodela, ili jednostavnije, uzoračka klimatologija. 4 Prognoza Verovatnoća Diskretnih Prediktanada Da se podsetimo, mi smo unapred definisali (opisali) događaj za koji prognoziramo verovatnoću ostvarenja. Neka događaj bude „ pašće više od 10mm kiše“. Sledeći korak je formiranje uzorka podataka za ocenu. skupa prognoza y_{i} su vrednosti prognoziranih verovatnoća Prognozirana verovatnoća ostvarenja diskretnog prediktanda ispod ili u vrednosti zadate pragom y , dobija se koristeći formulu p(y)=i/n_{ans}, gde je i rang od y_{i}, u raspodeli od n_{ans} članova ansambla. Dakle, Pr(Y\leq y) biće dato kao relativna frekvencija članova ansambla manjih od praga y, tj. Pr(Y\leq y_{(i)})\approx i/n_{ans.} Postoje i druge metoda procene kumulativnih verovatnoća Table 3.2, ali o tome ovde neće biti reči. DAKLE OVO NINASTA NE LICI! Prognozirane verovatnoće nalaze se u intervalu između 0.0 i 1.0 (uključujući i ove dve krajnje tačke), i predstavljaju verovatnoće ostvarenja razmatranog događaja (događaja koji se prognozira). Primer je prognoza verovatnoće padavina (PoP forecast), gde događaj koji se prognozira, a samim tim i ocenjuje, definišemo npr. kao: „pala je kiša“. Prognozirane verovatnoće od 0.0 ili 1.0 su očigledno netačne (0.0) tj. tačne (1.0), ali za sve ostale vrednosti u navedenom intervalu, ovo se ne može tvrditi. Ocena prognoziranih verovatnoća vrši se preko zajedničke raspodele parova prognoza-osmatranje. 4.1 Zajednička Raspodela Dihotomnih Događaja Najjednostavniji slučaj je kada imamo dihotomni (binarni) prediktand (kao u prognozi padavina), tako da imamo samo J=2 moguća ishoda, a to su: o_{1} - ostvario se unapred definisan događaj, i o_{2} - događaj se nije ostvario. Teorijski, prognozirane vrednosti mogu uzeti bilo koju vrednosti između nule i jedinice, ali uobičajeno je da se ove vrednosti zaokruže tako da se dobije razumno manji broj prognoziranih verovatnoća I - što se odlučuje u svakom konkrektnom slučaju (ako je npr. I=10 , tada se prognozirane vrednosti od 11\%,\,13\%,\,18\% zaokružuju na y_{2}=20\% ). Ubaciti moju tabelu za joint distribution. 4.2 Brier Skor Jedna od uobičajenih apsolutnih mera tačnosti prognoze verovatnoća binarnih događaja je Brier skor (BS) . Brier skor predstavlja srednju kvadratnu grešku (MSE - Mean Square Error) prognoziranih verovatnoća, uzimajući za osmatranja sledeće vrednosti: o_{1}=1 ako se unapred definisan događaj ostvari, i o_{2}=0 ako se događaj ne ostvari. Dakle, Brier skor je srednja vrednost kvadratnih razlika prognoziranih verovatnoća i odgovarajućih binarnih osmotrenih vrednosti:BS=\frac{1}{n}\sum_{k=1}^{n}(y_{k}-o_{k})^{2}, gde index k označava k-ti od ukupno n parova prognoza/osmatranje (y_{k},o_{k}) . Brier skor je negativno orjentisan, gde za perfektnu prognozu važi da je BS=0. Kako su i prognozirane i osmotrene vrednosti u intervalu od nula do jedan, to i za Brier skor važi 0\leq BS\leq1. Relativna mera tačnosti zasnovana na Brier skoru je tzv. Brier Skil Skor (Brier Skill Score):BSS=\frac{BS-BS_{ref}}{0-BS_{ref}}=1-\frac{BS}{BS_{ref}}, jer je Brier skor perfektne prognoze BS_{perf}=0. Uobičajeno je da se za referentnu (standardnu) prognozu uzimaju odgovarajuće klimatološke relativne frekvencije, i to kako iz dugoročne, tako i iz uzoračke klimatologije. 4.3 Algebarska Dekompozicija Brier Skora Izraz za Brier skor može se transformisati u oblik koji iz koga možemo uočiti nekoliko karakteristika prognostičkog proizvoda. Ovakav oblik izveo je Murphy [key-3], i u vezi je sa calibration-refinimint faktorizacijom zajedničke raspodele, u smislu da se odnosi na veličine koje zavise od konkretnih prognoziranih vrednosti. Uzmimo opet da se u uzorku za ocenu nalazi diskretan broj I prognoziranih vrednosti, i neka je N_{i} broj pojavljivanja prognozirane vrednosti y_{i} u uzorku (npr. izdali smo prognozu za događaj od interesa od y_{3}=30\%, i to N_{3}=25 puta). Dakle, na ovaj način smo formirali I podskupova u uzorku, a svaki i-ti podskup se sastoji od N_{i} članova. Ukupan broj n prognoza-osmatranje parova (y_{i},o_{j}) je suma broja članova svakog podskupa iz uzorka (tzv. uslovnih podskupova):n=\sum_{i=1}^{I}N_{i}. Marginalna raspodela prognoziranih vrednosti-AArefinement-koja figuriše u AAcalibration-refinement faktorizaciji je onda data preko sledećih relativnih frekvencija:p(y_{i})=\frac{N_{i}}{n} Svakom od I podskupova iz uzorka dodeljuje se relativna frekvencija ostvarenja prognoziranog događaja, za dato i . S obzirom da je osmotreni događaj dihotoman, jedna uslovna relativna frekvencija definiše uslovnu respodelu osmatranja za svaku izdatu prognozu y_{i} . Ovu relativnu frekvenciju možemo posmatrati kao relativnu frekvenciju ostvarenja događaja u i-tom podskupu, ili kao srednju vrednost osmatranja za svaku izdatu prognozu y_{i}: \overline{o}_{i}=p(o_{1}\mid y_{i})=\frac{1}{N_{i}}\sum_{k\in N_{i}}o_{k}, gde o_{k}=1 ako se događaj realizuje za k-ti par prognoza/osmatranje, i o_{k}=0 ako se događaj ne realizuje. Sumira se samo po onim vrednostima k za koje je bila izdata prognozirana vrednost y_{i}. Slično, ukupna tj. bezuslovna relativna frekvencija osmatranja (uzoračka klimatologija) data je kao:\overline{o}=\frac{1}{n}\sum_{k=1}^{n}o_{k}=\frac{1}{n}\sum_{i=1}^{I}N_{i}\overline{o}_{i}. Nakon matematičkih transformacija, Brier skor se može predstaviti kao:BS=\frac{1}{n}\sum_{i=1}^{I}N_{i}(y_{i}-\overline{o}_{i})^{2}-\frac{1}{n}\sum_{i=1}^{I}N_{i}(\overline{o}_{i}-\overline{o})^{2}+\overline{o}(1-\overline{o}). Sabirci su redom: Reliability (REL), Resolution (RES), i Uncertainty (UNC). Kako je karakteristika tačnijih prognoza mali BS, najbolji skor se dobija ako je reliability član što manji, a resolutin što veći (po apsolutnoj vrednosti). Uncertainty zavisi samo od uzoračke klimatologije, prognozirane vrednosti na njega nemaju nikakav uticaj. Reliability član sumira karakteristiku prognoze koju nazivamo kalibrisanost, ili uslovni bajas prognoze. Sastoji se od otežinjenih srednjih vrednosti kvadratne razlike izmedju prognoziranih verovatnoća y_{i} i relativnih frekvencija realizacije prognoziranog događaja u svakom od I podskupova, \overline{o}_{i}. Za reliable tj. dobro kalibrisanu prognozu, sve kvadratne razlike u REL članu biće blizu nule, i njihova otežinjena srednja vrednost će biti mala. Za perfektno reliable prognoze, relativna frekvencija prognoziranog događaja u podskupu je tačno jednaka prognoziranoj verovatnoći. Ako smo deset puta prognozirali padavine sa verovatnoćom od 20\% , idealno bi bilo da su se u tih deset prilika padavine realizovale dva puta. Uopšte, ako je izdata prognoza y_{i}=0.0, relativna frekvencija prognoziranog događaja \overline{o}_{i} treba da bude mala, i suprotno (\overline{o}_{i} veliko) ako je izdata prognozirana vrednost od y_{i}=1.0. Za prognozu od y_{i}=0.5 , relativna frekvencija prognoziranog događaja treba da je blizu \frac{1}{2}. Resolution član sumira mogućnost prognostičkog proizvoda da prognozira događaje različite od uzoračke klimatologije. Prognozirane verovatnoće ne figurišu eksplicitno u izrazu za RES, ali RES zavisi od prognoziranih vrednosti preko člana \overline{o}_{i} koji se formira na osnovu prognoziranih verovatnoća. Matematički, RES je otežinjena srednja vrednost kvadriranih razlika relativnih frekvencija događaja u podskupu uzorka, i uzoračke klimatologije. Uncertainty član zavisi samo od varijabilnosti osmatranja. UNC je jednak varijansi Bernulijeve raspodele (binomna, za N=1 ), sa minimumom u nuli kada je uzoračka klimatologija jednaka jedinici ili nuli, i maksimumom kada je uzoračka klimatologija 0.5. Kada se razmatrani događaj skoro nikad, ili skoro uvek realizuje, uncertainty (neodređenost) u takvoj prognostičkoj situaciji je mala, i prognoziranje klimatološke vrednosti generalno će dati dobre rezultate. 4.4 Reliability Dijagram Kvalitet prognoze izražen jednim brojem kao što je npr. Brier skor ne pruža informacije o pojedinim karakteristikama prognostičkog sistema. Detaljniji uvid možemo dobiti posmatrajući zajedničku raspodelu prognoza i osmatranja. Uobičajeno je da se zajednička raspodela prikaže grafički. Reliability dijagram je grafički prikaz zajedničke raspodele prognoziranih i osmotrenih vrednosti, kada kao prognozu imamo prognozirane verovatnoće binarnog prediktanda. Dijagram se sastoji iz dva dela, na jednom delu je prikazana kalibraciona funkcija p(o_{1}\mid y_{i}) , a na drugom raspodela prognoziranih verovatnoća p(y_{i}) . Da se podsetimo, mi smo unapred definisali (opisali) događaj za koji prognoziramo verovatnoću ostvarenja. Neka događaj bude „ pašće više od 10mm kiše“. Sledeći korak je formiranje uzorka podataka za ocenu. skupa prognoza y_{i} su vrednosti prognoziranih verovatnoća Kalibraciona funkcija je uslovna raspodela osmotrenih vrednosti u odnosu na prognozirane verovatnoće p(o_{1}\mid y_{i}) . Drugim rečima, na x osi su prognozirane verovatnoće y_{i} , a na y osi su frekvencije ostvarenja prognoziranog događaja. Grafički se ova zavisnost oredstavlja kao linija koja povezuje I tačaka. Postaviti sliku kad nacrtam figure7.8 wilks. Na slici je predstavljeno pet karakterističnih oblika ove funkcije. Na centralnom panelu vidimo karakterističnu funkciju prognoze koja je dobro kalibrisana. Kao što je naglašeno ranije (skontati kako da referujem na poglavlje ili j-nu), za takvu prognozu važi p(o_{1}\mid y_{i})\approx y_{i}, tako da se svaka od I tačaka nalazi približno na isprekidanoj 1:1 pravoj. REL član iz dekompozicije ima vrlo malu vrednost, jer se kvadratne razlike u ovom članu odnose na udaljenost tačaka od 1:1 linije na dijagramu. Gornji i donji panel prikazuju funkcije karakteristične za prognoze kod kojih imamo bezuslovan (sistematski?) bajas. Sa gornjeg panela visimo da su prognozirane vrednosti sve vreme veće od relativnih frekvencija uslovnih osmatranja, tako da je srednja prognozirana vrednost veća od uzoračke klimatologije. Ovakav obrazac je odlika overforcasting, npr. ako je pridiktand ostvarenje padavina, imamo mokar bajas. ufff. Slično, na dodnjem panelu vidimo obrazac koji je prisutan kada imamo underforcasting, tj. suvi bajas. Sada je srednja prognozirana vrednost manja od uzoračke klimatologije. Za prognoze okarakterisane sistematskim bajasom, RES član je velik, što doprinosi većem (lošijem) Brier skoru. Grafici na levom i desnom panelu odlika su prognoze koja ima uslovni bajas, u smislu da veličine bajasa zavise od prognoziranih vrednosti y_{i}. Na levom (good resolution) panelu imamo overforcasting bajas u slučaju manjih prognoziranih verovatnoća, i underforcasting bajas kod većih. Na desnom (poor resolution) panelu situacija je suprotna. Mozda je detinjasto, tupavo ili sta god to sto ti pisem mail..ali ne znam drugi nacin na koji bih uspesno izrazila svoje misli upucene tebi. Kalibraciona funkcija na desnom panelu je karakteristična za prognoze sa slabom rezolucijom. Vidimo da uslovne relativne frekvencije prognoziranog događaja (osmatranja) p(o_{1}\mid y_{i}) vrlo malo zavise od prognoziranih vrednosti, i sve su približno jednake uzoračkoj klimatologiji. (Činjenica da je uzoračka klimatologija blizu centra vertikalnih tačaka na ovom panelu može se zaključiti iz zakona totalne verovatnoće Eq 2.14 wilks, koji izražava uzoračku klimatologiju kao otežinjenu srednju vrednost uslovnih verovatnoća.) Vidimo sa panela da su razlike uslovnih verovatnoća p(o_{1}\mid y_{i}) i uzoračke klimatologije vrlo male, dakle, član RES je mali, što znači da prognostički proizvod „resolve the event o1 poorly“ što doprinosi lošijem (većem) Brier skoru. Obratno, kalibraciona funkcija na levom panelu pokazuje dobru rezoluciju, u smislu da su razlike uslovnih verovatnoća p(o_{1}\mid y_{i}) i uzoračke klimatologije velike, pa je i RES veliki. U ovom slučaju prognostički proizvod razlikuje podskupove za određene prognozirane vrednosti, u kojima se ishodi prilično razlikuju. Npr., male ali nenulte prognozirane verovatnoće identifikovale su podskup prognoziranih verovatnoća kada se događaj o_{1} uopšte nije ostvario. Ali, prognoza ima uslovni bajas, i nije dobro kalibrisana. Ovo će doprineti lošijem Brier skoru preko reliability člana REL. Oznake underconfident i overconfident na levom i desnom panelu u vezi su sa drugim delom reliability dijagrama, a to je refinement distribution p(y_{i}). Disperzija refinement raspodele oslikava confidence prognostičara, kao što je označeno na slici 7.8b wilks. Prognoze koje malo odstupaju od srednje vrednosti (levi panel) imaju low confidence. Prognoze koje često imaju ekstremne vrednosti, tj. prognoziraju verovatnoće bliske vrednostima y_{1}=0 i y_{I}=1 (desni panel), imaju high confidence. Ali, informacije o tome koliko je određen confidence level opravdan, vidi se iz grafičkog prikaza kalibracione funkcije prognoze koju razmatramo. Prognozirane verovatnoće na desnom panelu su naznačene kao overconfident u smislu da se extremne verovatnoće retko ostvaruju, dakle high confidence je neopravdano. Uslovne relativne frekvencije vezane za verovatnoće blizu 1 su mnogo manje od 1, a one vezane za prognozirane verovatnoće 0 su mnogo veće od 0. Dakle mnogo se grešilo pri prognoziranju ekstremnnih vrednosti. Nagib kalibracione funkcije manji od nagiba prave 1:1 oslikava overconfident prognozu, jer da bismo korigovali prognoze tako da kalibraciona funkcija prati referentnu pravu 1:1, morali bismo ekstremne verovatnoće korigovati tako da uzimaju manje ekstremne vrednosti, što bi smanjilo disperziju refinement raspodele (što je disperzija manja, imamo less confident prognozu). Suprotno, da bismo underconfident prognozu na levom panelu korigovali tako da ima veći reliability (kalibraciona funkcija da se poklapa sa pravom 1:1), moramo prognozirane verovatnoće pomeriti ka ekstremnijim vrednostima, pa tako povećavamo disperziju refinement raspodele, što označava higher confidence. Drugi način prikaza reliability dijagrama je tzv. attributes dijagram, na kome su dodatno naznačene referentne linije koje su u vezi sa Brier Skill skorom, i algebarskom dekompozicijem Brier skora. Horizontalna no-resolution prava (koja je određena uzoračkom ili dugoročnom klimatologijom) je povezana sa RES članom. Tačke koje su na ovoj liniji ukazuju da prognoza ne daje verovatnoće različitih od klimatoloških vrednosti. Otežinjeni srednjak koji obrazuje RES član sastoji se od vertikalnih rastojanja između uslovnih relativnih frekvencija i no-resolution linije. Ova rastojanja će biti velika za prognoze sa dobrom rezolucijom, pa će RES član doprineti manjem (boljem) Brier skoru. Uncertanity član UNC možemo tumačiti ako zamislimo attributes dijagram za prognozu čije su prognozirane verovatnoće jednake uzoračkoj klimatologiji (konstantne vrednosti). U ovom slučaju postoji samo jedna prognozirana verovatnoća, tj. imamo samo jednu tačku I=1 na dijagramu, koja leži na preseku prave 1:1 (perfect reliability) sa no-skill i no-resolution linijom. Vidimo da prognoza uzoračke klimatologije ima perfect reliability (nula), jer su prognozirana i uslovna relativna frekvenca jednake klimatološkoj verovatnoći. Resolution član je takođe jednak nuli, tako da je Brier skor prognoze klimatološke vrednosti jednak uncertainty članu UNC. Ova jednakost vodi novom obliku Brier Skill skora BSS, jna 7.35 wilks kada se za BS_{ref} uzme BS za uzoračku klimatologiju:BSS=\frac{Resolution-Reliability}{Uncertainty}. Podskupovi za koje je resolution član veći od reliability, doprinosiće pozitivno Brier Skill skoru (bolji skill skor), a geometrijski to su tačke koje su na attributes dijagramu bliže 1:1 perfect reliability pravoj, nego horizontalnoj no-resolution pravoj. Ovo vodi ka definiciji no-skill linije, koja se nalazi na sredini između perfect reliability i no resolution prave, pa sve tačke koje se nalaze u osenčenoj oblasti pozitivno doprinose Brier Skill skoru. 4.5 The Discrimination Diagram Zajedničku raspodelu prognoziranih i osmotrenih vrednosti možemo grafički prikazati i koristeći likelihood-base rate faktorizaciju (jna 7,3 wilks). Za prognozu verovatnoća dihotomnih (J=2) prediktanda (prediktanada), ovu faktorizaciju čine dve uslovne likelihood raspodele p(y_{i}\mid o_{j}),\, j=1,\,2; i base rate raspodela (raspodela uzoračke klimatologije) p(o_{j}) koju čine relativne frekvencije dva dihotomna događaja iz uzorka za verifikaciju. Discrimination dijagram se sastoji od prikaza dve likelihood raspodele na jednom grafiku, kao funkcije prognoziranih verovatnoća y_{i}, sa naznakom klimatoloških verovatnoća p(o_{1}) i p(o_{2}). Ovakav prikaz u potpunosti oslikava zajedničku raspodelu prognoza i osmatranja, kao i reliability dijagram, samo je dat u drugačijem obliku. Na slici Slika 7,11 prikazan je discrimination dijagram bla bla bla 4.6 ROC Dijagram 4.7 Hedging, and Strictly Proper Scoring Rules 4.8 Prognoza Verovatnoća Događaja Sastavljenog od Više Kategorija RPS i RPSS 5 Ocena Prognoze Ansamblima 5.1 5.2 The Verification Rank Histogram Da li kolekcija prognoza ansamblima skalarnog prediktanda zadovoljava uslov konzistentnosti uobičajeno se proverava rank histogramom. Dakle, koristeći rank histogram možemo proceniti da li ansambli uključuju osmatranja koja prognoziramo kao jednakoverovatne članove. Imamo n prognoza ansamblima, od kojih se svaka sastoji od n_{ens} članova ansambla, i radimo procenu ovih prognoza u odnosu na n odgovarajućih osmotrenig vrednosti prediktanda. Za svaki od ovih n skupova, ako su n_{ans} članova i jedna osmotrena vrednost iz iste raspodele, onda će rang osmotrene vrednosti jednakoverovatno da uzme bilo koju vrednosti od i=1,\,2,\,3,...,\, n_{ans}+1. Npr., ako je osmotrena vrednost manja od svih n_{ans} članova ansambla, onda je njen rang i=1. Ako je veća od svih članova ansambla (kao na fig 7.21a), onda je rang osmotrene vrednosti i=n_{ans}+1. Za svaki od n prognoziranih trenutaka, određuje se rang verifikacione (osmotrene) vrednosti, i onda se ovih n rangova grafički prikaže u formi histograma, što predstavlja verification rank histogram. (jednakost osmotrene vrednosti sa jednom ili više vrednosti članova ansambla zahteva komplikovaniju proceduru, što je dato u [key-4, key-5]). Ako je uslov konzistentnosti ispunjen, histogram verifikacionih rangova biće uniforman (izuzev odstupanja koja su dovoljno mala pa im je uzrok u konačnoj veličini uzorka-sampling variations), odražavajući jednakoverovatnost osmotrenih vrednosti u okviru pripadajuće raspodele ansambla Odstupanja od idealno uniformnog ranga daje ukupnu meru nedostataka ansambla [key-6]. Na slici 7.22 prikazana su 4 rang histograma od kojih svaki oslikava određeni nedostatak, a na panelu u sredini prikazan je uniforman rang histogram. Horizontalne isprekidane linije na slici 7.22 označavaju relativnu frekvenciju [=(n_{ans}+1)^{-1}] uniformne raspodele rangova, i često su naznačene na rang histogramima kao referentna vrednost. Hipotetički histogrami na slici 7.22 sastoje se od 9 barova, što znači da odgovaraju ansamblu od 8 članova. Ansamble sa velikom disperzijom oslikava rang histogram sa relativnim frekvencijama koncentrisanim na rankovima u sredini (panel levo na slici 7.22). Praktični postupci za dobijanje verifikacionih mera 6 ROC skor 1. Odrede se granične verovatnoće - na osnovu kojih se stohastička prognoza konvertuje u determinističku - tzv. thresholds. (Npr za da/ne prognozu padavina i threshold=60%, sve prognozirane verovatnoće manje od 60% (pf<60%) postaju „ne“ prognoze, i obratno, pf>=60% ubrajaumo u „da“ prognoze) 2. Za svaku graničnu verovatnoću (za svaki threshold) računamo contingency tabelu, tj. prebrojavamo: HITS - događaj je prognoziran i ostvario se MISSES - događaj nije prognoziran i ostvario se FALSE ALLARMS - događaj je prognoziran i nije se ostvario CORRECT NEGATIVE - događaj nije prognoziran i nije se ostvario Reference [1] Murphy, A.H., and R.L. Winkler, 1987. A general framework for forecast verification. Monthly Weather Review, 115, 1330-1338. [2] Wilks, D.S., 2006. Statistical Methods in Atmospheric Sciences [3] Murphy, A.H., 1973b. A new vector partition of probability score. Journal of applied Meteorology, 12, 595-600. [4] Hamill, T.M., and S.J. Colucci, 1997. Verification of Eta–RSM short-range ensemble forecasts. Monthly Weather Review, 125, 1312–1327. [5] Hamill, T.M., and S.J. Colucci, 1998. Evaluation of Eta–RSM ensemble probabilistic precipitation forecasts. Monthly Weather Review, 126, 711–724. [Hamill 2001] Hamill, T.M., 2001. Interpretation of rank histograms for verifying ensemble forecasts. Monthly Weather Review, 129, 550–560. [Lazić 2010] Lazić, L., 2010. Prognoza Vremena. Republički hidrometeorološki zavod. Beograd. Str. 189.