Weernabeschouwing

Wat wordt met wat vergeleken

Voor ieder uur bewaren we wat elk model voor dat uur voorspelde, op afstanden van één tot zeven dagen vooruit. Zodra het uur aanbreekt, vergelijken we de verwachting met een waarneming. Weernabeschouwing publiceert alleen een ranglijst als die waarneming onafhankelijk is van ieder model in de tabel.

Editie nr. 1 gebruikt temperatuur- en windrapporten van Schiphol en Rotterdam, geleverd door het NOAA Aviation Weather Center. Een rapport wordt alleen aan het dichtstbijzijnde hele uur gekoppeld als het binnen 20 minuten valt. Een stationsdag komt alleen in aanmerking als alle 24 uren een bruikbare temperatuur- en windwaarde bevatten.

De bredere scorer van VeriSky bewaart ook resultaten tegen de best-match-analyse van Open-Meteo wanneer geen stationsreeks bestaat, en voor regen. Die analyse is zelf een product van een weermodel. In Nederland komt zij uit op KNMI Harmonie en is zij dus geen onafhankelijke bron voor een openbare modelranglijst. Weernabeschouwing publiceert die analyseresultaten niet.

De twee gepubliceerde cijfers

Temperatuur gebruikt de wortel uit de gemiddelde kwadratische fout in graden. Die fout wordt daarna op een schaal van 0 tot 100 gezet, waarbij een fout van 6,5 graden of meer nul scoort en een perfecte verwachting 100. De ruwe fout in graden staat naast de score, omdat de score een hulpmiddel is en de fout de meting.

Wind wordt op dezelfde manier beoordeeld, met een schaal die ruimer wordt wanneer de wind zelf sterk is. Een afwijking van 10 km/u in een storm telt daardoor niet als dezelfde misser als 10 km/u bij vrijwel windstil weer.

Waarom regen nog niet wordt gerangschikt

METAR-neerslagrapporten zijn te schaars en te grof voor een uurlijkse nat-of-droogscore. De huidige uitwijkmogelijkheid van de scorer is de best-match-modelanalyse. Daarmee zou één van de gerangschikte modellen de werkelijkheid aanleveren. De radarverzameling loopt, maar was niet de bron van de dagelijkse accumulatoren voor juli. Regen blijft afwezig totdat een volledige maand uit onafhankelijke radargegevens kan worden opgebouwd en dezelfde dekkingscontroles doorstaat.

Hoe de gezamenlijke steekproef wordt gemaakt

Eerst komen alleen volledige stationsdagen in aanmerking. Een model moet minstens 95 procent van die uren leveren om kandidaat te worden. Daarna wordt de uiteindelijke tabel beperkt tot precies de doorsnede van stationsdagen die iedere kandidaat volledig leverde. Zo gebruikt iedere rij dezelfde plaatsen, datums en uren, niet alleen ongeveer hetzelfde aantal.

De hoofdtabel vergelijkt één voorspelafstand, meestal één dag vooruit. Verschillende afstanden samenvoegen zou korte modellen belonen die de moeilijkere latere dagen nooit hoeven te voorspellen. Grafieken per voorspelafstand houden die afstanden apart en stoppen een lijn als een punt minder dan 95 procent van de hoofdsteekproef bevat. Het exacte aantal uren staat bij de grafiekgegevens.

Welke modellen in aanmerking komen

Modellen die halverwege de maand verschenen of te veel van de volledige stationssteekproef misten, worden intern beoordeeld maar niet gerangschikt. Een toelatingslijst in de renderer geeft ieder gepubliceerd model een expliciete naam, herkomst en toegankelijke kleur. Een onbekend model stopt de bouw van de editie.

Sommige nationale weerdiensten publiceren een seamless-product dat hun eigen model met hoge resolutie gebruikt waar dat bereik heeft, en elders het model van een ander centrum. Buiten het eigen domein is zo'n product niet de verwachting van dat land. Kunnen we aantonen dat het uur voor uur gelijk is aan het model waarvoor het invalt, dan laten we de dubbele reeks weg.

Commerciële aanbieders worden wel beoordeeld maar niet in deze ranglijsten gepubliceerd. Verschillende licentievoorwaarden verbieden het rangschikken of vergelijken van hun uitvoer. In plaats van een willekeurige gedeeltelijke tabel publiceren we geen van die aanbieders.

Onze eigen verwachting

VeriSky publiceert een gemengde verwachting die modellen weegt naar hun recente scores. Die mix doet niet mee aan de aanbiedersranglijst van Weernabeschouwing. De publicatie mag de mix bespreken, maar laat het product van de uitgever niet om de koppositie strijden.

Wat de cijfers niet kunnen vertellen

De locaties zijn niet het hele land. Editie nr. 1 gebruikt twee luchthavenstations. Zij vormen geen gelijkmatig raster en vertegenwoordigen geen minima in het binnenland, kustwateren of ieder Nederlands weertype. Een model dat op die luchthavens sterk is, kan elders zwakker zijn.

Het filter voor volledige dagen verkleint de maand. Ontbrekende stationsrapporten en onvolledige modeldekking verwijderen hele stationsdagen. Iedere editie publiceert de behouden stations, dagen en uren, zodat omvang en geografie van het bewijs zichtbaar blijven.

Eén maand is één maand. Een model dat juli wint, heeft juli gewonnen. Verschillende weertypen bevoordelen verschillende modellen. Eén editie is geen blijvend oordeel over de kwaliteit van een model.

Scores hangen af van een gekozen schaal. De omzetting naar 0 tot 100 maakt modellen onderling vergelijkbaar, niet met een absolute norm voor goede verwachtingen. De onderliggende fout staat er altijd bij, zodat u onze schaal kunt negeren als u dat liever doet.

Reproduceerbaarheid en correcties

Iedere editie wordt gemaakt uit samenvoegbare dagelijkse accumulatoren in de scoringdatabase, niet uit een doorlopende schermtabel. De stationsdekking wordt uit de waarnemingsrijen afgeleid, niet uit een handmatig label. De gegevens waarop iedere pagina is gebaseerd worden ernaast gepubliceerd als data.json.

Edities worden niet stilzwijgend herschreven. Als iets niet klopt, herstellen we het, markeren we op de pagina wat en wanneer er veranderde en zetten we het bij correcties. Rapporten verschijnen pas nadat een maand volledig is afgelopen.