Trenger test data fra AMS til masteroppgave

[powermundsen]

Jeg skriver en masteroppgave hvor jeg i høst har forsket på strømdataen jeg har fått fra min smartmåler Kaifa i Bergen og lurer på om noen har litt data å dele fra sin måler. 

I forskningen min har jeg sett på muligheten for å identifisere og klasssifisere laster i det totale forbrruket, altså dataen tilgjengelig gjennom HAN, slik at jeg kan med XX % sikkerhet si hvilket apparat som var ansvarlig for endingen i totalt forbruk (Nonintrusive load monitoring, NILM). 

 

Siden jeg har samlet inn data i Bergen, hvor jeg har vært koblet til et TT-nett, får jeg ikke så gode målinger som jeg tror er tilgjengelig om man er koblet til TN eller IT. På bildene vedlagt ser dere hvordan fasene er lagt opp og hvordan lastene viser seg på to faser i current_phase_1, current_phase_2 og current_phase_3. 

 

Det jeg lurer på er om disse induviduelle fasemålingene vil være "renere" hos en AMS som ikke bruker TT-nett. 

 

Er det noen som kan dele litt data, evt plots fra de induviduelle fasemålingene hos dere hadde det vært til stor hjelp! 

phases_and_circuits.pdf

2018-11-05:I1-Current phase 1,2,3 [A].pdf

[berland]

Jeg har ihvertfall disse dataene, uten å vite hva jeg skal bruke de til..

 

 

[Moskus]

3 timer siden, powermundsen skrev:

I forskningen min har jeg sett på muligheten for å identifisere og klasssifisere laster i det totale forbrruket, altså dataen tilgjengelig gjennom HAN, slik at jeg kan med XX % sikkerhet si hvilket apparat som var ansvarlig for endingen i totalt forbruk (Nonintrusive load monitoring, NILM). 

Dette høres både spennende og skummelt ut. Men mest spennende!  

[berland]

10 minutter siden, Moskus skrev:

Dette høres både spennende og skummelt ut. Men mest spennende!  

 

Regner med det er noe av det samme som Smappee også har implementert

https://www.smappee.com/be_en/blog/smappee-appliance-recognition/

 

Dette har jeg også i hus, men hos meg er det ikke robust nok til at jeg kan bruke det i praksis. Kunne i prinsippet hentet ut hendelser som Smappee registrerer for laster som går av og på, men det kan ikke brukes i praksis da jeg ikke kan være sikker på at jeg får med meg av-hendelsen etter en tilhørende på-hendelse. Laster som er like klarer den heller ikke skille, feks varmekabelkurser i ulike rom men som har likt areal. Kanskje det kan være robust nok i små leiligheter med lavt strømforbruk.

[powermundsen]

 

40 minutter siden, berland skrev:

Jeg har ihvertfall disse dataene, uten å vite hva jeg skal bruke de til..

Takk for innspill! Jeg fikk en pm med litt data så jeg tror jeg skal klare meg med det. 

 

35 minutter siden, Moskus skrev:

Dette høres både spennende og skummelt ut. Men mest spennende!  

Ja det stemmer at dette er et spennende felt!  Jeg ville ikke tenkt så mye på den skumle biten da dataen kun sendes tilbake til strømleverandør én gang i timen og HAN-porten du kan hente ut data til eget bruk (aktiv effekt hvert 2. sekund, reaktiv og fasespesifisert hvert 10. sekund) er kryptert som standard og som regel kun fysisk tilgjengelig i din egen husholdning/borettslag. 

 

23 minutter siden, berland skrev:

Regner med det er noe av det samme som Smappee også har implementert

https://www.smappee.com/be_en/blog/smappee-appliance-recognition/

Denne var jeg faktisk ikke klar over! Men ja, det er akkurat det jeg kartlegger mulighetene for i Norge. Jeg leverer oppgaven min på tirsdag men kjører fortsatt algoritmene med forskjellige parametre for å se hvor nære jeg kan komme. Foreløpig ser det ut som om det eksisterer et potensiale, men jeg er enig med Smappee at man trenger hjelp fra brukerne til å klassifisere stegendringene i forbruket. 

Et problem jeg ser i noen tilfeller er panelovner som skrur seg av og på uregelmessig hele dagen, disse kan da "gjemme" andre stegendringer slik som du beskriver i av-hendelsene. 

Dette er grunnen til at jeg er interessert i å vite om målere tilkoblet TN- eller IT-nett skiller disse ut bedre, gitt at de er på samme fase. I mitt tilfelle er panelovnene koblet mellom fase 2 og fase 3 og disse fasene er derfor overfylt. 

 

Om dere er interessert kan jeg legge ut oppgaven min her når den er ferdig, så kan dere lære mer om NILM og mulighetene jeg fant gjennom forskningen min? 

[berland]

1 time siden, powermundsen skrev:

Dette er grunnen til at jeg er interessert i å vite om målere tilkoblet TN- eller IT-nett skiller disse ut bedre, gitt at de er på samme fase. I mitt tilfelle er panelovnene koblet mellom fase 2 og fase 3 og disse fasene er derfor overfylt. 

 

Om dere er interessert kan jeg legge ut oppgaven min her når den er ferdig, så kan dere lære mer om NILM og mulighetene jeg fant gjennom forskningen min? 

 

Jeg har TN, men regner ikke min Smappee-enhet som en suksess på annet enn at det gav meg strømmåling før AMS kom.

 

Kikker svært gjerne på oppgaven når den er ferdig!

[Moskus]

2 timer siden, berland skrev:

Jeg har TN, men regner ikke min Smappee-enhet som en suksess på annet enn at det gav meg strømmåling før AMS kom.

Jeg skulle akkurat til å spørre; jeg trodde Smappee ikke var helt "der". Hva fungerer, hva gjør ikke?

 

Kanskje AMS-oppløsningen er bedre/mer nøyaktig, @powermundsen?

[berland]

54 minutter siden, Moskus skrev:

Jeg skulle akkurat til å spørre; jeg trodde Smappee ikke var helt "der". Hva fungerer, hva gjør ikke?

 

Hvis jeg skal gjette, så fanger den opp kanskje 90-95% av hendelsene av enheter som går av på, da snakker jeg om varmekabler fra 500W og oppover. Den fanger opp mye under det også, men det er en stor jobb å lære seg til å stole på at det faktisk er riktig. Og når det ikke er 99,9% riktig, så gidder jeg rett og slett ikke prøve å stole på det. Sannsynligheten for at den fanger opp både på og av for noe som skjer er da to hendelser, som da blir 80% sannsynlig at plukkes opp riktig osv. 

 

Og når det ikke er helt å stole på, er det en betydelig jobb å identifisere de ulike lastene som plukkes opp. Du har nødvendigvis ikke annet enn antall watt, og tidspunktet for når det gikk av og på. Sikkert håndterbart i en liten leilighet, ikke håndterbart her. Lastene som er omtrent like, som varmekabler i like store rom.  Om den da plukker opp 100% av hendelsen, så vet du jo ikke i hvilken den av huset det gjaldt.

 

Varmtvannstanken er kanskje 99% riktig.  Men der har jeg jo egen plugg som er til å stole på.

 

Appen påstår jeg har en klestørker på 28kW. Heftig, men stemmer ikke.. Samme med en oppvaskmaskin på 16kW. Høytrykkspyleren har den plukket opp halvparten av gangene den har vært i bruk, stekeovn er umulig fordi den kan gå på så mange forskjellige wattnivå. Appen påstår jeg har 6 ulike støvsugere. Lys er det bare å glemme, klarer ikke engang telle opp.

[powermundsen]

Beklager sent svar, tok meg fri etter levering og har flyttet. 

Jeg kan ikke dele oppgaven før sensuren er satt, men deler så fort den er ferdig!

 

På 14.12.2018 den 20.46, Moskus skrev:

Kanskje AMS-oppløsningen er bedre/mer nøyaktig, @powermundsen?

 

Jeg har ikke sett på Smappee tidligere og fant ikke mye informasjon på nettet ang. sampling frekvens. Jeg vil tro at et produkt som Smappee, med strøm-klemmer, har høyere oppløsning enn AMS-målerne, stemmer det @berland? AMS-målerne i Norge har en oppløsning på 2-2,5 sekunder ut i fra måleren (Kaifa fikk lov til å levere hvert 2.sekund). Har du forresten mulighet til å gå inn i en app eller noe og si når du skrur av og på ting, for å trene algoritmen? 

 

Det jeg syntes er viktigst er ikke bare å regne ut forbruket, men å også kunne si med riktiget når apparater går av og på slik at man kan automatisere ting i huset. I oppgaven min fikk jeg dessverre ikke tid til å gå ordentlig i dybden på algoritmene, men det virket som om det vil være mange feilklassifiseringer. 

Konklusjonen min ble at det må lages en egen algoritme som baserer seg på dataen tilgjengelig fra norske målere, først da kan man få utnyttet godene denne dataen tilbyr. 

 

 

 

[berland]

I smappee-appen så oppdaterer liveforbruket seg med kanskje 2-5 sek mellomrom, men antar den sampler oftere uten å publisere det. Dataene går via skyen og til telefonen min. 

[antonkristensen]

Ferdig m. oppgaven eller trenger du fortsatt data? ;D 

[powermundsen]

15 timer siden, antonkristensen skrev:

Ferdig m. oppgaven eller trenger du fortsatt data? ;D 

Takk så mye men nå er oppgaven levert og til sensur, så trenger ikke mer nå ? 

[erikolaulvestad]

Koketopp induksjon med få sekunders moduleringsintervall. Er det vanlig? Blir vel litt utfordrande å plukke opp i analyse kanskje?http://cloud.tapatalk.com/s/5c6fadf1dcd78/20190222_090514.mp4

Sent fra min SM-G960F via Tapatalk

[powermundsen]

Jeg fikk ikke testet det pga platetoppen i leiligheten trakk 25A og måleutstyret jeg brukte kun tålte 16A, og jeg er usikker på tregheten i systemet til det magnetiske feltet som dannes i induksjonstoppen. Det sagt, et hopp på 25A på en av fasene i en leilighet vil være ganske tydelig i det totale forbruket (gitt at man setter alle platene på maks) i og med at det meste i en vanlig husholdning trekker maks 16A. 

Jeg er usikker på hvordan en induksjonstopp virker, men om den ofte trekker mye ved oppstart av en plate vil den nok fint kunne trekkes ut av det totale forbruket ene og alene pga sitt store startforbruk. Spesielt også fordi slike krevende apparater ofte legges på egen krets og muligens blir balansert på egen fase(?). 

 

Eksempelvis kan du se en måling jeg gjorde på strøm fase 1 i leiligheten (data hentet fra smartstrømmåleren, derfor måler den også mer enn 16A). Om jeg husker riktig er det oppvaskmaskin og vaskemaskin som er synlig og som du ser kan de lett plukkes ut visuelt. Problemet er å få lært systemet opp til å kjenne dem igjen, noe som jeg tror må gjøres ved å fortelle det hva som er koblet på hvilke faser og trene den (maskinlæring) i begynnelsen ved å fortelle når du skrur av og på f.eks vaskemaskinen. 

 

Og hvis du tenkte generelt på de 2-2,5 sekundene mellom hver gang AMS sender data vil jeg tro det ikke er så farlig for identifiseringen pga høyt forbruk som gjør den synlig, spesielt om man ser på enkeltfasene. Jeg vil si at det er verre med de mindre apparatene hvor man er avhengig av å se svingningene i forbruket det første sekundet for å finne en signatur. 

 

Svarte dette på spørsmålet ditt? ?

 

(Beklager eventuelle skrivefeil men jeg skriver på iPhonen fra Kuala Lumpur!) 

Endret 22. februar 2019 av powermundsen

[erikolaulvestad]

Eg tenker at for ein forbruker som slår seg av/på kvart 2. - 3. Sekund så er ikkje 2 sek samplingsintervall bra nok. Med forskjellig styrke på kokeplata og evt fleire plater i drift så blir bildet ganske rotete. Samplingsteoremet gjeld jo fortsatt (f_s > 2 x f_max).

Sent fra min SM-G960F via Tapatalk

[Moskus]

56 minutter siden, erikolaulvestad skrev:

Samplingsteoremet gjeld jo fortsatt (f_s > 2 x f_max).

Yay, Nyquist!

[powermundsen]

Ja jeg er enig med deg der, om man utelukkende skal se på transientsignaturen som skapes ved oppstart og drift av platetoppen. Man vil ikke kunne se det korrekte mønsteret i forbruket som går av og på om det er lavere enn samplingen, og bildet blir absolutt rotete om man kun ser på totalforbruket! 

 

Det jeg mener er at om man skal lage en god algoritme må man se på alle faktorene tilgjengelig: totalt forbruk i Watt, forskjellige faser, spenning, strøm, reaktiv kraft, tid på døgnet, osv. Det blir ganske komplisert og da kan man bruke maskinlæring i stedet og si at «nå skrudde jeg på en plate på induksjonstoppen» og «nå skrudde jeg den av». Etterhvert vil den finne et mønster i dataen fra AMS og man slipper å skreddersy det selv. 

 

Skulle man skreddersy det selv ville jeg sett etter det som brukte høy effekt, hvilken fase den lå på, og varigheten. Som sagt vet jeg ikke mye om induksjonstopper og har ikke en selv, men ut i fra videoen din ser det ut som den jobber i intervaller. Gjennomsnittsforbruket per 2. sekund som sendes fra smartstrømmåleren vil bli høyere selv om det ikke er like detaljert i forhold til svingningene, og siden en slik platetopp vil trekke totalt rundt 5500W vil jeg tippe at å koke suppe på en plate vil være et hopp på 500-1000W. Dette vil være et større utslag i forhold til andre apparater man har hjemme. I dataen min så jeg at vannkokeren lå på rundt 2000W, varmtvannsberederen 1900W, panelovner ~500-1000W, og mikrobølgeovn 1000-2000W. Av dem er som regel alltid varmtvannsberederen og panleovnene på gjennom dagen og vil ha et tydelig mønster av ON/OFF gjennom dagen. Vannkokeren og mikrobølgeovnen vil opptre sporadisk basert på når folk er hjemme og vil ha mat og drikke, og har derfor ikke et så sterkt mønster. Da kan man heller se på gjennomsnittsforbruket sitt hopp, tiden det er høyere, og så hvor langt det faller igjen. 

 

Jeg innser at jeg kanskje svar på noe annet enn akkurat det du spør om, men tenker det kan være interessant å høre hva jeg tror er løsningen på problemet?