Nordpool spot integrasjon i Home-assistant

[Olav]

Jeg har lagd en sensor for Home-assistant som henter spot-priser fra Nordpool.

 

Sensoren emulerer mobil-appen, og lagrer midlertidig unna prisene for gjeldende døgn. Prisene regnes om fra Kr/GWh til øre/kWh og den gjeldende spot-prisen i Home-assistant blir oppdatert hver nye time, og kan brukes til styring for å redusere strømregningen.

 

 

Det gjenstår nok en del testing, optimalisering og pynting på koden før den er klar til å integreres offisielt i Home-assistant, så i mellomtiden er den tilgjengelig på bit-bucket: https://bitbucket.org/OlavAndre/nordpool

 

Kom gjerne med forslag til forbedringer.

 

Planlagte endringer:

* Konverter lokal tid til CET/CEST slik at den viser riktig pris hele året, -også i Finland, Litauen og Latvia

* Endre oppdatering av priser til en tilfeldig gang mellom kl.13 og 24 (Begrense samtidig trafikk hos Nordpool. -Prisene oppdateres vanligvis mellom kl. 12 og 13) Utført

* Mulighet for offset? -En sensor med øyeblikkspris, og en eller flere med priser litt frem i tid.

 

 

Edit:

19.03.2018 - Endret funksjonsbeskrivelse i henhold til ny funksjonalitet

 

 

Endret 19. mars 2018 av Olav
Endret funksjonsbeskrivelse i henhold til ny funksjonalitet

[Marhil]

Flott tiltak! Skal testes i morgen.

Ser at denne meldingen dukker opp når jeg går inn på Norpols pristabell:

Automatic extraction of data from this website and/or use for commercial purposes is strictly prohibited under Nord Pool’s terms & conditions. For more information regarding data usage, contact [email protected]

Har ikke lest selve terms and conditions, men meldingen så ikke altfor lovende ut... [emoji6]

[Olav]

43 minutes ago, Hilmar said:

Flott tiltak! Skal testes i morgen.

Ser at denne meldingen dukker opp når jeg går inn på Norpols pristabell:
 

 

Har ikke lest selve terms and conditions, men meldingen så ikke altfor lovende ut...

 

Hehe, ja, det er derfor jeg nevnte at det brukes på eget ansvar ?

 

Utdrag av terms and conditions:

Quote

You may download, store and use the contents of this website for use in connection with trading on the Nord Pool market, and for analysis or research of your firm or company, provided you keep intact all trademark, copyright and other proprietary notices. You may not republish, retransmit, redistribute or otherwise make the contents of this website available to any other party or make the same available on any website, on-line service or bulletin board of your own or of any other party or make the same available in hard copy or on any other media without our express prior written consent from Nord Pool's Power Data Services. You can contact them through [email protected].

 

Nord Pool does not permit automatic extraction of data or other usage that reduces the performance of the website. Any such extraction or usage will lead to the user being blocked from the website without further notice.

 

-You may download. store and use the contents of this website ... for analysis ...

Jeg tolker dette som at jeg kan bruke dataene til min egen analyse. ?

 

Nord Pool does not permit automatic extraction of data or other usage that reduces the performance of the website. 

Det er dette litt diffuse punktet jeg velger å tolke i min favør ?:

Nord Pool does not permit (automatic extraction of data or other usage) that reduces the performance of the website.

-Ved å foreta automatisk avlesning en gang i døgnet, så går det ikke ut over ytelsen på nettsiden, og da går det vel greit? ?

 

Det er også derfor jeg planlegger å skrive om koden slik at den automatiske avlesningen foretas på et tilfeldig tidspunkt mellom kl. 13 og 24. Da vil det ikke bli så mye trafikk som når alle brukere skal hente ut neste dags priser samtidig kl.00:00. -De tilbyr også et API for lesing av de samme verdiene, men det krever registrering og venting på brukernavn og passord...

[ZoRaC]

11 timer siden, Olav skrev:

or make the same available on any website

 

Er ikke HomeAssistant webbasert...?

 

11 timer siden, Olav skrev:

De tilbyr også et API for lesing av de samme verdiene, men det krever registrering og venting på brukernavn og passord...

 

Det tar 1700 kr/året for å få tilgang til en FTP-konto med rådataene, så jeg tror nok det krever mer enn bare en registrering å få API-tilgang...

 

Det billigste er selvsagt å bytte til Tibber - da får du dette for 39 kr/mnd og Home Assistant-komponenten er allerede laget.  

[LenothX90]

20 timer siden, ZoRaC skrev:

Er ikke HomeAssistant webbasert...?

HomeAssistant er lokal/intranet, bruker browser som interface, men klarer seg finfint uten nett

Det er du, "admin" som velger å legge den tilgjengelig på nett.

[Moskus]

23 timer siden, ZoRaC skrev:

Er ikke HomeAssistant webbasert...?

Blir kanskje en smule å overdrevet å tolke "any website" til en intern nettside med kun 1 besøkende, selv om det teknisk sett er riktig...  

[Olav]

Jeg har kontaktet Nordpool og spurt litt om API i forbindelse med hjemmeautomasjon.

 

For å få tilgang til API'et, så må man være kunde. API'et er gratis for alle kunder: https://www.nordpoolgroup.com/globalassets/trading-and-services/api_product_sheet.pdf

 

Evt. så kan man kjøpe tilgang til FTP servicen med alle rådata.

 

Jeg ble anbefalt å laste ned "Nord Pool" appen for Android eller iOS. Det har jeg gjort, og den har ingen Terms and Conditions. Jeg har derfor endret litt på koden for å bruke disse dataene i stedet. Jeg holder for øyeblikket på med litt stabilitetstesting, og regner med at evt. problemer blir luket ut i løpet av helga.

 

Nye features:

* Støtter nå også Estland

* Henter nye spot-priser på ettermiddagen/kvelden (tilfeldig tidspunkt) i stedet for midnatt.

* Prøver å hente nye priser flere ganger dersom den feiler. (NB: Mangler foreløpig en begrensning på antall forsøk)

 

-Best av alt: Tilgjengelig for alle i store deler av nord-Europa uansett strømleverandør! -Også Tibber ?

[Marhil]

Veldig bra jobba!

 

[emoji122]

 

 

[ZoRaC]

3 timer siden, Moskus skrev:

Blir kanskje en smule å overdrevet å tolke "any website" til en intern nettside med kun 1 besøkende, selv om det teknisk sett er riktig...  

 

Ikke hvis du er jurist...  

[Moskus]

3 timer siden, ZoRaC skrev:

 

Ikke hvis du er jurist...  

Mulig..,.

 

men bedre enn dette:

5 timer siden, Olav skrev:

Jeg ble anbefalt å laste ned "Nord Pool" appen for Android eller iOS. Det har jeg gjort, og den har ingen Terms and Conditions. Jeg har derfor endret litt på koden for å bruke disse dataene i stedet. Jeg holder for øyeblikket på med litt stabilitetstesting, og regner med at evt. problemer blir luket ut i løpet av helga.

Det tror jeg ikke spiller noen rolle så lenge du henter data fra Nord Pool...

[Olav]

On 16.3.2018 at 20:49, Moskus said:

men bedre enn dette:

On 16.3.2018 at 15:44, Olav said:

Jeg ble anbefalt å laste ned "Nord Pool" appen for Android eller iOS. Det har jeg gjort, og den har ingen Terms and Conditions. Jeg har derfor endret litt på koden for å bruke disse dataene i stedet. Jeg holder for øyeblikket på med litt stabilitetstesting, og regner med at evt. problemer blir luket ut i løpet av helga.

Det tror jeg ikke spiller noen rolle så lenge du henter data fra Nord Pool...

 

Vel, som sagt:

On 16.3.2018 at 15:44, Olav said:

Jeg har kontaktet Nordpool og spurt litt om API i forbindelse med hjemmeautomasjon.

I min e-post til Nord Pool's Power Data Services ba jeg om tilgang til API'et eller andre måter jeg kunne hente ut data for bruk til hjemmeautomasjon. Jeg sa tydelig ifra at dette ville bli gjort automatisk, og at jeg kom til å dele kildekoden med venner. Jeg nevnte også at å hente ut dataene fra direkte fra nettsiden ville være det letteste. Noe som implisitt sier at jeg har kunnskapene som trengs for å hente ut data fra åpne kilder.

Jeg forventet et nei, men fikk i stedet en hyggelig e-post der de takket for min interresse. Jeg fikk tre muligheter å få ut dataene jeg ønsket:

1. Bruke API'et deres, som kun er tilgjengelig for kunder/medlemmer av Nord Pool.

- Dette er uaktuelt, siden jeg ikke har mulighet til å lagre unna noen GWh.

2. Kjøpe tilgang til FTP-serveren.

- Dette er også uaktuelt. Jeg har ingen behov for å vite om alle transaksjoner til hvilke priser som er foretatt i nord-Europa.

3. Laste ned Appen.

- Dette var det eneste alternativet som var aktuelt. Jeg har lastet ned denne appen, og koblet meg på datastrømmen som går til den, og bruker denne til å vise den aktuelle strømprisen i Home assistant. (Sjekk kildekoden. Ingen tilkobling til www.nordpoolgroup.com)

 

Dette betyr at jeg har fått full tillatelse av Nord Pool's Power Data Services til å hente ut disse dataene automatisk for å bruke dem som jeg ønsker til hjemmeautomasjon. Jeg ble heller ikke nektet å dele kildekoden med venner.

[Moskus]

2 timer siden, Olav skrev:

Dette betyr at jeg har fått full tillatelse av Nord Pool's Power Data Services til å hente ut disse dataene automatisk for å bruke dem som jeg ønsker til hjemmeautomasjon. Jeg ble heller ikke nektet å dele kildekoden med venner.

Så lenge kildekoden er åpen, så betyr det det. Ikke verst av Nord Pool, da.

 

Hvor er kilden lagret?

[Olav]

7 hours ago, Moskus said:

Hvor er kilden lagret?

Kildekoden ligger på Bitbucket. Linken er i første post, rett under bildet.

-Det er litt lettere å vedlikeholde koden i et revisjonssystem enn som vedlegg i et forum.

 

Dataene kommer i JSON format, jeg kjenner ikke til om det er lett å parse i .net.

[Moskus]

Jeg tenkte på kildekoden til app'en siden det er den du har tatt utgangspunkt i. Ref dette:

20 timer siden, Olav skrev:

Dette var det eneste alternativet som var aktuelt. Jeg har lastet ned denne appen, og koblet meg på datastrømmen som går til den, og bruker denne til å vise den aktuelle strømprisen i Home assistant. (Sjekk kildekoden. Ingen tilkobling til www.nordpoolgroup.com)

 

 

[Olav]

Å, nei, den har jeg ikke.

Jeg rutet datatrafikken på mobilen igjennom en lokal VPN tilkobling, lagret denne trafikken til en fil, og brukte Wireshark for å analysere dataene. Så i praksis så emulerer Home-assistant sensoren App'en for å få tak i prisene.

[Moskus]

Ja, akkurat. Det er å strekke strikken litt. Ikke at jeg tror du blir dømt for det, men likevel sannsynligvis en bruk de absolutt ikke hadde sett for seg.

[Thomas]

Hei. Får følgende feilmelding :

 

2018-03-27 13:02:59 ERROR (MainThread) [homeassistant.components] Testing configuration at /home/thomas/.homeassistant
Fatal error while loading config: invalid syntax (nordpool.py, line 114)
Failed config
  General Errors: 
    - invalid syntax (nordpool.py, line 114)

 

[Olav]

Det ser ut som det har sneket seg inn en liten bug når jeg fikset koden i forhold til noen PEP8 regler de bruker i Home-Assistant.

 

Jeg har rettet opp i den nå, men får dessverre ikke testet den før i kveld.

[Thomas]

Virker nå :-) Takk skal du ha

[Thomas]

i dag får jeg denne feilen. Er det noe hos meg eller flere som får samme feil ?

 

Quote

2018-04-04 11:14:25 ERROR (MainThread) [homeassistant.components.sensor] Error while setting up platform nordpool
Traceback (most recent call last):
  File "/home/thomas/homeassistant/lib/python3.6/site-packages/homeassistant/helpers/entity_platform.py", line 82, in async_setup
    SLOW_SETUP_MAX_WAIT, loop=hass.loop)
  File "/usr/lib/python3.6/asyncio/tasks.py", line 358, in wait_for
    return fut.result()
  File "/usr/lib/python3.6/concurrent/futures/thread.py", line 56, in run
    result = self.fn(*self.args, **self.kwargs)
  File "/home/thomas/.homeassistant/custom_components/sensor/nordpool.py", line 50, in setup_platform
    add_devices([Nordpool(name, currency, region)])
  File "/home/thomas/.homeassistant/custom_components/sensor/nordpool.py", line 84, in __init__
    self.fetchNewData(_TODAY)
  File "/home/thomas/.homeassistant/custom_components/sensor/nordpool.py", line 181, in fetchNewData
    newData[row] = round(float(price) / 10, 3)
ValueError: could not convert string to float: '-'

 

[Olav]

Takk for gode feilmeldinger

 

Jeg satte igang en test i går som har gått over natta, men rullet ikke ut koden. Jeg har gjort en "hastefiks" nå som er tilgjengelig.

Problemet er at i dag er det ikke notert noen peak og off-peak priser.

[Moskus]

3 timer siden, Olav skrev:

Problemet er at i dag er det ikke notert noen peak og off-peak priser.

Er det NordPool som gjør dette?

 

Er jo peak'er der jeg er iallfall...

 

 

Endret 4. april 2018 av ZoRaC
Fjernet hotlinket bilde til Moskus hjemme-server (igjen)...

[Olav]

Ja, det er NordPool som legger ut disse prisene også. De var ikke lagt inn før lunch, men ser de har kommet inn nå. Det hender en sjelden gang av og til at disse prisene bare settes til "-"

 

Edit: Snapshot av ferske priser:

Endret 4. april 2018 av Olav
Eksempel fra nye priser

[henninne]

Hei,

 

Jeg får ikke denne til å fungere i Home assistant 0.67, jeg har fulgt instruksjonene men får følgende feil:

Unable to find component sensor.nordpool

Platform not found: sensor.nordpool

Noen som kan hjelpe meg eller har noen tips?

 

nordpool.py har jeg lagt i custom_components/sensor mappen så det burde være riktig.

[Olav]

Jeg oppdaterte til 0.67.1 i dag, og det ser ikke ut til å være noen problemer.

 

Det ser ikke ut som Home assistant finner nordpool.py. Er mappenavnet med bare små bokstaver, eller har det sneket seg inn noen store bokstaver?

Hvis du kjører på Linux, så kan du også prøve å endre rettighetene på fila slik at Home assistant brukeren kan kjøre den.