Hjelp til tyding av DLMS OBIS datapush-meldinger

roy · 20. januar 2019

Jeg har en Kamstrup AMS fra Norgesnett med åpen HAN-port. For å lese disse DLMS OBIS datapush-meldingene har jeg en USB-til-MBUS-slave-modul koblet til en Raspberry Pi. Jeg skrev noen få linjer med Python for å skrive ut meldingene som kommer, og dette ser i utgangspunktet ut til å fungere stabilt og som forventet.

Det jeg lurer på er om noen kan hjelpe meg å tyde/forklare meldingene til meg, fordi de later til å være mye kortere (145-160 bytes) enn det jeg har sett eksempler på her på forumene. Etter å ha lest hundrevis av meldinger og side opp og side ned her inne + lest kode og eksempeldata på spesielt https://github.com/roarfred/AmsToMqttBridge/ så skjønner jeg bare ikke hva det er med meldingene jeg får.

Meldingene kommer hvert 10. sekund som forventet, og hver time kommer det en bittelitt lenger melding (den også mye kortere enn forventet). Det er som om OBIS-kodene ikke er med i meldingene.

Start og slutt med byten E7 er alltid til stede og CRC for hvertfall header har stemt de gangene jeg har sjekket den.

Her er eksempler på noen meldinger jeg får:

2019-01-20T21:50:11.195980 - 155 bytes:
7EA0E22B2113239AE6E7000F0000F8BF60D9509126A18000F0FF682A566B1797AE17AE650582828A4A641428FE0A1135372036353627323132343834373536090601017CF10A1236383431313331424E323433313031303430090681F9FF0680FFFBFE06C006E006F089C7FE74080600F80906F13AC60600FC4A6414DF100600FC89C7FE12C0BD4250B8FF3BE61200EB090601E1901200EB11CB7E
2019-01-20T21:50:21.194220 - 154 bytes:
7EA0E22B2113239AE6E7000F0000F8BF60D9509126D18000F0FF682A566B1797AE17AE650582828A4A641428FE0A1135372036353627323132343834373536090601017CF10A1236383431313331424E323433313031303430090681F9FF0680FFFFFF06C006E006F00906F17408FF0600F85F2150FE3AC40600FC4B7FDF07FC0600FCFF12C02FC8505807FC1200EC090601F1D81200EE88D47E
2019-01-20T21:50:31.194745 - 154 bytes:
7EA0E22B2113239AE6E7000F0000F8BF60D9509126F4800080FBB6FE682A566B1797AE17AE650582828A4A641428FE0A1135372036353627323132343834373536090601017EF10A1236383431313331424E323433313031303430090681F9FF0680FF06C006E006F00906C1FF7408FF0600F85F2150FE3AC40600FC4B7FDF07FC0600FC12C02FC8505CFF07FC1200EC090601F1D81200EE13D47E
2019-01-20T21:50:41.189758 - 156 bytes:
7EA0E22B2113239AE6E7000F0000F8BF60D9509126A58000F0FF682A566B1797AE17AE650582828A4A641428FE0A1135372036353627323132343834373536090601017CF10A1236383431313331424E323433313031303430090681F9FF0680FF96C828FF06C0FF06E006F089C7FE74080600F80906F13AC40600FC4A6414DF100600FCFF12C02FC85058FF3BE61200EC090601F1D81200EB3DC07E

Hvis jeg tar f.eks. den siste meldingen over og bruker mye av kunnskapen fra https://github.com/roarfred/AmsToMqttBridge/blob/master/Samples/Kamstrup/readme.md og https://github.com/roarfred/AmsToMqttBridge/blob/master/Samples/Kamstrup/obisdata.md så tolker jeg det som noe slikt som under. Jeg har brukt linjeskift ved de typiske separatorene bare for å prøve å finne mønster, men det vil nok ofte være helt feil ettersom jeg ofte ikke får ting til å stemme med "02 - one byte following 06 - long (4 bytes / 32 bits) 12 - int (2 bytes / 16 bit) 09 - string, first byte is length (could it be a byte array?) 0A - string, first byte is length" uansett.

7E                                             <-- Frame Start flag
A                                              <-- 4 bits, A = Frame Format Type 3
0E2                                            <-- 12 bits, Frame size: 0xE2 (226 bytes!?, excluding start/end flags)
2B                                             <-- Destination Address
21                                             <-- Source Address
13                                             <-- Control Field
239A                                           <-- Gyldig CRC-16/X-25
E6                                             <-- Destination LSAP
E7                                             <-- Source LSAP
00                                             <-- LLC Quality
0F                                             <-- Information, n*8 bits?
0000F8BF60D95                                  <-- Hva er dette? Ofte(?) likt
09
  12
    6A58000F0FF682A566B1797AE17AE650582828A4A641428FE
0A
  1135372036353627323132343834373536           <-- Gyldig målernummer i ASCII (NB: jeg endret noen sifre her, så evt påfølgende checksum vil feile)
09
  06
    01017CF1                                   <-- Hva er dette? Alltid likt
0A
  12
    36383431313331424E323433313031303430       <-- Alltid likt = ASCII 6841131BN243101040 <-- 684113 = måler-type
09
  06
    81F9FF
  06
    80FF96C828FF
  06
    C0FF
  06
    E0
  06
    F089C7FE7408                             
  06
    00F897C8287E
09
  06
    F13AC4
  06
    00FC4A6414DF10
  06
    00FCFF
    12
      C02FC85058FF3BE6                         
    12
      00EC                                     <-- 236 (Volt? (L2?))
09
  06
    01F1D8                                     <-- Hva er dette?
    12
      00EB                                     <-- 235 (Volt? (L3?))
3DC0                                           <-- Checksum?
7E                                             <-- Frame End flag

Oppsettet for avlesingen er slik jeg hadde forventet det å være:

ser = serial.Serial(
    port='/dev/ttyUSB0',
    baudrate=2400,
    parity=serial.PARITY_NONE,
    stopbits=serial.STOPBITS_ONE,
    bytesize=serial.EIGHTBITS,
    timeout=10)

Håper noen har noen tips eller innspill til meldingene. ?

Andreas · 21. januar 2019

Tips: skill bytene med et komma eller 0x så blir lesbarheten myyyyye bedre.

Også la 0 vises som 0x00 eller 00.

Ser ikke ut som noen kamstrup-meldinger jeg har sett før.

Men det er siden formateringen er dårlig.

-Andreas

roy · 22. januar 2019

Takk for svar, @Andreas!

Her er meldingene re-formatert. 0 var allerede paddet. Men ja, de fremstår som unaturlig korte i forhold til andre jeg har sett. Men det interessante er at f.eks. CRC for header er gyldig. (Usikker på hvordan korrekt beregne CRC av totalen.) Og meldingene holder seg stabile, starter og slutter alltid med 7E og inneholder målernummer, målertype og litt diverse ting som kommentert i første post.

2019-01-20T21:50:11.195980 - 155 bytes:
7E A0 E2 2B 21 13 23 9A E6 E7 00 0F 00 00 F8 BF 60 
D9 50 91 26 A1 80 00 F0 FF 68 2A 56 6B 17 97 AE 17 
AE 65 05 82 82 8A 4A 64 14 28 FE 0A 11 35 37 20 36 
35 36 27 32 31 32 34 38 34 37 35 36 09 06 01 01 7C 
F1 0A 12 36 38 34 31 31 33 31 42 4E 32 34 33 31 30 
31 30 34 30 09 06 81 F9 FF 06 80 FF FB FE 06 C0 06 
E0 06 F0 89 C7 FE 74 08 06 00 F8 09 06 F1 3A C6 06 
00 FC 4A 64 14 DF 10 06 00 FC 89 C7 FE 12 C0 BD 42 
50 B8 FF 3B E6 12 00 EB 09 06 01 E1 90 12 00 EB 11 
CB 7E

2019-01-20T21:50:21.194220 - 154 bytes:
7E A0 E2 2B 21 13 23 9A E6 E7 00 0F 00 00 F8 BF 60 
D9 50 91 26 D1 80 00 F0 FF 68 2A 56 6B 17 97 AE 17 
AE 65 05 82 82 8A 4A 64 14 28 FE 0A 11 35 37 20 36 
35 36 27 32 31 32 34 38 34 37 35 36 09 06 01 01 7C 
F1 0A 12 36 38 34 31 31 33 31 42 4E 32 34 33 31 30 
31 30 34 30 09 06 81 F9 FF 06 80 FF FF FF 06 C0 06 
E0 06 F0 09 06 F1 74 08 FF 06 00 F8 5F 21 50 FE 3A 
C4 06 00 FC 4B 7F DF 07 FC 06 00 FC FF 12 C0 2F C8 
50 58 07 FC 12 00 EC 09 06 01 F1 D8 12 00 EE 88 D4 
7E

2019-01-20T21:50:31.194745 - 154 bytes:
7E A0 E2 2B 21 13 23 9A E6 E7 00 0F 00 00 F8 BF 60 
D9 50 91 26 F4 80 00 80 FB B6 FE 68 2A 56 6B 17 97 
AE 17 AE 65 05 82 82 8A 4A 64 14 28 FE 0A 11 35 37 
20 36 35 36 27 32 31 32 34 38 34 37 35 36 09 06 01 
01 7E F1 0A 12 36 38 34 31 31 33 31 42 4E 32 34 33 
31 30 31 30 34 30 09 06 81 F9 FF 06 80 FF 06 C0 06 
E0 06 F0 09 06 C1 FF 74 08 FF 06 00 F8 5F 21 50 FE 
3A C4 06 00 FC 4B 7F DF 07 FC 06 00 FC 12 C0 2F C8 
50 5C FF 07 FC 12 00 EC 09 06 01 F1 D8 12 00 EE 13 
D4 7E

2019-01-20T21:50:41.189758 - 156 bytes:
7E A0 E2 2B 21 13 23 9A E6 E7 00 0F 00 00 F8 BF 60 
D9 50 91 26 A5 80 00 F0 FF 68 2A 56 6B 17 97 AE 17 
AE 65 05 82 82 8A 4A 64 14 28 FE 0A 11 35 37 20 36 
35 36 27 32 31 32 34 38 34 37 35 36 09 06 01 01 7C 
F1 0A 12 36 38 34 31 31 33 31 42 4E 32 34 33 31 30 
31 30 34 30 09 06 81 F9 FF 06 80 FF 96 C8 28 FF 06 
C0 FF 06 E0 06 F0 89 C7 FE 74 08 06 00 F8 09 06 F1 
3A C4 06 00 FC 4A 64 14 DF 10 06 00 FC FF 12 C0 2F 
C8 50 58 FF 3B E6 12 00 EC 09 06 01 F1 D8 12 00 EB 
3D C0 7E

Andreas · 23. januar 2019

Tipper det er den kretsen din som ikke sender hele medlingen. Prøv med en opamp slik som beskrevet på en av de siste sidene i den andre ams-tråden ca side 54?

Endret 23. januar 2019 av Andreas

antonkristensen · 29. januar 2019

noen av disse usb dingsene bruker parity even, prøv det

Christopher Stenersen · 1. april 2019

@roy Jeg har utviklet 2 noder for Node-Red til decoding av Aidon og Kamstrup. Har ikke testet denne på Kaifa enda da jeg ikke har fått tilgang på rådata fra den.

Du kan jo se om du får noe fornuftig ut av den? Jeg tror meldingene dine er komplette ved første øyekast.

https://www.npmjs.com/package/node-red-contrib-ams-decoder

har forsøkt å lagge en fornuftig README på hvordan den bør benyttes i Node Red.

eriler · 28. april 2019

@Christopher Stenersen noden din til Kamstrup ser ikke ut til å fungere med min kamstrup måler. Her er det jeg fåt rett fra seriel-noden og hva jeg får ut fra Kamstrup-noden:

{"payload":[126,160,178,43,33,19,53,79,230,231,0,15,0,0,0,0,12,7,227,4,28,7,11,28,20,255,128,0,128,2,17,10,14,75,97,109,115,116,114,117,112,95,86,48,48,48,49,9,6,1,1,0,0,5,255,10,16,53,55,48,54,53,54,55,50,56,55,51,50,49,53,53,51,9,6,1,1,96,1,1,255,10,18,54,56,54,49,49,49,49,66,78,50,52,50,49,48,49,48,52,48,9,6,1,1,1,7,0,255,6,0,0,5,45,9,6,1,1,2,7,0,255,6,0,0,0,0,9,6,1,1,3,7,0,255,6,0,0,0,0,9,6,1,1,4,7,0,255,6,0,0,0,164,9,6,1,1,31,7,0,255,6,0,0,2,52,9,6,1,1,32,7,0,255,18,0,239,16,193,126],"port":"/dev/ttyUSB0","_msgid":"b4a51ca3.01e2d"}

{"port":"/dev/ttyUSB0","_msgid":"b4a51ca3.01e2d"}


{"payload":[126,160,178,43,33,19,53,79,230,231,0,15,0,0,0,0,12,7,227,4,28,7,11,28,30,255,128,0,128,2,17,10,14,75,97,109,115,116,114,117,112,95,86,48,48,48,49,9,6,1,1,0,0,5,255,10,16,53,55,48,54,53,54,55,50,56,55,51,50,49,53,53,51,9,6,1,1,96,1,1,255,10,18,54,56,54,49,49,49,49,66,78,50,52,50,49,48,49,48,52,48,9,6,1,1,1,7,0,255,6,0,0,4,203,9,6,1,1,2,7,0,255,6,0,0,0,0,9,6,1,1,3,7,0,255,6,0,0,0,0,9,6,1,1,4,7,0,255,6,0,0,0,68,9,6,1,1,31,7,0,255,6,0,0,2,4,9,6,1,1,32,7,0,255,18,0,240,195,105,126],"port":"/dev/ttyUSB0","_msgid":"eb53e4cf.daf528"}

{"port":"/dev/ttyUSB0","_msgid":"eb53e4cf.daf528"}

Christopher Stenersen · 28. april 2019

@eriler Hvilke instillinger har du på serialporten?

eriler · 28. april 2019

For meg er det parity "none" som er riktig, du ser av datastrømmen at stop-bittet 0x7e er der. Den klarte visst ikke å kopiere/paste i hex ser jeg nå, men det er 126 ja. Jeg får ikke riktig stop-bit med parity even.

Christopher Stenersen · 28. april 2019

@eriler har du mulighet til å sende meg rådata fra serialporten med riktig HEX format så kan jeg ta en titt?

Jeg tror nok den fungerer men debug-noden greier ikke å lese ut data uten å gjøre noen innstillinger.

du kan også forsøke å henge på en debug node med slik instilling for å se om du får ut aktiv effekt:

eriler · 28. april 2019

7 minutes ago, Christopher Stenersen said:

@eriler har du mulighet til å sende meg rådata fra serialporten med riktig HEX format så kan jeg ta en titt?

Jeg tror nok den fungerer men debug-noden greier ikke å lese ut data uten å gjøre noen innstillinger.

du kan også forsøke å henge på en debug node med slik instilling for å se om du får ut aktiv effekt:

Jeg ser at jeg har gjort feil i å anta at å velge "complete msg object" i debug noden ville vise meg alt den får fra kamstrup noden din!

Jeg får en fornuftig verdi når jeg skriver det du skriver i debug noden min også. Da funker det altså. Hjertelig takk for arbeidet du har lagt ned i dette og support til meg på toppen av det hele!

eriler · 29. april 2019

@Christopher Stenersen Har du en god måte å sende disse verdiene til mqtt? Jeg ser det som kamstrup noden gir ut må splittes på et vis.

Christopher Stenersen · 29. april 2019

5 timer siden, eriler skrev:

@Christopher Stenersen Har du en god måte å sende disse verdiene til mqtt? Jeg ser det som kamstrup noden gir ut må splittes på et vis.

Det fungerer fint med f.eks en function node som tilpasser "msg.payload" til å være lik "msg.payload.act_pow_pos" som sender videre til en MQTT broker:

Skript i function noden:

msg.payload = msg.payload.act_pow_pos
return msg;

Skal du publisere til samme topic i MQTT eller en topic pr. data som kommer fra noden?

eriler · 29. april 2019

Planen var et mqtt topic per verdi, slik at det lettest kan brukes videre i et GUI.

Christopher Stenersen · 29. april 2019

1 time siden, eriler skrev:

Planen var et mqtt topic per verdi, slik at det lettest kan brukes videre i et GUI.

ok.

Da kan du legge noe slikt i function node så lar du topic stå blank i mqtt noden:

node.send({payload:msg.payload.act_pow_pos, topic:"aktiv_effekt_positiv"})
node.send({payload:msg.payload.act_pow_neg, topic:"aktiv_effekt_negativ"})
return;

Christopher Stenersen · 1. mai 2019

AMS decoderen for Node-Red inneholder nå en beta node fro Kaifa målere. kult hvis noen har mulighet til å teste ut på forskjellige typer da jeg bare har testet med data fra 1-fas måler.

https://flows.nodered.org/node/node-red-contrib-ams-decoder

ole88 · 1. mai 2019

Hei alle.

Jeg skriver her på grunn av at jeg ikke kommer helt i mål. Får ut melding i Node-red som starter på 7E og slutter på 7E. Har en Kamstrup måler med en mbus til usb, samme som trådstarter. Har laget en skisse, se vedlegget. Ved bruk av Kamstrup noden får jeg ikke ut noe annet enn payload: function. Er det noen åpenbar enkel feil eller noe jeg har oversett?

Takk for all hjelp.

ole88 · 2. mai 2019

En annen ting som kanskje er greit å vite er at input til Kamstrup-noden får jeg ved hjelp av funksjonen for ordens skyld dette:

Christopher Stenersen · 2. mai 2019

4 timer siden, ole88 skrev:

Hei alle.

Jeg skriver her på grunn av at jeg ikke kommer helt i mål. Får ut melding i Node-red som starter på 7E og slutter på 7E. Har en Kamstrup måler med en mbus til usb, samme som trådstarter. Har laget en skisse, se vedlegget. Ved bruk av Kamstrup noden får jeg ikke ut noe annet enn payload: function. Er det noen åpenbar enkel feil eller noe jeg har oversett?

Takk for all hjelp.

Alt 1:

huk av at debuger node skal vises i console. Da burde meldinger vises i terminal som kjører node red med noe mer informasjon

alt 2:

du må skrive komplett objektnavn i debugger.

F.eks msg.payload.act_pow_pos. Se readme for noden for å få oversikt over alle objektene.

Du finner readme her:

https://flows.nodered.org/node/node-red-contrib-ams-decoder

Endret 2. mai 2019 av Christopher Stenersen

ole88 · 2. mai 2019

4 hours ago, Christopher Stenersen said:

Alt 1:

huk av at debuger node skal vises i console. Da burde meldinger vises i terminal som kjører node red med noe mer informasjon

alt 2:

du må skrive komplett objektnavn i debugger.

F.eks msg.payload.act_pow_pos. Se readme for noden for å få oversikt over alle objektene.

Du finner readme her:

https://flows.nodered.org/node/node-red-contrib-ams-decoder

Takk for hjelpen. Jeg trodde at å skrive kun msg i debug noden ville "printe" alle verdier, men når jeg fylte inn "payload.act_pow_pos" i feltet, fikk jeg ut forbruk av watt. Tusen takk for hjelp!!

Til andre som kanskje kommer til å slite med det samme, disse innstillingene fungerer for meg:

ole88 · 2. mai 2019

Har fått kamstrup måleren til å gi ut data på disse hvert 10 sek:

msg.payload.obis_list_version "Kamstrup_V0001"

msg.payload.meter_ID "5706567205596285"

msg.payload.meter_model "6841121BN243101040"

payload.act_pow_pos " x watt" Gir riktig watt i øyeblikket

Denne kommer ca. hvert 30 sekund:

msg.payload.act_pow_neg, 50694,50201, 49953, varierer opp og ned. Hva er dette?

De andre får jeg ingen data fra. Jeg har satt opp overvåkning, så venter å ser om det kommer inn noe på dem iløpet av noen timer.

Noen som har noen tips? Ville gjerne sett volt og ampere målingene.

Christopher Stenersen · 2. mai 2019

Kan du sende meg rådata fra ca en times logging så kan jeg ta en kikk. Act_pow_neg skal være strøm ut av huset ved for eksempel solcelleanlegg etc.

ole88 · 2. mai 2019

2 hours ago, Christopher Stenersen said:

Kan du sende meg rådata fra ca en times logging så kan jeg ta en kikk. Act_pow_neg skal være strøm ut av huset ved for eksempel solcelleanlegg etc.

Her har du 2 filer. Lagde en logfil med timestamp, og en med bare data fra kl 14.38 til ca 15.45 i dag.

ams_raa_1438.log

ams2_medtid1438.log

Christopher Stenersen · 2. mai 2019

5 timer siden, ole88 skrev:

Her har du 2 filer. Lagde en logfil med timestamp, og en med bare data fra kl 14.38 til ca 15.45 i dag.

ams_raa_1438.log

ams2_medtid1438.log

Oi her var det veldig varierende lengder på linjene, disse burde hvert eksakt like lange hvert 10.sek og noe lengre hver time.

Ser ut som dataene er riktige frem til act_pow_pos men deretter er det veldig varierende struktur.

Kanskje du kan forsøke en annen USB-Seriell overgang?

ole88 · 2. mai 2019

12 minutes ago, Christopher Stenersen said:

Oi her var det veldig varierende lengder på linjene, disse burde hvert eksakt like lange hvert 10.sek og noe lengre hver time.

Ser ut som dataene er riktige frem til act_pow_pos men deretter er det veldig varierende struktur.

Kanskje du kan forsøke en annen USB-Seriell overgang?

Prøvde å korte ned ledningen, men ingen forandring. Har vært inne på tanken selv, om at kanskje adapteret er problemet i og med at det er ustabilt i meldingene.

Uansett, takk for hjelp

Logg inn

Hjelp til tyding av DLMS OBIS datapush-meldinger

Anbefalte innlegg

Bli med i samtalen

Lignende innhold

Viktig informasjon