Voice Preview på norsk

[hernil]

Har fått en Voice Preview boks i hus og begynt å leke litt.

Home Assistant Cloud integrasjonen + ChatGPT integrasjon gjør at den lar seg ganske greit prate norsk med gitt at man har eksponert riktige entiteter. Litt hikke er det som at den legger opp til oppfølgingsinteraksjoner - noe som ikke er mulig såvidt jeg har skjønt. Så hvis jeg ber den om å spille musikk så kan jeg ikke svare på om det skal gjøres på bad eller kjøkken - sånn sett burde jeg vært eksplisitt - eller den skulle bare antatt at jeg ville spille på begge.

På sikt er jo målet at hele pipen skal kjøre lokalt, men foreløpig går ting såpass fort på AI-fronten (og hva man synes om det hele er en lang diskusjon for en annen gang ...) at jeg ikke finner det interessant eller hensiktsmessig å spinne opp noe med nok hardware til å tilfredsstillende kjøre en lokal modell av noe. ChatGPT (eller ekvivalent) integrasjon er derfor en kamel jeg er villig til å svelge for nå. Det jeg derimot ser som mer nærliggende å komme meg bort ifra er Home Assistant Cloud og over på en Whisper/Piper stack for tale-til-tekst og tekst-til-tale. Siden jeg kjører Home Assistant i Docker og ikke VM er det ikke helt plug&play på akkurat den fronten så tenkte å utforske litt - eventuelt bite i det sure eplet og dytte Home Assistant inn i en VM med HAOS. 

Tenkte vi kunne ha en tråd der vi utvekslet erfaringer rundt en norskfokusert stemmestyring av Home Assistant. Et par punkter det hadde vært kult om noen har erfaringer med eller har gjort seg noen tanker om:
 

• Erfaringer med å spinne opp Whisper med norsk modell (har sett denne modellen som virker aktuell)
• Lokale alternativ til ChatGPT, hardware med akseptabel ytelse mm.
• Noen som har laget seg helnorske "wake words"?

[VikingOy]

Hei, du trenger ikke HAOS for å benytte Nabu Casa Cloud på VPE. Jeg kjører dette helt greit og min HA er en Core versjon som kjører i en Docker container.

Jeg har også installert Piper/Whisper i containere og prøvd meg på å bruke disse lokalt, men det fungerer ikke med mindre du har skikkelig kraftig HW.

Jeg lekte for noe tid siden med ESP32-S3-BOX og satte denne opp med Willow. Det resultatet ble veldig bra, men dessverre avgikk han som vedlikeholdt koden ved døden og serverne ble tatt ned. Men jeg skrev et omfattende sammendrag av arbeidet, noe som den dag i dag fremdeles inneholder mye nyttig - om man bare er klar over at Willow ikke lenger er et alternativ. Artikkelen finner du her:  How To install voice components

Siden den gang har jeg isteden installert HA Voice Preview Edition (VPE) og er i grunnen godt fornøyd med den. Her et en lydfil vedlagt som for den som er interessert i hvordan dette fungerer i praksis.

 

I og med at Willow er død, kommer jeg nå til å gå tilbake til ESPHome som FW. I tillegg til min "oppskrift" er dette nærmere forklart her: ESP32-S3-BOX voice assistant - Home Assistant
Fordelene med S3 boksene over VPE er at man er langt mer fleksibel, noe denne artikkelen klart viser: BigBobbas/ESP32-S3-Box3-Custom-ESPHome: Custom ESPHome config for ESP32-S3-Box-3 with sensors and touchscreen

 

 

 

[eivtress]

Hei, jeg har også hatt voice preview boksen i et par uker nå og er interessert i å høre deres erfaring med den som hardware. Jeg kjører også en kombinasjon av Home assistant cloud + Chat GPT. Jeg testet dette gjennom mobilen før jeg kjøpte voice boksen, og syntes det fungerte veldig bra. Mye bedre enn google home og i hvert fall bedre enn HA sin egen voice assistent. Utrolig kult å styre ting i huset med mer naturlig språk, og at den faktisk skjønner hva jeg mener. Angående oppfølgingsinteraksjoner er dette også noe jeg har lyst til å få til. Man kan for øvrig i konfigurasjonen av chat GPT be den om å aldri stille oppfølgingsspørsmål. Jeg ba den ganske fort om å slutte å spørre om jeg trenger hjelp med noe mer.

Jeg er dog litt skuffet over voice preview boks, spesielt med wake word. Jeg syntes den er veldig ustabil på responsen, selv om jeg er rett ved siden av. Jeg bruker "Hey Jarvis" som wake word. Har ikke testet om det er noe forskjell med "OK Nabu".

Hele poenget med denne boksen var jo at det endelig kom en skikkelig hardware som kan måle seg med google sin. Trodde jeg.

Hva er deres erfaring med trigging av wake word?

 

Når det gjelder lokal tale-til-tekst og tekst-til-tale har jeg testet litt med Whisper og litt forskjellige størrelser på modellene. Men resultatet har vært så håpløst at jeg bare har gitt opp. Jeg kjører HA på en 5 år gammel Lenovo ThinkPad jeg pensjonerte fra jobben. Med i7-prosessor og ganske bra grafikkort.

Det er veldig mulig at jeg har køddet til noe i oppsettet. Jeg er i hvert fall veldig fornøyd med Home assistant cloud sin tale-til-tekst og tekst-til-tale, så da handler det i så fall kun om drømmen om å kjøre alt lokalt.

Angående det har jeg også testet å kjøre llama 3.2 lokalt gjennom Ollama og bruke den som assistent. Hadde dette vært fem år siden hadde jeg sikkert vært imponert, men den sier så mye sprøyt og rare setninger at den er helt ubrukelig. Hvert fall når Chat GPT 4o-mini er konkurransen. Men det kan også være fordi modellen jeg kjører ikke er stor nok. Jeg har tenkt å teste med små varianter av den nye DeepSeek R1-modellen. Siden denne er open source er det mulig det kommer flere tilsvarende sterke og bedre modeller rett rundt hjørnet.

Dette er uansett gøy å pusle med, og siden det stadig er "early days" kommer dette til å bli helt rått med tida.

[VikingOy]

Jeg tror man bare kan glemme å kjøre Whisper på en "vanlig PC" enten det er en i5, i7 eller i9, og en "vanlig" NAS er heller ikke nok.  Viper derimot, går greit.

Men har du prøvd ExtendedOpenAI som jeg beskrev i min artikkel?