miner:integrationer:onboardingprocess [Orbiq wiki]

Denna sida är skrivskyddad. Du kan titta på källkoden, men inte ändra den. Kontakta administratören om du anser att du bör kunna ändra sidan.
====== Onboardingprocess ======

Den här sidan beskriver en generell arbetsprocess för onboarding av datapunkter i Miner.

Med onboarding menas arbetet med att identifiera, välja ut, beskriva, kvalitetssäkra och vid behov provisionera datapunkter innan de tas i drift i ett dataflöde.

Onboardingprocessen används när datapunkter från ett eller flera källsystem ska göras användbara i en mottagande plattform, databas, grafdatabas, analysmiljö eller annan digital tjänst.

För en övergripande beskrivning av integrationsområdet, se [[miner:integrationer|Integrationer]].

===== Syfte =====

Syftet med onboardingprocessen är att säkerställa att datapunkter inte bara förs över tekniskt, utan också blir begripliga, sökbara, strukturerade och möjliga att använda i mottagande system.

Processen hjälper till att svara på frågor som:

  * Vilka datapunkter ska ingå?
  * Vilket system eller vilken komponent tillhör datapunkten?
  * Vad representerar datapunkten?
  * Vilken enhet, funktion eller mätstorhet har datapunkten?
  * Ska datapunkten endast läsas eller även kunna skrivas till?
  * Behöver metadata eller objekt provisioneras till ett mottagande system?
  * Är dataflödet kvalitetssäkrat innan det tas i drift?

===== När används processen? =====

Onboardingprocessen används exempelvis när:

  * en ny fastighet, byggnad eller anläggning ska anslutas
  * ett nytt källsystem ska integreras
  * datapunkter ska standardiseras eller klassificeras
  * metadata ska laddas upp till en grafdatabas
  * datapunkter ska provisioneras till en mottagande plattform
  * data ska göras användbar för analys, visualisering, optimering eller AI-tillämpningar

Processen kan genomföras helt i Miners användargränssnitt, via export/import av filer eller i kombination med externa arbetsverktyg, exempelvis kalkylblad.

===== Övergripande process =====

En typisk onboardingprocess kan beskrivas enligt följande:

<mermaid>
flowchart TD
    A["1. Förbered integration<br/>och skapa anslutning"]
    B["2. Skapa jobb<br/>och hämta datapunkter"]
    C["3. Inventera system<br/>och underlag"]
    D["4. Identifiera och prioritera<br/>datapunkter"]
    E["5. Komplettera med metadata"]
    F["6. Validera och kvalitetssäkra"]
    G{"Behövs provisionering?"}
    H["7. Provisionera metadata<br/>eller objekt"]
    I["8. Starta dataöverföring"]
    J["9. Följ upp och förvalta"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G

    G -->|Ja| H
    H --> I

    G -->|Nej| I
    I --> J
</mermaid>

Provisionering är endast aktuellt i vissa integrationsflöden, exempelvis när metadata ska laddas upp till en grafdatabas eller när Miner används för att provisionera datapunkter, objekt eller relationer till ett mottagande system.

Läs mer på sidan [[miner:integrationer:provisionering|Provisionering]].

===== Processens huvudsteg =====

^ Steg ^ Beskrivning ^ Resultat ^
| 1. Förbered integration | Skapa nödvändiga anslutningar och säkerställ åtkomst till källsystem och eventuella mottagande system. | Anslutningar och åtkomst är klara. |
| 2. Skapa jobb | Skapa ett jobb i Miner och hämta eller importera datapunkter från källsystemet. | Ett arbetsunderlag med datapunkter finns tillgängligt. |
| 3. Inventera system | Gå igenom källsystem, punktbeteckningar, beskrivningstexter och annan dokumentation. | Omfattning och struktur är känd. |
| 4. Identifiera datapunkter | Välj ut vilka datapunkter som ska ingå i integrationen. | Prioriterade datapunkter är markerade. |
| 5. Komplettera metadata | Lägg till metadata som beskriver system, komponenter, funktioner, enheter och relationer. | Datapunkterna är klassificerade och beskrivna. |
| 6. Validera och kvalitetssäkra | Kontrollera urval, metadata, datatyper, läs-/skrivbarhet och eventuella avvikelser. | Underlaget är kvalitetssäkrat. |
| 7. Provisionera | Skapa eller uppdatera metadata, objekt eller relationer i mottagande system om det behövs. | Mottagande system är förberett. |
| 8. Starta dataöverföring | Starta jobbet och verifiera att data når mottagaren. | Dataflödet är aktivt. |
| 9. Förvalta | Följ upp, justera och dokumentera förändringar över tid. | Integrationen kan förvaltas långsiktigt. |

===== 1. Förbered integration =====

Börja med att klarlägga vilket eller vilka system som ska integreras.

Exempel på frågor:

  * Vilket källsystem ska anslutas?
  * Vilket eller vilka system ska data från källsystemet levereras till?
  * Vilka typer av miner-anslutningar är lämpliga att använda och konfigurera för integrationen?
  * Finns nödvändiga användarkonton, API-nycklar, certifikat med mera på plats för att konfigurera anslutningarna?
  * Finns möjlighet till kommunikation med avseende på uppkoppling och nätverksåtkomst till nödvändiga IP-adresser och portar?
  * Ska data endast läsas eller även kunna skrivas tillbaka?
  * Behövs metadata, objekt eller relationer i ett mottagande system innan dataöverföringen startas?

Skapa därefter relevanta anslutningar i Miner.

Läs mer om anslutningar och jobb på sidan [[miner:integrationer:systemintegration|Systemintegration]].

===== 2. Skapa jobb och hämta datapunkter =====

När anslutningen är skapad kan ett jobb konfigureras.

Jobbet används för att hämta, läsa, exportera eller leverera data beroende på integrationens syfte.

I detta steg tas ett arbetsunderlag fram. Det kan ske genom att:

  * Miner läser in datapunkter från källsystemet
  * datapunkter exporteras från Miner
  * datapunktlistor importeras från fil
  * metadata-listor hämtas från en ansluten plattform
  * kompletterande underlag sammanställs manuellt

Om integrationen tillhandahåller färdiga metadata-listor, klasslistor eller mallar kan dessa användas som stöd i onboardingarbetet.

===== 3. Inventera system och underlag =====

När datapunkterna finns tillgängliga görs en genomgång av underlaget.

Syftet är att förstå:

  * vilka system som ingår
  * hur datapunkterna är namngivna
  * vilka punktbeteckningar som används
  * om det finns beskrivningstexter eller tekniska attribut
  * om samma typ av datapunkt förekommer i flera system
  * om det finns mönster som kan användas för klassificering

Vid behov kan kompletterande underlag tas fram från källsystemet, exempelvis systembilder, larmlistor, funktionsbeskrivningar eller andra dokument som gör det lättare att förstå datapunkternas sammanhang.

===== 4. Identifiera och prioritera datapunkter =====

Alla datapunkter behöver normalt inte onboardas.

I detta steg väljs de datapunkter som ska ingå i integrationen.

Urvalet kan baseras på exempelvis:

  * användningsfall
  * systemtyp
  * datakvalitet
  * tillgänglighet
  * krav från mottagande system
  * kundens prioriteringar
  * behov för analys, visualisering eller styrning

Det är ofta lämpligt att markera datapunkter med en särskild status eller flagga i arbetsunderlaget.

Exempel:

^ Status ^ Betydelse ^
| ''onboarding=1'' | Datapunkten ska onboardas. |
| ''onboarding=0'' | Datapunkten ska inte onboardas. |
| ''onboarding=9'' | Datapunkten behöver kontrolleras eller diskuteras vidare. |

Exakta kolumnnamn och statusvärden kan anpassas efter projektets arbetssätt.

===== 5. Komplettera datapunkter med metadata =====

När relevanta datapunkter har identifierats kompletteras de med metadata.

Metadata kan beskriva exempelvis:

  * byggnad eller anläggning
  * tekniskt system
  * utrustning eller komponent
  * datapunktens funktion
  * mätstorhet
  * enhet
  * placering
  * läs-/skrivbarhet
  * namn som ska visas i mottagande system
  * relationer till andra objekt

Miner är inte låst till någon viss metadatastandard. Metadata kan utgå från:

  * egna metadatafält
  * kundspecifika scheman
  * standardiserade metadatauppsättningar
  * metadata-listor från anslutna system
  * projektspecifika mallar
  * manuella klassificeringar

Läs mer på sidan [[miner:integrationer:metadata|Metadata]].

===== Namn, beteckningar och visning =====

I många integrationer behöver tekniska punktbeteckningar kompletteras med mer läsbara namn.

Det kan exempelvis finnas behov av att skilja mellan:

  * teknisk beteckning
  * visningsnamn
  * systemnamn
  * komponentbeteckning
  * datapunktens funktion

En bra princip är att bevara tekniska beteckningar för spårbarhet, men samtidigt skapa användarvänliga namn för mottagande system och gränssnitt.

Exempel:

^ Typ av information ^ Exempel ^
| Teknisk beteckning | ''LB01-GT11-PV'' |
| System | ''LB01'' |
| Komponent | ''GT11'' |
| Funktion | ''Mätvärde'' |
| Visningsnamn | ''Tilluftstemperatur'' |

Exakt vilka fält som används beror på metadataupplägg och mottagande system.

===== Läsning, skrivning och dataAccess =====

För datapunkter som kan styras eller skrivas till behöver läs-/skrivbarhet kontrolleras särskilt.

En datapunkt kan exempelvis vara:

^ Värde ^ Betydelse ^
| ''r'' | Datapunkten kan läsas. |
| ''rw'' | Datapunkten kan både läsas och skrivas. |

Det är viktigt att inte alla tekniskt skrivbara datapunkter automatiskt behandlas som styrbara i mottagande system.

I många projekt bör endast vissa typer av datapunkter betraktas som skrivbara, exempelvis:

  * börvärden
  * styrsignaler
  * kurvpunkter
  * driftlägen
  * andra uttryckligt godkända styrvärden

Felaktig klassificering av läs-/skrivbarhet kan påverka hur datapunkter visas, provisioneras eller används i mottagande system.

Läs mer om tekniska förutsättningar för läsning och skrivning på sidan [[miner:integrationer:systemintegration|Systemintegration]].

===== 6. Validera och kvalitetssäkra =====

När metadata har kompletterats behöver underlaget kvalitetssäkras.

Kontrollera exempelvis att:

  * rätt datapunkter har valts
  * datapunkterna har rätt metadata
  * obligatoriska metadatafält är ifyllda
  * enheter och mätstorheter är rimliga
  * läs-/skrivbarhet är korrekt
  * visningsnamn och tekniska beteckningar är konsekventa
  * relationer till byggnad, system och komponenter är rimliga
  * eventuella avvikelser är dokumenterade

Det är ofta lämpligt att gå igenom underlaget system för system och dokumentera avvikelser i en separat lista.

Läs mer på sidan [[miner:admin:qa|QA]].

===== 7. Provisionera metadata eller objekt =====

Provisionering är aktuellt när Miner ska skapa eller uppdatera information i ett mottagande system.

Det kan exempelvis handla om att:

  * ladda upp metadata till en grafdatabas
  * skapa datapunkter i en mottagande plattform
  * skapa objekt och relationer
  * uppdatera metadata i ett externt system
  * förbereda mottagaren innan dataöverföringen startas

Provisionering är inte nödvändig i alla integrationer. Om mottagaren endast ska ta emot mätvärden kan dataöverföringen ofta startas utan detta steg.

Läs mer på sidan [[miner:integrationer:provisionering|Provisionering]].

===== 8. Starta dataöverföring =====

När datapunkter, metadata och eventuell provisionering är klara kan dataöverföringen startas.

Kontrollera vid start att:

  * jobbet kan startas utan fel
  * data hämtas från källsystemet
  * data skickas till rätt mottagare
  * tidsstämplar och värden ser rimliga ut
  * eventuella kvalitetsstämplar hanteras korrekt
  * loggar inte visar återkommande fel

Vid behov kan jobbet först köras i begränsad omfattning innan hela integrationen aktiveras.

===== 9. Följ upp och förvalta =====

Efter driftsättning bör integrationen följas upp.

Förvaltning kan omfatta:

  * kontroll av datakvalitet
  * uppdatering av metadata
  * tillägg eller borttag av datapunkter
  * hantering av ändrade punktbeteckningar
  * uppdatering av jobbkonfiguration
  * dokumentation av förändringar
  * ny provisionering vid behov

Onboarding är därför inte bara ett engångsarbete, utan en del av den löpande informationsförvaltningen.

===== Arbetsunderlag =====

I större onboardingprojekt är det ofta praktiskt att arbeta med exporterade listor och kalkylblad.

Ett arbetsunderlag kan exempelvis innehålla:

^ Kolumn/område ^ Beskrivning ^
| Ursprunglig datapunkt | Datapunktens namn, ID eller beteckning i källsystemet. |
| Beskrivning | Text eller attribut från källsystemet. |
| Onboardingstatus | Anger om datapunkten ska onboardas eller behöver kontrolleras. |
| System | Vilket tekniskt system datapunkten tillhör. |
| Utrustning eller komponent | Vilken utrustning datapunkten hör till. |
| Funktion | Vad datapunkten representerar. |
| Enhet | Mätenhet eller datatyp. |
| Placering | Rum, zon, byggnad eller annan placering. |
| Läs-/skrivbarhet | Anger om datapunkten kan läsas eller skrivas. |
| Visningsnamn | Namn som ska användas i mottagande system. |
| Kommentar | Noteringar, osäkerheter eller avvikelser. |

Vilka kolumner som används beror på projektets metadataupplägg och mottagande system.

===== Roller och ansvar =====

Onboarding kan involvera flera roller.

^ Roll ^ Ansvar ^
| Integratör | Konfigurerar anslutningar, jobb och dataflöden. |
| Teknisk specialist | Tolkar system, punktbeteckningar och funktioner. |
| Metadataansvarig | Säkerställer att datapunkter klassificeras enligt valt metadataupplägg. |
| Kund eller förvaltare | Prioriterar datapunkter och godkänner urval. |
| QA-ansvarig | Kontrollerar att underlaget är komplett och korrekt innan driftsättning. |

I mindre projekt kan samma person ha flera av dessa roller.

===== Resultat av onboarding =====

När onboardingprocessen är klar bör följande vara uppfyllt:

  * relevanta datapunkter är identifierade
  * datapunkterna har nödvändig metadata
  * läs-/skrivbarhet är kontrollerad
  * eventuella avvikelser är dokumenterade
  * mottagande system är förberett, om provisionering behövs
  * dataöverföringen kan startas och följas upp
  * integrationen är dokumenterad och möjlig att förvalta

===== Relaterade sidor =====

  * [[miner:integrationer|Integrationer]]
  * [[miner:integrationer:systemintegration|Systemintegration]]
  * [[miner:integrationer:metadata|Metadata]]
  * [[miner:integrationer:provisionering|Provisionering]]
  * [[miner:admin:qa|QA]]
  * [[miner:anvandning:kommaigang|Komma igång]]
  * [[integration:start|Dokumenterade integrationsprofiler]]