In Snowflake komt de data beschikbaar in views, deze views zijn voorzien van de upload datum/tijd van elk record. Daarmee kunt u delta’s selecteren.
Het ANVA Datawarehouse wordt beschikbaar gesteld door ANVA. Daarom is het niet mogelijk om zelf views te maken.
We hebben een voorbeeld van een bestand in Excel.
Het is mogelijk om meerdere queries tegelijk te laten draaien. Als gebruik wordt gemaakt van sql-api kan een request standaard maar 1 sql statement bevatten, als er meer statements in een request worden gebruikt moet dat expliciet in de API call aangegeven worden.
Wij raden af om bij selecties te werken met “select * ”. En wel om twee redenen. Ten eerste is dit nadelig voor de performance. En ten tweede zal deze constructie betekenen dat als wij een aanpassing in de tabel doen de verwerking van de query fouten gaat opleveren. En select met specifieke kolommen, alleen de kolommen die nodig zijn, zal blijven werken en sneller zijn.
Snowflake gebruikt standaard SQL aangevuld met snowflake eigen functies. Snowflake werkt bij voorkeur met hoofdletters, dus tabel namen, kolomnamen die niet die niet in hoofdletters staan moeten worden voorzien van dubbele quotes.
De performance wordt sterk beinvloed door de data die opgevraagd wordt. Wij adviseren om enkel de data (kolommen ) op te vragen die daadwerkelijk nodig zijn in de verdere verwerking. Alle data die extra mee komt is nadelig voor de performance.
Na installatie van de ODBC driver dienen de credentials in het register te worden toegevoegd. De interface voor het configureren van de ODBC driver voorziet niet in het toevoegen van de keypair gegevens.
Uit ANVA komen alle labels in 1 lange string. We hebben de variabele delen uitgesplitst en beschikbaar gemaakt in aparte views. Hierdoor is het makkelijker in jouw systemen in te lezen.
De ruwe data uit ANVA bevat een aantal onjuistheden. Zo bevat het soms onjuiste data-eenheden, zoals 31 Februari. Dit hebben we aangepast naar juiste data. Ook hebben we bijvoorbeeld datumvelden echt datumvelden gemaakt.
Een prefix is toegevoegd aan de kolomnamen om snel te zien uit welke tabel deze komt. Bijvoorbeeld, het prefix “AGB_” is toegevoegd aan de kolommen uit de tabel AGBES. Dan krijg je bijvoorbeeld AGB_AGENTNR in plaats van AGENTNR.
Alle data is voorzien van timestamps, hierdoor kun je zien wanneer de data aan het ANVA Datawarehouse is toegevoegd.
Vaste velden zijn wel gelabeld. Dus nummers zijn nummers, bedragen zijn bedragen etc.
Je kunt je inschrijven bij Snowflake om op de hoogte te blijven omtrent updates van jouw Snowflake ODBC connector.
Ga hiervoor naar: https://docs.snowflake.com/en/release-notes.html
De beschikbare views hebben de actuele stand van de data. Er is een timestamp aanwezig in de ODBC-views om wijzigingen of nieuwe records te identificeren. De timestamp representeert de datumtijd dat de data in het DWH is geladen en niet wanneer de mutatie in ANVA is gedaan.
In het ODBC schema in het ANVA Datawarehouse hebben we een uitbreiding gedaan in de variabele tabellen. In deze tabellen is tevens LABEL_DISPLAY_WIJZE_CODE aanwezig naast de omschrijving. Dit scheelt enorm in de opslag en je kunt op basis van de code je eigen vertaling in je omgeving maken.