FAQ dataplatform en ODBC

Ik maak nu gebruik van trigger bestanden, hoe kan ik nu met delta’s omgaan?

In Snowflake komt de data beschikbaar in views, deze views zijn voorzien van de upload datum/tijd van elk record. Daarmee kun je delta’s selecteren.

Kunnen kantoren ook zelf views aanmaken?

Het dataplatform wordt beschikbaar gesteld door ANVA. Daarom is het niet mogelijk om zelf views te maken.

Hoe ziet het bestand eruit?

We hebben een voorbeeld van een bestand in Excel.

Kan ik meerdere queries tegelijk laten draaien?

Het is mogelijk om meerdere queries tegelijk te laten draaien. Als gebruik wordt gemaakt van sql-api kan een request standaard maar 1 sql statement bevatten, als er meer statements in een request worden gebruikt moet dat expliciet in de API call aangegeven worden.

Hoe kan ik de beste performance houden bij het draaien van queries op het dataplatform?

Wij raden af om bij selecties te werken met “select * ”. En wel om twee redenen. Ten eerste is dit nadelig voor de performance. En ten tweede zal deze constructie betekenen dat als wij een aanpassing in de tabel doen de verwerking van de query fouten gaat opleveren. En select met specifieke kolommen, alleen de kolommen die nodig zijn, zal blijven werken en sneller zijn.

Hoe kan ik queries maken en uitvoeren op Snowflake?

Snowflake gebruikt standaard SQL aangevuld met snowflake eigen functies. Snowflake werkt bij voorkeur met hoofdletters, dus tabel namen, kolomnamen die niet die niet in hoofdletters staan moeten worden voorzien van dubbele quotes.

Sommige queries (nog te definieren) kunnen langer duren

De performance wordt sterk beinvloed door de data die opgevraagd wordt. Wij adviseren om enkel de data (kolommen) op te vragen die daadwerkelijk nodig zijn in de verdere verwerking. Alle data die extra mee komt is nadelig voor de performance.

Ik maak gebruik van grote queries

Snowflake is in staat om grote queries snel te verwerken, de data wordt vervolgens gepersisteerd zodat de vragende applicatie (bijv. SQL-SERVER) deze data kan inlezen. Echter deze data blijft uit security overweging een beperkte tijd beschikbaar. Deze tijd is door Snowflake ingesteld op 6 uur en is niet aan te passen.

De data van de query moet binnen 6 uur ingelezen worden, na deze 6 uur zal een authenticatie error optreden.

Je moet iets in je registry aanpassen, hoe, wat?

Na installatie van de ODBC-connector dienen de credentials in het register te worden toegevoegd. De interface voor het configureren van de ODBC-connector voorziet niet in het toevoegen van de keypair gegevens.

Ik maak nu gebruik van de 32-bits versie van de ODBC-connector

Voor de 32-bits Veryant ODBC-koppeling zijn in het verleden aparte EFDs aangemaakt voor enkele tabellen waar de recordlengte groter was dan de ondersteunde lengte.

Het gaat om de tabellen NAWBES, NAWHIS, POLBES en POLHIS. Hiervoor zijn per tabel vier aparte EFDs gemaakt (bijv. NAWBES_DEEL1 t/m NAWBES_DEEL4),

In Snowflake zijn deze tabellen in de volledige lengte te gebruiken. De DEEL tabellen vind je dus niet terug in Snowflake.

Wat betekent het dat het variabele deel dat is uitgesplitst?

Uit ANVA komen alle labels in 1 lange string. We hebben de variabele delen uitgesplitst en beschikbaar gemaakt in aparte views. Hierdoor is het makkelijker in jouw systemen in te lezen.

In deze views worden de labels uit de vardeel-kolom op een bruikbare manier getoond. Deze views hebben de naam van de tabel met als toevoeging VARDEEL, dus NAWBESVARDEEL of POLBESVARDEEL.

Wat betekenen datumveld aanpassingen?

De ruwe data uit ANVA bevat een aantal onjuistheden. Zo bevat het soms onjuiste data-eenheden, zoals 31 Februari. Dit hebben we aangepast naar juiste data. Ook hebben we bijvoorbeeld datumvelden echt datumvelden gemaakt.

Wat betekenen prefixes?

Een prefix is toegevoegd aan de kolomnamen om snel te zien uit welke tabel deze komt. Bijvoorbeeld, het prefix “AGB_” is toegevoegd aan de kolommen uit de tabel AGBES. Dan krijg je bijvoorbeeld AGB_AGENTNR in plaats van AGENTNR.

Hoe komt mijn data in het dataplatform?

Om de ANVA-data uit jouw systeem naar het dataplatform te brengen gebruiken wij de tool ANVA-extract. Met ANVA extract wordt de data gedumpt in CSV-bestanden die vervolgens via een veilige verbinding worden overgezet naar onze AWS-omgeving. De CSV-bestanden worden na het overzetten weer verwijderd van jouw systeem zodat de ruimte weer vrij komt.

Hoe kan ik zien welke data erbij is gekomen in het dataplatform?

Alle data is voorzien van timestamps, hierdoor kun je zien wanneer de data aan het dataplatform is toegevoegd. Deze zijn te vinden in de tabel meta_load_times.

Is het var deel gelabeld?

Vaste velden zijn wel gelabeld. Dus nummers zijn nummers, bedragen zijn bedragen etc.

Waar kan ik mij inschrijven als er updates gedaan moeten worden door Snowflake ODBC-connector?

Je kunt je inschrijven bij Snowflake om op de hoogte te blijven omtrent updates van jouw Snowflake ODBC-connector.
Ga hiervoor naar: https://docs.snowflake.com/en/release-notes.html

Timestamp voor wijzigingen/delta’s inzichtelijk te maken. Hoe kun je hier een view op maken?

De beschikbare views hebben de actuele stand van de data. Er is een timestamp aanwezig in de ODBC-views om wijzigingen of nieuwe records te identificeren. De timestamp representeert de datumtijd dat de data in het dataplatform is geladen en niet wanneer de mutatie in ANVA is gedaan.

Kan ik in de variabele tabellen naast de omschrijving van de tabellen ook de code zien?

In het ODBC schema in het dataplatform hebben we een uitbreiding gedaan in de variabele tabellen. In deze tabellen is tevens LABEL_DISPLAY_WIJZE_CODE aanwezig naast de omschrijving. Dit scheelt enorm in de opslag en je kunt op basis van de code je eigen vertaling in je omgeving maken.