Automatyczny eksport danych archiwalnych

Wiktor Susfał Archiwizacja Danych Tagi: , , , ,
Automatyczny eksport danych z systemu SCADA - główne

Jak w prosty sposób skonfigurować automatyczny eksport danych archiwalnych z systemu SCADA ICONICS w celu integracji z zewnętrznym oprogramowaniem?

Jeśli nie otwierają Ci się pełne rozmiary obrazków, klikaj w nie PPM i wybieraj „Otwórz w nowej karcie”.

Nowe narzędzie – Data Exporter

Po wydaniu nowej wersji oprogramowania SCADA ICONICS (wersja 10.96więcej pod tym linkiem), moduł archiwizacji Hyper Historian uzyskał dodatkowe funkcje. Jedną z nich jest narzędzie Data Exporter służące w celu prowadzenia prostego i automatycznego eksportu danych archiwalnych z tego modułu.

Eksport danych może następować na kilka sposobów. Zewnętrzne kompatybilne narzędzia oraz formaty plików wymieniono niżej.

  • Microsoft SQL Server (w tym Express),
  • Microsoft Azure SQL,
  • Lokalne pliki z rozszerzeniem .CSV,
  • Microsoft Azure Data Lake,
  • Apache Kafka,
  • Apache Hadoop.

W przypadku naszego wpisu, zaprezentujemy krótki tutorial pokazujący współpracę Hyper Historian z lokalnie działającym serwerem SQL.

Należy pamiętać, że Hyper Historian jest dostępny w 3 wersjach, które różnią się zakresem funkcjonalności. Narzędzie Data Exporter wpierają wersje Standard oraz Enterprise tego modułu archiwizacji.

Eksport danych archiwalnych – praca z Data Exporter

Instalacja Data Exporter w bazie danych Hyper Historian

Aby móc korzystać z automatycznego przekazywania danych do zewnętrznych programów, należy najpierw zainstalować narzędzie Data Exporter w bazie HyperHistorian. Ważne jest, aby wybrać aktywną bazę konfiguracyjną Hyper Historian.

W tym celu, w oknie programu Workbench, przechodzimy do lokalizacji pokazanej niżej i wybieramy opcję Configure Database.

Workbench - Konfiguracja Bazy danych Hyper Historian
Workbench – Konfiguracja Bazy danych Hyper Historian

W nowo otworzonym oknie wskazujemy, którą bazę chcemy konfigurować (ma być to aktywna baza danych używana przez Hyper Historian). W kolejnym oknie zaznaczamy, że chcemy zainstalować w tej bazie dodatek Data Exporter.

Konfiguracja bazy Hyper Historian - instalacja Data Exporter
Konfiguracja bazy danych Hyper Historian – instalacja Data Exporter

Klikamy „Install” – i już. Przechodzimy do lokalizacji pokazanej na poniższym zdjęciu w celu upewnienia się, że Data Exporter jest oznaczony jako aktywny (Enabled).

Odblokowanie narzędzia DataExporter
Eksport danych – odblokowanie narzędzia DataExporter

Określenie zbioru eksportowanych zmiennych

Pierwszy krok to rozwinięcie gałęzi Data Exporters pod konfiguracją HyperHistorian w Workbench, w celu ustalenia jakie dane będą przesyłane. W folderze Datasets dodajemy nowy zestaw danych.

Możliwe jest zarówno eksportowanie „surowych” informacji (raw), jak i zdefiniowanie wstępnych obliczeń (aggregates).

Definicja zestawu danych do eksportu
Definicja zestawu danych do eksportu

W tym przypadku wyeksportujemy surowe dane. W kolejnej zakładce definiujemy natomiast, jakie elementy zawierać będzie pojedynczy rekord danych. Domyślnie są to: Point Name (nazwa zmiennej), Status (jakość próbki), Timestamp (data/czas) oraz Value.

Możesz dodać inne kolumny – spośród zdefiniowanych fabrycznie w systemie lub, co więcej, dodać własną kolumnę zawierającą wartość obliczaną według Twojego wzoru.

Na przykład, niżej dodaliśmy kolumnę, która zawiera informację o jednostkach, w jakich prowadzone były pomiary. Jest to wbudowany typ kolumny. Informacje o jednostkach wprowadza się natomiast przy dodawaniu określonej zmiennej archiwalnej w Hyper Historian.

Definicja kolumn w pojedynczym rekordzie
Definicja kolumn w pojedynczym rekordzie

Na koniec musimy natomiast określić, wartości których archiwizowanych zmiennych mają być wyeksportowane na nasz serwer SQL. Służy do tego ostatnia zakładka – „Filters”. W tym przypadku wskażemy dwie wcześniej przygotowane zmienne.

Dodanie listy ekportowanych zmiennych
Dodanie listy eksportowanych zmiennych

Istnieje możliwość stosowania różnych filtrów dla eksportowanych danych. Co więcej, filtry te można parametryzować. Dzięki temu, raz zdefiniowany zestaw danych można wykorzystać wielokrotnie, w wielu aplikacjach. Aby uzyskać więcej informacji, skontaktuj się z nami pod adresem e-mail podanym na końcu wpisu.

Wskazanie miejsca eksportu

Teraz, przechodzimy do folderu Storage pod konfiguracją Data Exporters, w celu zdefiniowania, dokąd mają trafić dane. Dodajemy nowy obiekt „Data Storage” w tym folderze.

Nadajemy mu nazwę oraz z pośród wielu opcji eksportu (wymienionych na początku wpisu) wybieramy SQL/Azure SQL.

Za pomocą opcji Configure Connection ustanawiamy połączenie z bazą danych – poprzez wskazanie serwera SQL oraz podanie poświadczeń. Baza danych może być pusta – Data Exporter utworzy wtedy samodzielnie potrzebne tabele.

Wskazanie lokalizacji do eksportu danych - bazy danych na serwerze SQL
Wskazanie lokalizacji do eksportu danych – bazy danych na serwerze SQL

Automatyzacja eksportu danych

Automatyczny eksport ustawia się poprzez dodanie nowego obiektu Synchronization Task do folderu Tasks. Ustalamy jego nazwę, zaznaczamy, że jest on aktywny oraz, co ważne – wybieramy lokalizację do eksportu (nasz Data Storage) i ustawiamy odpowiedni trigger, który zautomatyzuje nam cały proces.

W naszym przypadku wybraliśmy wcześniej dodany trigger, który wyzwala się co 5 minut. W systemie SCADA ICONICS istnieje wiele rodzajów trigger’ów.

Definicja nowego zadania eksportu
Definicja nowego zadania eksportu

Dodatkowo, istnieje możliwość zarządzania strukturą przechowywanych danych w naszej docelowej lokalizacji. Na przykład, wprowadzając ustawienia jak niżej (w sekcji Data Storage Schedule, w tej samej lokalizacji), możemy spowodować, że system utworzy nową tabelę dla danych w bazie SQL co 10 minut. Możemy również wyłączyć tę opcję i przechowywać wszystkie dane w jednej tabeli.

Zarządzanie strukturą danych w docelowej lokalizacji
Zarządzanie strukturą danych w docelowej lokalizacji

Ostatni już krok polega na przejściu do zakładki Datasets w celu określenia, które zestawy danych podlegają pod to konkretne zadanie eksportu. My wybieramy oczywiście nasz zestaw utworzony wyżej.

Określenie zestawów danych do eksportu z systemu SCADA
Określenie zestawów danych do eksportu z systemu SCADA

Dodatkowo, jeśli podczas definiowania zestawów danych użyliśmy parametrów (aliasów), możemy określić ich wartości w sekcji Aliases widocznej na powyższym zdjęciu. Aby dowiedzieć się więcej, skontaktuj się z nami pod adresem e-mail podanym na końcu wpisu.

Podsumowanie

W tym miejscu kończy się ten krótki poradnik utworzony w celu objaśnienia podstaw obsługi narzędzia Data Exporter. Teraz, po uruchomieniu usługi Hyper Historian, możemy odczekać odpowiednią ilość czasu (u nas: 5 minut) i zaobserwować efekty eksportu w bazie SQL.

Dane z Hyper Historian w SQL
Dane z Hyper Historian w SQL

Oczywiście, dowiedziałeś się tutaj zupełnych podstaw na temat nowej funkcjonalności Hyper Historian w systemie SCADA ICONICS. Nie wspomnieliśmy natomiast o bardziej zaawansowanych aspektach, jak na przykład używanie filtrów dla zestawów danych (wraz z parametrami). Dzięki nim możesz utworzyć jedną definicję zakresu danych do eksportu i dostosowywać ją na bieżąco dla konkretnego zadania – określając tylko wartości użytych parametrów.

Aby dowiedzieć się więcej, napisz do nas na adres e-mail: iconics@elmark.com.pl .

Co więcej, ICONICS pozwala na darmowe pobranie wersji DEMO oprogramowania SCADA – po wypełnieniu krótkiego formularza na ich stronie.