Konstrukcja prototypu archiwum długoterminowego w projekcie CLARIN - PowerPoint Presentation

Slide1

Konstrukcja prototypu archiwum długoterminowego w projekcie CLARINSlide2

Czas przechowania zasobów

Administracyjne

od

3 lat

do

bezterminowo

Medyczne

do 50 lat

Kultura i nauka

bezterminowoSlide3

Wymagania konstrukcyjne archiwów elektronicznych

Konstrukcja

długoterminowa

Fizyka

i technologie materiałowe

Elektronika

Struktura informatyczna

i programowanie

SkalowalnośćRozległość i rozproszenie

Autentyczność zasobów i ich ochronaOdporność na proces „Technology flow”

Dostępność długoterminowegoserwisuSlide4

Gdzie można zapoznać się z teoretycznymi aspektami prezentowanej konstrukcji?Slide5

http://www.nina.gov.pl/baza-wiedzy/d%C5%82ugoterminowa-archiwizacja-danych-cyfrowych

/Slide6

Podstawowe cechy proponowanego systemu

Wymienione postulaty spełnione są w archiwum o następujących cechach:Dane dostępne są na zamówienie, ale nie

on-lineArchiwum głębokieDane przechowywane są w „inteligentnych” zasobnikach

Archiwum ma budowę strukturalną i sieciowąArchiwum realizuje swoje funkcje poprzez wyspecjalizowane podsystemy

DODATKOWO:

Efektywność

energetycznaSlide7

Konstrukcja zasobnika

Kontroler

Bufor

HPS

Zasilacz

Elementy sterujące i bufor

Węzły danych

(

max. 30)

…Slide8

Budowa węzła danych

Inteligentny

zasilacz

10 dysków

twardychSlide9

Zasobnik - cechy

Lokalna regeneracja zapisu

regeneracja

migracja

Redundancja danych

lokalna

holistyczna

Optymalizacja zasilania

aktywność tylko gdy potrzebaRozwiązanie problemu trwałości zapisu danych

Rozwiązanie problemu migracji danychRozwiązanie problemu efektywności energetycznejSlide10

od 0,3 do 3,2 PB

1m

2

2 m

Rozmiary zasobnikaSlide11

Parametry zasobnika

Objętość

1m

2

x 2m = 2m

3

Masa

ok. 200 kg

Roboczy p

obór

mocy

400 W

Liczba dysków twardych

300

Całkowita

p

ojemność

Dyski 2 TB

0,6 PB

Dyski 4 TB

1,2

PB

Dyski 10 TB

3,0 PBSlide12

Prototyp ARCHI – CLARIN

Gotowy do praktycznego użyciaSlide13

Struktura archiwum

Serwer Kolejki Zleceń

Z1

Z2

Z3

Z4

Bufor

Bufor

Bufor

Bufor

…

Jedno archiwum lokalne obsługuje do 10 000 zasobników

Zasobniki mogą być dołączane w trakcie pracy archiwum Slide14

Praca z archiwum

Serwer Kolejki Zleceń

Z1

Z2

Z3

Z4

Bufor

Bufor

Bufor

Bufor

…

Archiwum udostępnia zasoby

na zamówienie

Komunikacja z zasobnikami

zawsze

przechodzi przez bufor

2. Realizacja

1. ZamówienieSlide15

Korzyści

Archiwum jest bardzo energooszczędne:

elementy zasobnika są zasilane stosownie do zamówień

Całkowita izolacja przechowywanych danych

od sieci publicznej

Wewnętrzna regeneracja stanu zapisu

Brak potrzeby migracji danych przy awarii sprzętu

Prosta rozbudowa archiwum

Mechanizm robotów programowych umożliwiawewnętrzne przetwarzanie danychSlide16

Archiwum rozproszone

ARCHI 1

Witryna dostępowa

ARCHI 2

Witryna dostępowa

ARCHI 3

Witryna dostępowa

Klient loguje się

do dowolnego węzła sieci

Przekierowanie do archiwum

z danymi klienta

Przekierowanie do archiwum

z potrzebnym plikiem

4. Transfer

Wszystkie ARCHI 1,2,3,… działają pod nadzorem jednolitego,

rozproszonego systemu operacyjnegoSlide17

Redundancja

ARCHI 4

ARCHI 2

Zapisywane zasoby są

automatycznie

p

rzesyłane do lokalizacji redundantnych

ARCHI 3

ARCHI 1

ARCHI 5

ARCHI R1

ARCHI R2

Nowy zasóbSlide18

Czym aktualnie dysponujemy

Archiwum

zasobów cyfrowych

Projekt

całego systemu

ARCHI

Prototyp

zasobnika

„Know how”

już częściowoopatentowane(USA, EU, PL)Elementy organizacji produkcyjnej R&D wdrożeniowej

Cel wykorzystania archiwa medyczne archiwa audiowizualnePerspektywa rozwojusystemu i wykorzystaniatechnologii w innych

zastosowaniachSlide19

Co uzyskujemy przez stosowanie naszej konstrukcji (1)

redukcja kosztów okresowego i

koniecznego serwisu danych d

zięki

r

egeneracji

stanu zapisu

Inwestycja

3-5 lat

Inwestycja + migracja

Inwestycja

45 lat

Inwestycja+

migracja

Konstrukcja niededykowana

(adaptowana z innych rozwiązań technicznych np. ‘backup taśmowy’)

Nasza konstrukcja dedykowana dla elektronicznego archiwumSlide20

Co uzyskujemy przez stosowanie naszej konstrukcji (2)

Zastosowanie

mechanizmu sterowania zasilaniem

Zapis danych

Zasilanie potrzebne tylko dla określonych procesów

Odczyt danych

Automatyczny serwisSlide21

Co uzyskujemy przez stosowanie naszej konstrukcji (3)

Z

astosowanie

technologii „Industrial Standard”

(dla kluczowych elementów zasobnika ARCHI)

Brak kosztów związanych z budową i eksploatacją tzw. serwerowniSlide22

Porównanie kosztów przechowywania 1 PB na 45 lat

Pamięć

taśmowa

Macierz dyskowa

heavy-

duty

(

low-end)

ARCHIKoszt zakupu

$407,000

$

1,620,000

($250,000)

$150,000

Koszty

operacyjne

$1,850,500

$

5,161,644

$1,500

Koszty zasilania i chłodzenia

$191,700

$1,605,096

$800

SUMA

$2,449,200

$8,386,740

(7,016,740)

$152,300

searchdatabackup.techtarget.com

+ Oracle + własne

Petabajt (1 PB) = 2

15

bajtówSlide23

Podsumowanie - perspektywy

Dane mogą być przetwarzane lokalnie

, a nie w dużym systemie centralnym

Jednolitość systemu rozproszonego terytorialnie

Dostęp do danych rozproszonych geograficznie

Dyslokacja zwiększa bezpieczeństwo danych

Zlecone statystyki i analizy są przeprowadzane

równolegle

w wielu lokalizacjach. Obszar analizy może być zawężony do wybranych regionówSwobodna rozbudowa systemu na poziomie ogólnopolskimSlide24

Dziękuję

za uwagę

!Slide25

Wymogi prawne

USTAWA z dnia 14 lipca 1983 r. o narodowym zasobie archiwalnym i archiwach

Rozdział 1Przepisy ogólne

Art. 1. Materiałami archiwalnymi wchodzącymi do narodowego zasobu archiwalnego, zwanymi dalej „materiałami archiwalnymi

”, są wszelkiego rodzaju akta i dokumenty, korespondencja, dokumentacja finansowa,

techniczna i

statystyczna, mapy i plany, fotografie, filmy i mikrofilmy, nagrania dźwiękowe i

wideofonowe

, dokumenty elektroniczne w rozumieniu przepisów ustawy z dnia 17 lutego 2005 r. o informatyzacji działalności podmiotów realizujących zadania publiczne (Dz. U. z 2014 r. poz. 1114) oraz inna dokumentacja, bez względu na sposób jej wytworzenia, mająca znaczenie jako źródło informacji o wartości historycznej o działalności Państwa Polskiego, jego poszczególnych organów i innych państwowych jednostek organizacyjnych oraz o jego stosunkach z innymi państwami, o rozwoju życia społecznego i gospodarczego, o działalności organizacji

o charakterze politycznym, społecznym i gospodarczym, zawodowym i wyznaniowym, o organizacji i rozwoju nauki, kultury i sztuki, a także o działalności jednostek samorządu terytorialnego i innych samorządowych jednostek organizacyjnych – powstała w przeszłości i powstająca współcześnie. (Dz.U.2015.1446 t.j.)Slide26

Ustawa o prawach pacjenta i Rzeczniku Praw Pacjenta

Art. 29. 1. Podmiot udzielający świadczeń zdrowotnych przechowuje dokumentację medyczną przez okres 20 lat, licząc od końca roku kalendarzowego, w którym dokonano ostatniego wpisu, z wyjątkiem:

1) dokumentacji medycznej w przypadku zgonu pacjenta na skutek uszkodzenia ciała lub zatrucia, która jest przechowywana przez okres 30 lat

, licząc od końca roku kalendarzowego, w którym nastąpił zgon;2) zdjęć rentgenowskich przechowywanych poza dokumentacją medyczną pacjenta, które są przechowywane przez

okres 10 lat

, licząc od końca roku kalendarzowego, w którym wykonano zdjęcie;

3) skierowań na badania lub zleceń lekarza, które są przechowywane przez

okres 5 lat

, licząc od końca roku kalendarzowego, w którym udzielono świadczenia będącego przedmiotem skierowania lub zlecenia;4) dokumentacji medycznej dotyczącej dzieci do ukończenia 2. roku życia, która jest przechowywana przez okres 22 lat.2. Po upływie okresów wymienionych w ust. 1 podmiot udzielający świadczeń zdrowotnych niszczy dokumentację medyczną w sposób uniemożliwiający identyfikację pacjenta, którego dotyczyła.3. Po upływie okresów, o których mowa w ust. 1, do postępowania z dokumentacją medyczną będącą materiałem archiwalnym w rozumieniu przepisów ustawy z dnia 14 lipca 1983 r. o narodowym zasobie archiwalnym i archiwach (Dz. U. z 2011 r. Nr 123, poz. 698 i Nr 171 poz. 1016), stosuje się przepisy wydane na podstawie art. 5 ust. 2 i 2b tej ustawy.Slide27

Ustawa o prawach pacjenta i Rzeczniku Praw Pacjenta

Art. 5 ust. 2b. Minister właściwy do spraw informatyzacji,

po zasięgnięciu opinii Naczelnego Dyrektora Archiwów Państwowych, określi, w drodze rozporządzenia, szczegółowy sposób postępowania z dokumentami elektronicznymi

w podmiotach, o których mowa w ust. 1, w szczególności zasady ewidencjonowania, klasyfikowania i kwalifikowania dokumentów elektronicznych oraz zasady

i

tryb ich brakowania, uwzględniając potrzebę zapewnienia

integralności

dokumentów elektronicznych i

długotrwałego ich przechowywania.Slide28

Dokument elektroniczny w ochronie zdrowia

Tworzenie dokumentów:Gabinety lekarskie, kliniki, szpitale i inne przedsiębiorstwa (niezależnie od tego, kto jest ich właścicielem czy podmiotem tworzącym).

Przechowywanie tymczasowe:Przedsiębiorstwa podmiotów leczniczych przechowują dokumentację w miejscu wytworzenia lub - w wyniku umowy o outsourcingu - przekazują zadanie przechowywania dokumentacji medycznej wyspecjalizowanym podmiotom, posiadającym warunki techniczne umożliwiające wieloletnie przechowywanie dokumentów. Wiąże się to z opłatami za przechowywanie i zabezpieczenie powierzonych zasobów.

Długoletnie przechowywanie dokumentów elektronicznych (archiwa):

Brak!Slide29

System informacji w ochronie zdrowia

System obejmuje funkcjonalnie rejestry centralne oraz zasoby lokalne; widoczne są powiązania i współpraca między elementami systemu. Wszystko to są jednak zasoby oparte o relacyjne bazy danych. Brakuje elektronicznych archiwów wieloletnich. Tymczasem muszą one istnieć z uwagi na konieczność przechowywania dokumentów elektronicznych w okresie kilkudziesięciu lat!

Schemat dostępny jest na stronie http://csioz.gov.pl/