Oversikt over databehandlingsressurser ved Universitetet i Oslo

UiO tilbyr en rekke databehandlingsressurser til bruk i forskningsprosjekter. Her er en oversikt over ressursene vi har og en kort veiledning til å velge den som passer ditt formål og dine behov.

Bildet kan inneholde: skrift, sirkel, automatisk del, diagram.

Hva er behovene dine?

Du kommer til å se at denne artikkelen referer til tall – for eksempel VDI (3) eller Jupyter (4). Disse peker på hvilken plass den gitte ressursen har i listen over databehandlingsressurser, under den forklarende teksten, som er nummerert 1-11.

Til å begynne med kan du bruke Jupyter (4) og VDI (3), som er gode på utvikling og prototyping. For å senere skalere opp kan du anvende 7, 9 og 11. Dersom du behøver maksimal kraft eller fleksibilitet kan du bruke tjenestene fra UNINETT Sigma2, som drifter den nasjonale e-infrastrukturen for beregningsvitenskap i Norge, for datalagring og beregning (se søknad om e-infrastrakturressurser og søknad om bruker i Notur for 10 og 11).

Dersom du behøver enkle applikasjoner med grafisk brukergrensesnitt kan 3 (VDI) være best.

Dersom du bruker din egen datamaskin (1, 2) er det helt greit for å begynne med databehandling, men etter hvert som du får behov for å skalere opp kommer det til å bli mye kopiering fram og tilbake.

Oppsummeringsliste av Remote data workflows

  • Datasikkerhet: 3, 5, 6, 7, 10 & 11
  • Prototyping, testing, interaktivt arbeid og mobilitet: 1, 2, 3, 4, 5, 6 & 8.
  • Deler UiO-data (e.g. HOME-foldere): 2, 3 & 6.
  • Enkel oppskalering, deler programmer, data o.l.: 5, 9 & 11.
  • Maksimalt tilgjengelige ressurser: 11 (fulgt av de middels store 9 & 10).
  • Maksimalt tilgjengelige GPU-ressurser: 7, 9 og til en viss grad 11.

Dersom ikke annet er spesifisert vil du ikke ha adgang til din UiO-data (UiO Home og astra).

Obs! Dersom du behandler sensitive data må du bruke dedikerte tjenester for sensitiv data.

  1. Egen datamaskin
    • Jobb hvor enn du skulle ønske. Krever ikke internettforbindelse. Du har kontroll.
    • Utmerket for prototyping
    • Ikke bra for personlig eller konfidensiell data. Kan ha utilstrekkelig med beregnings- og databehandlingsressurser. Adgang til store mengder data lagret i UiOs databanker kan være problematisk da du kommer til å måtte kopiere mye fram og tilbake. Programvare må du ordne selv.
  2. UiO-laptop
    • Samme som over, pluss programvare gjort tilgjengelig av UiO. Verktøyene installert på maskinen din er vanligvis avhengig av hvilket institutt eller hvilken avdeling du er del av, fortrinnsvis for noen betalte programvarer.
    • Tilgang til UiO-hjemmeområdet og ASTRA.
    • Vanligvis ikke tillatt å installere alt mulig av programvare på egenhånd. Se hvordan du kan installe programvare via Softwar Center.
  3. UiO Programkiosk
    • Beregning og databehandling skjer på serveren, ikke lokalt. Datatilgang skjer også på serveren, og er dermed sikrere.
    • Mange databehandlingspakker tilgjengelig – ofte flere enn du har på egen laptop.
    • Utmerket for prototyping, testing, interaktivt arbeid (som figurer). Sikrere tilgang på data. Tilgang på hjemmeområdet.
    • Databehandlingsressursene tilgjengelig her er relativt begrenset.
  4. UiO Jupyterhub
    • Skybasert – arbeid kan fortsettes fra hvor som helst. Inkluderer kommandolinje via Jupyter Terminal. Lokal data kan kopieres (prosedyre tilgjengelig dersom tjenesten anvendes for undervisning).
    • Jupyter kan fort bli kaotisk dersom du ikke er varsom. Se typiske utfordringer med Jypiter her. Du må planlegge oppskalering med 8 eller 9 etter hvert som kravene dine blir mer kompliserte.
    • Utmerket for prototyping, testing, interaktivt arbeid (som figurer).
    • Stort sett brukt i undervisningsøyemed.
    • Ingen tilgang på din UiO-data.
  5. Lightweight HPC (ssh -X freebio.hpc.uio.no eller ved forespørsel til bioint01.hpc.uio.no)
    • Grafiske programmer.
    • «Jack-of-all-trades» innen grafikk når du blir kjent med shell – mange jobber her.
    • Data går tapt dersom du mister internettforbindelse – krever raskt og stødig nettverk.
    • Mer informasjon om Lightweight HPC
  6. Interaktiv kommandolinjesesjon på UiO-servere (ssh login.uio.no)
    • Tilgang til hjemmeområde og ASTRA.
    • Begrensede ressurser og begrenset tidsaspekt. Må brukes manuelt.
    • Stort sett anvendt for å komme inn på universitetsnettverk og for tilgang på andre UiO-tjenester.
    • Mer informasjon om oppsett av SSH
  7. GPU / Maskinlæringsressurser
    • Fungerer over alt. Dedikert til maskinlæring og deep learning tasks.
    • Må be om tilgang (se https://nettskjema.no/a/210629#/page/1).
    • Prioritert for GPU-intensive oppgaver.
    • Infrastrukturstøtte for kurs i maskinlæring.
    • Flere detaljer finnes på "Ml-nodes"-siden.
  8. Norwegian Research and Education Cloud (NREC)
    • Raske, standardiserte servere og lagringsområder for den norske sektoren for høyere utdanning.
    • Kan få tilgang på en moderne, sikker skyinfrastruktur tilgjengelig der og når du behøver dette.
    • HPC-sky er også tilgjengelig.
    • Mindre prosjekter er tilgjengelig for alle, mens større prosjekter kan etterspørres gjennom dette skjemaet.
    • Du er din egen root-bruker (administrator). Du er på egen hånd, og tjenesten anbefales derfor helst avanserte brukere.
  9. Google Cloud-plattformen
  10. NIRD-plattformen
    • Dataanalysetjenester som AI/ML-algoritmer, JupyterHub og Jupyter Notebook og lignende.
    • Ingen tilgang til UiO-lagring, men tilgang på NIRD-prosjektområder.
    • Behøver søknad om datalagring, som blir evaluert av en ressursallokasjonskomité to ganger i året.
    • Minimum lagring 10 TB.
    • NIRD prosjektledere må be om tilgang til denne tjenesten.
    • Behøver «avansert» kunnskap for å kunne tilpasse tjenesten til dine behov.
  11. Ikke-interaktiv batch HPC-beregning via Sigma2 (ssh + sbatch)

Se også

IT-tjenester for forskning – portal for tilgjengelige IT-tjenester og infrastruktur for UiO-forskere så vel som informasjon, veiledning og kontaktlister.

Credit

Aalto University, Aalto Scientific Computing

Av Anne Fouilloux, Sabry Razick, Naoe Tatara
Publisert 9. sep. 2021 13:05 - Sist endret 9. sep. 2021 13:05