Linux.fi - Käyttäjän muokkaukset [fi]

Käyttäjä:Kimmo

2026-02-20T19:37:40Z

Kimmo:

-72 syntynyt yrittäjä, insinööriopiskelija ja Debian-fani vuosituhannen alusta saakka.

'''4.11.2023
Edit:'''

Edelleen insinööriopiskelija, mutta 30 vuoden jälkeen entinen yrittäjä, nykyisin projektipäällikkö ja 20 vuoden käytön/fanituksen jälkeen mm. [https://papers.freebsd.org/2018/bsdcan/rice-The_Tragedy_of_systemd.files/rice-The_Tragedy_of_systemd.pdf systemd]:n vuoksi siirtymässä pois alkuperäisestä Debianista, vaikka jakelu onkin kokonaisuudessa loistava.

Työasemana toimii [https://support.apple.com/kb/sp688?locale=fi_FI iMac], josta MacOSX on vaihdettu [https://mxlinux.org/ MX Linuxiin](Debian-pohjainen ilman systemd:tä). Pääservut on [https://support.hp.com/us-en/document/c03270936 HP Z620] ja [https://support.hp.com/id-en/document/c03277050 HP Z420] ja niissä perustana [https://alpinelinux.org/ Alpine Linux], molemmissa [https://www.linux-kvm.org/ KVM virtualisointiympäristö] ja virtuaalikoneissa pyörii kaikkea peruslinuxjuttujen lisäksi [https://genode.org/ Genodesta] [https://fi.wikipedia.org/wiki/Berkeley_Software_Distribution BSD-jakelujen] kautta aina [https://sysguides.com/install-a-windows-11-virtual-machine-on-kvm/ Windows 11] ja [https://github.com/kholia/OSX-KVM MacOsX Venturaan] saakka. Palomuureina ja reitittiminä toimii [https://support.hp.com/hk-en/document/c04356040 HP 520 thin clienteissä] [https://opnsense.org/ OpnSense] ja [https://openwrt.org/ OPENwrt] kahdennettuna.

Lisäksi löytyy kaikennumeroisia Raspeja ja muuta sälää. Käyttöjärjestelmäpuolella tällä hetkellä eniten kiinnostaa [https://opennebula.io/ OpenNebula] [https://www.netbsd.org/ NetBSD], [https://en.wikipedia.org/wiki/Rump_kernel rumpkernelit] ja [https://sel4.systems/ se4L].

Pelkkä harrastelija kuitenkin tässä vain ollaan. Ja pitkästä aikaa yritän myös tänne kirjoittaa jotain tai edes päivittää vanhaa tietoa.

Discord -palvelin: [https://discord.gg/dkmE8dDvCY Linux, BSD ja Posix]

'''27.4.2024
Edit:'''

MXLinuxista ja Alpine Linuxista luovuttu ja palattu Debian 11 ja 12 käyttöjärjestelmiin. Muuten sama.

'''1.5.2024
Edit:'''

Yli viiskymmppinen ukko, joka ei enää haihattele it-alan firmasta tai työllistymisestä it-alalle, joten jakaa pikkuhiljaa täällä kaiken tiedon mitä on vuosien saatossa it-järjestelmistä kertynyt. Jos vaikka niistä tiedoista joku nuorempi voisi vaikka hyötyä.

'''20.2.2026
Edit:'''

Servereissä pyörii edelleen Debian Stable, eli tällä hetkellä Trixie. Työasemassa ja läppärissä vaihdoin joku aika sitten Debianin CachyOs:iin, eikä kyllä kaduta, ainakaan vielä. Muuten sama kuin ennenkin.

'''Linux-aloittelijoille:''' Palvelinkokoonpanon rakentaminen voi koukuttaa pahoin.
Siitä huolimatta se on erittäin palkitseva kokemus, ja muutaman kuukauden kuluttua huomaat, ettet koskaan katso taaksepäin.
Varmista, että sinulla on aikaa sukeltaa sisään ja ymmärtää, mistä on kyse.
Linux on yksi maailman parhaiten dokumentoiduista käyttöjärjestelmistä!
Hyödynnä sitä tarjolla olevaa tietoa.

[http://linux.fi/wiki/Toiminnot:Muokkaukset/Kimmo Muokkaukseni linux.fi:ssä]

[https://github.com/kipester Github reponi, lähinnä forkkauksia muiden repoista]

Käyttäjä:Kimmo

2026-02-20T19:36:50Z

Kimmo:

-72 syntynyt yrittäjä, insinööriopiskelija ja Debian-fani vuosituhannen alusta saakka.

'''4.11.2023
Edit:'''

Edelleen insinööriopiskelija, mutta 30 vuoden jälkeen entinen yrittäjä, nykyisin projektipäällikkö ja 20 vuoden käytön/fanituksen jälkeen mm. [https://papers.freebsd.org/2018/bsdcan/rice-The_Tragedy_of_systemd.files/rice-The_Tragedy_of_systemd.pdf systemd]:n vuoksi siirtymässä pois alkuperäisestä Debianista, vaikka jakelu onkin kokonaisuudessa loistava.

Työasemana toimii [https://support.apple.com/kb/sp688?locale=fi_FI iMac], josta MacOSX on vaihdettu [https://mxlinux.org/ MX Linuxiin](Debian-pohjainen ilman systemd:tä). Pääservut on [https://support.hp.com/us-en/document/c03270936 HP Z620] ja [https://support.hp.com/id-en/document/c03277050 HP Z420] ja niissä perustana [https://alpinelinux.org/ Alpine Linux], molemmissa [https://www.linux-kvm.org/ KVM virtualisointiympäristö] ja virtuaalikoneissa pyörii kaikkea peruslinuxjuttujen lisäksi [https://genode.org/ Genodesta] [https://fi.wikipedia.org/wiki/Berkeley_Software_Distribution BSD-jakelujen] kautta aina [https://sysguides.com/install-a-windows-11-virtual-machine-on-kvm/ Windows 11] ja [https://github.com/kholia/OSX-KVM MacOsX Venturaan] saakka. Palomuureina ja reitittiminä toimii [https://support.hp.com/hk-en/document/c04356040 HP 520 thin clienteissä] [https://opnsense.org/ OpnSense] ja [https://openwrt.org/ OPENwrt] kahdennettuna.

Lisäksi löytyy kaikennumeroisia Raspeja ja muuta sälää. Käyttöjärjestelmäpuolella tällä hetkellä eniten kiinnostaa [https://opennebula.io/ OpenNebula] [https://www.netbsd.org/ NetBSD], [https://en.wikipedia.org/wiki/Rump_kernel rumpkernelit] ja [https://sel4.systems/ se4L].

Pelkkä harrastelija kuitenkin tässä vain ollaan. Ja pitkästä aikaa yritän myös tänne kirjoittaa jotain tai edes päivittää vanhaa tietoa.

Discord -palvelin: [https://discord.gg/dkmE8dDvCY Linux, BSD ja Posix]

'''27.4.2024
Edit:'''

MXLinuxista ja Alpine Linuxista luovuttu ja palattu Debian 11 ja 12 käyttöjärjestelmiin. Muuten sama.

'''1.5.2024
Edit:'''

Yli viiskymmppinen ukko, joka ei enää haihattele it-alan firmasta tai työllistymisestä it-alalle, joten jakaa pikkuhiljaa täällä kaiken tiedon mitä on vuosien saatossa it-järjestelmistä kertynyt. Jos vaikka niistä tiedoista joku nuorempi voisi vaikka hyötyä.

'''20.2.2026
Edit:'''

Servereissä pyörii edelleen Debian Stable, eli tällä hetkellä Trixie. Työasemassa ja läppärissä vaihdoin joku aika sitten Debianin CachyOs:iin, eikä kyllä kaduta.

'''Linux-aloittelijoille:''' Palvelinkokoonpanon rakentaminen voi koukuttaa pahoin.
Siitä huolimatta se on erittäin palkitseva kokemus, ja muutaman kuukauden kuluttua huomaat, ettet koskaan katso taaksepäin.
Varmista, että sinulla on aikaa sukeltaa sisään ja ymmärtää, mistä on kyse.
Linux on yksi maailman parhaiten dokumentoiduista käyttöjärjestelmistä!
Hyödynnä sitä tarjolla olevaa tietoa.

[http://linux.fi/wiki/Toiminnot:Muokkaukset/Kimmo Muokkaukseni linux.fi:ssä]

[https://github.com/kipester Github reponi, lähinnä forkkauksia muiden repoista]

IPFS: Hajautettu tiedostojärjestelmä

2025-01-11T10:52:20Z

Kimmo: /* Aiheesta muualla */

[https://ipfs.tech/ IPFS (InterPlanetary File System)] on hajautettu tiedostojärjestelmä, joka mahdollistaa tiedostojen jakamisen ja tallentamisen verkostossa ilman keskitettyä palvelinta. Sen sijaan tiedostot jaetaan vertaisvertaisesti ([[P2P|peer-to-peer]]) kaikkien verkkoon kytkeytyneiden laitteiden välillä. Tämä tekee IPFS:stä erittäin kestävän ja luotettavan, sillä tiedostojen saatavuus ei ole riippuvainen yhdestä yksittäisestä palvelimesta.

== Miten IPFS toimii? ==
IPFS käyttää sisältöpohjaista osoitusta [https://en.wikipedia.org/wiki/Content-addressable_storage (Content--Addressable Storage, CAS)]. Tämä tarkoittaa, että jokainen tiedosto tunnistetaan sen sisällön perusteella eikä sen sijainnin perusteella. Kun tiedosto tallennetaan IPFS:ään, sille luodaan ainutlaatuinen [https://fi.wikipedia.org/wiki/Kryptografinen_tiiviste hash-arvo], joka toimii tiedoston pysyvänä tunnisteena. Tämä hash-arvo voidaan jakaa muille, jotka voivat sitten hakea tiedoston sen perusteella.

IPFS käyttää myös versiointia, mikä tarkoittaa, että tiedostoista tallennetaan kaikki versiot. Tämä mahdollistaa tiedostojen palauttamisen aiempiin versioihin ja tekee tiedostoista muuttumattomia.

== IPFS:n ominaisuudet(edut ja haitat) ==
* Kestävyys: Tiedostot ovat saatavilla niin kauan kuin vähintään yksi verkkoon kytkeytynyt laite säilyttää kopion tiedostosta.
* Luotettavuus: Tiedostojen saatavuus ei ole riippuvainen yhdestä yksittäisestä palvelimesta.
* Nopeus: Tiedostojen haku voi olla nopeampi, koska tiedostoja voi olla saatavilla useilta lähellä olevilta laitteilta.
* Suojaus: Sisältöpohjainen osoitus tekee tiedostoista vaikeasti sensuroitavia.
* Skaalautuvuus: IPFS voi skaalautua käsittelemään suuria määriä tietoa.

== IPFS:n käyttötapaukset ==

IPFS:ää voidaan käyttää moniin eri tarkoituksiin, kuten:

* Tiedostojen jakaminen: IPFS:ää voidaan käyttää jakamaan suuria tiedostoja, kuten videoita ja ohjelmistoja.
* Verkkosivustojen hosting: IPFS:ää voidaan käyttää hosting-alustana verkkosivuille.
* Hajautettujen sovellusten rakentaminen: IPFS:ää voidaan käyttää rakentamaan hajautettuja sovelluksia, kuten vertaisvertaisia sosiaalisia verkostoja ja pilvitallennuspalveluita.
* Sensuurin vastustus: IPFS:ää voidaan käyttää jakamaan tietoa, jota yritetään sensuroida.
== Yhteenveto ==
IPFS on lupaava teknologia, jolla on potentiaalia muuttaa tapaa, jolla jaamme ja tallennamme tietoa. Sen hajautettu luonne, kestävyys ja luotettavuus tekevät siitä houkuttelevan vaihtoehdon perinteisille keskitettyille tiedostojärjestelmille.

== Aiheesta muualla ==

* [https://ipfs.tech/ IPFS (InterPlanetary File System)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Palvelimet]]
[[Luokka:Pilvipalvelut]]
[[Luokka:P2P-ohjelmat]]

IPFS: Hajautettu tiedostojärjestelmä

2025-01-11T10:52:00Z

Kimmo: Ak: Uusi sivu: [https://ipfs.tech/ IPFS (InterPlanetary File System)] on hajautettu tiedostojärjestelmä, joka mahdollistaa tiedostojen jakamisen ja tallentamisen verkostossa ilman keskitettyä palvelinta. Sen sijaan tiedostot jaetaan vertaisvertaisesti (peer-to-peer) kaikkien verkkoon kytkeytyneiden laitteiden välillä. Tämä tekee IPFS:stä erittäin kestävän ja luotettavan, sillä tiedostojen saatavuus ei ole riippuvainen yhdestä yksittäisestä palvelimesta. == Miten IPFS...

[https://ipfs.tech/ IPFS (InterPlanetary File System)] on hajautettu tiedostojärjestelmä, joka mahdollistaa tiedostojen jakamisen ja tallentamisen verkostossa ilman keskitettyä palvelinta. Sen sijaan tiedostot jaetaan vertaisvertaisesti ([[P2P|peer-to-peer]]) kaikkien verkkoon kytkeytyneiden laitteiden välillä. Tämä tekee IPFS:stä erittäin kestävän ja luotettavan, sillä tiedostojen saatavuus ei ole riippuvainen yhdestä yksittäisestä palvelimesta.

== Miten IPFS toimii? ==
IPFS käyttää sisältöpohjaista osoitusta [https://en.wikipedia.org/wiki/Content-addressable_storage (Content--Addressable Storage, CAS)]. Tämä tarkoittaa, että jokainen tiedosto tunnistetaan sen sisällön perusteella eikä sen sijainnin perusteella. Kun tiedosto tallennetaan IPFS:ään, sille luodaan ainutlaatuinen [https://fi.wikipedia.org/wiki/Kryptografinen_tiiviste hash-arvo], joka toimii tiedoston pysyvänä tunnisteena. Tämä hash-arvo voidaan jakaa muille, jotka voivat sitten hakea tiedoston sen perusteella.

IPFS käyttää myös versiointia, mikä tarkoittaa, että tiedostoista tallennetaan kaikki versiot. Tämä mahdollistaa tiedostojen palauttamisen aiempiin versioihin ja tekee tiedostoista muuttumattomia.

== IPFS:n ominaisuudet(edut ja haitat) ==
* Kestävyys: Tiedostot ovat saatavilla niin kauan kuin vähintään yksi verkkoon kytkeytynyt laite säilyttää kopion tiedostosta.
* Luotettavuus: Tiedostojen saatavuus ei ole riippuvainen yhdestä yksittäisestä palvelimesta.
* Nopeus: Tiedostojen haku voi olla nopeampi, koska tiedostoja voi olla saatavilla useilta lähellä olevilta laitteilta.
* Suojaus: Sisältöpohjainen osoitus tekee tiedostoista vaikeasti sensuroitavia.
* Skaalautuvuus: IPFS voi skaalautua käsittelemään suuria määriä tietoa.

== IPFS:n käyttötapaukset ==

IPFS:ää voidaan käyttää moniin eri tarkoituksiin, kuten:

* Tiedostojen jakaminen: IPFS:ää voidaan käyttää jakamaan suuria tiedostoja, kuten videoita ja ohjelmistoja.
* Verkkosivustojen hosting: IPFS:ää voidaan käyttää hosting-alustana verkkosivuille.
* Hajautettujen sovellusten rakentaminen: IPFS:ää voidaan käyttää rakentamaan hajautettuja sovelluksia, kuten vertaisvertaisia sosiaalisia verkostoja ja pilvitallennuspalveluita.
* Sensuurin vastustus: IPFS:ää voidaan käyttää jakamaan tietoa, jota yritetään sensuroida.
== Yhteenveto ==
IPFS on lupaava teknologia, jolla on potentiaalia muuttaa tapaa, jolla jaamme ja tallennamme tietoa. Sen hajautettu luonne, kestävyys ja luotettavuus tekevät siitä houkuttelevan vaihtoehdon perinteisille keskitettyille tiedostojärjestelmille.

== Aiheesta muualla ==

* [https://ipfs.tech/ IPFS (InterPlanetary File System)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Palvelimet]]
[[Luokka:Pilvipalvelut]]
[[Luokka:P2P-ohjelmat]]

Virtuaalikoneet

2024-09-24T19:10:07Z

Kimmo: /* Aiheesta muualla */

[[Kuva:Virtualisointia.png|200px|thumb|right|[[QEMU]], [[VMware]] ja [[xnest]] vauhdissa.]]

x86-virtuaalisoinnin tekniikkat ovat nykyään kovasti muodissa. Virtualisointi on saavuttanut erityisesti suosiota palvelinkäytössä; webhotellit voivat tarjota jokaiselle asiakkaille oman palvelimen, jota kukin voi itse ylläpitää. Virtualisoinnin ansiosta fyysistä laitteistoa ei tarvitse lisätä samassa tahdissa. Myös eri käyttöjärjestelmille tarkoitettujen palvelinohjelmien ongelma poistuu, kun samassa fyysisessä palvelimessa voidaan ajaa useita eri käyttöjärjestelmiä.

== Osiointi ==

Vanhin virtualisoinnin muoto on jakaa koneen käyttö aikalohkoihin eri käyttäjien kesken. Tämä jakaminen voidaan suorittaa laitteiston ja ohjelmiston väliin jäävän firmware (tunnetuin firmware sovellus on PC:n BIOS) ohjelmiston avulla, jolloin virtuaalikoneiden perustamista varten ei tarvita isäntäkäyttöjärjestelmää.

== Emulointi ==

Mikäli virtualisoinnin tehokustannuksia ei tarvitse ottaa huomioon voidaan käyttää emulaatiota virtualisoinnin tekniikkana. Emulaatiota voidaan suorittaa isäntäkäyttöjärjestelmän prosessina, jolloin virtualisoidun järjestelmän hallinta on helppoa, mutta virtualisointi itsessään vie runsaasti laskentatehoa isäntäjärjestelmältä. Emuloitaessa koko virtualisoidun järjestelmän prosessori on virtuaalinen, joten emulaation avulla isäntäkoneen prosessori voi toimia eri käskykannalla kuin virtualisoidun.

== Ryvästys ==

Kun monesta tehdään yksi, ryvästetään. Ryvästystä voidaan harjoittaa kahdesta toisensa pois sulkeavasta lähtökohdasta. Mikäli halutaan nostaa järjestelmänä kokonaistehoa ryvästämällä, voidaan ryvästyksen avulla luoda useasta koneesta yksi virtuaalikone ja virtuaalikoneen samat tehtävät edelleen jakaa fyysisten järjestelmien kesken. Kun tavoitteena on vikasietoisuuden saaminen, ei tehtäviä voida jakaa järjestelmän fyysisten koneiden kesken, vaan niintä suoritetaan rinnakkain useassa koneessa. Näitä kahta ominaisuutta yleensä sekoitellaan keskenään, mutta aina niiden välillä toisen suosiminen aiheuttaa toisen ominaisuuden laiminlyöntiä.

== Haluan käyttää Linuxia virtuaalikoneessa ==

Linuxin kokeilu virtuaalikoneessa on erittäin hyvä kokeilutapa. Niin et vahingoita oikeaa käyttöjärjestelmääsi lainkaan. Voit tehdä lisää virtuaalikoneita ja etsiä vaikkapa suosikkijakelusi niiden avulla.

Mutta miten virtuaalikone tehdään? Sinun pitää asentaa siihen tarkoitettu sovellus, esimerkiksi VMware tai VirtualBox niiden omilta kotisivuiltaan. Lataa koneellesi myös haluamasi Linux-jakelun ISO-tiedosto kyseisen jakelun omalta nettisivultaan.

Kun olet ladannut yllä mainitut asiat, tee virtuaalikone klikkaamalla "New" tai jotain muuta vastaavaa. Sinulta kysytään ISO-tiedostoa, koneen nimeä, ja kaikenlaista muuta.

Koneen voit käynnistää valitsemalla sen ja painamalla "Start" tai jotain muuta vastaavaa. Usein Linux pitää [[Aloittelijalle|asentaa]] manuaalisesti koneeseen. Seuraa ohjeita ja vastaa kysymyksiin. Käynnistä asennuksen jälkeen kone uusiksi. Nyt sinulla ei ole asennusmediaa etkä voi poistaa sitä, joten paina vain Enter-näppäintä (jos sinulta tällaista edes kysytään).

==Virtuaalikoneiden edut==

Virtuaalikoneiden etu on se, että niillä saa pelleillä enemmän kuin oikealla tietokoneella. Oikeaa tietokonetta ei kannata tuhota viruksilla mutta virtuaalikoneissa se on kuitenkin mahdollista. Virtuaalikoneilla voit tehdä muitakin temppuja, joita ei oikealla koneella kannata tehdä.

==Snapshotit==

Snapshotit ovat kuin kuvakaappauksia virtuaalikoneesta. Virtuaalikoneen voit aina palauttaa ottamasi snapshotin avulla puhtaaksi. Snapshot on ikään kuin varmuuskopio virtuaalikoneestasi.

==Virtualisointia kerroksittain==

Monimutkaisemmilla virtualisointitekniikoilla ja esim. "host-passtrough" -menetelmillä voidaan ajaa kokonaisia pilvijärjestelmiä virtualikoneissa, eli virtuaalikonetta virtuaalikoneen sisällä samalla tietokoneella ja kaikki voivat olla täysin toisistaan irrallisia järjestelmiä. Kuten seuraavassa kuvakaappauksessa: [[Tiedosto:Smartos-debian-alpine.png|pienoiskuva]] Virtuaalikoneiden hallitsin pyörii Macissä, jossa [[Debian]] linux,yhdessä serverissä käynnissä [https://illumos.org Illumos-pohjainen] [https://www.tritondatacenter.com/smartos SmartOS] virtuaalikoneena ja sen virtuaalikoneessa [[Alpine]] linux.

Näin voidaan rakentaa erittäin vikasietoisia ja tietoturvallisia käyttöjärjestelmä-ympäristöjä. Haittapuolena tietysti monimutkaisuus ja jos käyttöjärjetelmiä oikein monta samalla koneella päällekäin niin se syö myös tehoa.

==Ohjelmia==
* [[User-mode Linux]]
* [[Openvz]]
* [[Linux-vserver]]
* [[Libvirt]]
* [[Kvm]]
* [[Xen]]
* [[Virtualbox]]
* [[LXC]]
* [[Docker]]

== Katso myös ==
*[[Emulaattorit]]

{{Emulaattorit ja virtuaalikoneet}}
[[Luokka:Emulaattorit ja virtuaalikoneet]]

Virtuaalikoneet

2024-09-24T18:52:39Z

Kimmo: /* Virtualisointia kerroksittain */

[[Kuva:Virtualisointia.png|200px|thumb|right|[[QEMU]], [[VMware]] ja [[xnest]] vauhdissa.]]

x86-virtuaalisoinnin tekniikkat ovat nykyään kovasti muodissa. Virtualisointi on saavuttanut erityisesti suosiota palvelinkäytössä; webhotellit voivat tarjota jokaiselle asiakkaille oman palvelimen, jota kukin voi itse ylläpitää. Virtualisoinnin ansiosta fyysistä laitteistoa ei tarvitse lisätä samassa tahdissa. Myös eri käyttöjärjestelmille tarkoitettujen palvelinohjelmien ongelma poistuu, kun samassa fyysisessä palvelimessa voidaan ajaa useita eri käyttöjärjestelmiä.

== Osiointi ==

Vanhin virtualisoinnin muoto on jakaa koneen käyttö aikalohkoihin eri käyttäjien kesken. Tämä jakaminen voidaan suorittaa laitteiston ja ohjelmiston väliin jäävän firmware (tunnetuin firmware sovellus on PC:n BIOS) ohjelmiston avulla, jolloin virtuaalikoneiden perustamista varten ei tarvita isäntäkäyttöjärjestelmää.

== Emulointi ==

Mikäli virtualisoinnin tehokustannuksia ei tarvitse ottaa huomioon voidaan käyttää emulaatiota virtualisoinnin tekniikkana. Emulaatiota voidaan suorittaa isäntäkäyttöjärjestelmän prosessina, jolloin virtualisoidun järjestelmän hallinta on helppoa, mutta virtualisointi itsessään vie runsaasti laskentatehoa isäntäjärjestelmältä. Emuloitaessa koko virtualisoidun järjestelmän prosessori on virtuaalinen, joten emulaation avulla isäntäkoneen prosessori voi toimia eri käskykannalla kuin virtualisoidun.

== Ryvästys ==

Kun monesta tehdään yksi, ryvästetään. Ryvästystä voidaan harjoittaa kahdesta toisensa pois sulkeavasta lähtökohdasta. Mikäli halutaan nostaa järjestelmänä kokonaistehoa ryvästämällä, voidaan ryvästyksen avulla luoda useasta koneesta yksi virtuaalikone ja virtuaalikoneen samat tehtävät edelleen jakaa fyysisten järjestelmien kesken. Kun tavoitteena on vikasietoisuuden saaminen, ei tehtäviä voida jakaa järjestelmän fyysisten koneiden kesken, vaan niintä suoritetaan rinnakkain useassa koneessa. Näitä kahta ominaisuutta yleensä sekoitellaan keskenään, mutta aina niiden välillä toisen suosiminen aiheuttaa toisen ominaisuuden laiminlyöntiä.

== Haluan käyttää Linuxia virtuaalikoneessa ==

Linuxin kokeilu virtuaalikoneessa on erittäin hyvä kokeilutapa. Niin et vahingoita oikeaa käyttöjärjestelmääsi lainkaan. Voit tehdä lisää virtuaalikoneita ja etsiä vaikkapa suosikkijakelusi niiden avulla.

Mutta miten virtuaalikone tehdään? Sinun pitää asentaa siihen tarkoitettu sovellus, esimerkiksi VMware tai VirtualBox niiden omilta kotisivuiltaan. Lataa koneellesi myös haluamasi Linux-jakelun ISO-tiedosto kyseisen jakelun omalta nettisivultaan.

Kun olet ladannut yllä mainitut asiat, tee virtuaalikone klikkaamalla "New" tai jotain muuta vastaavaa. Sinulta kysytään ISO-tiedostoa, koneen nimeä, ja kaikenlaista muuta.

Koneen voit käynnistää valitsemalla sen ja painamalla "Start" tai jotain muuta vastaavaa. Usein Linux pitää [[Aloittelijalle|asentaa]] manuaalisesti koneeseen. Seuraa ohjeita ja vastaa kysymyksiin. Käynnistä asennuksen jälkeen kone uusiksi. Nyt sinulla ei ole asennusmediaa etkä voi poistaa sitä, joten paina vain Enter-näppäintä (jos sinulta tällaista edes kysytään).

==Virtuaalikoneiden edut==

Virtuaalikoneiden etu on se, että niillä saa pelleillä enemmän kuin oikealla tietokoneella. Oikeaa tietokonetta ei kannata tuhota viruksilla mutta virtuaalikoneissa se on kuitenkin mahdollista. Virtuaalikoneilla voit tehdä muitakin temppuja, joita ei oikealla koneella kannata tehdä.

==Snapshotit==

Snapshotit ovat kuin kuvakaappauksia virtuaalikoneesta. Virtuaalikoneen voit aina palauttaa ottamasi snapshotin avulla puhtaaksi. Snapshot on ikään kuin varmuuskopio virtuaalikoneestasi.

==Virtualisointia kerroksittain==

Monimutkaisemmilla virtualisointitekniikoilla ja esim. "host-passtrough" -menetelmillä voidaan ajaa kokonaisia pilvijärjestelmiä virtualikoneissa, eli virtuaalikonetta virtuaalikoneen sisällä samalla tietokoneella ja kaikki voivat olla täysin toisistaan irrallisia järjestelmiä. Kuten seuraavassa kuvakaappauksessa: [[Tiedosto:Smartos-debian-alpine.png|pienoiskuva]] Virtuaalikoneiden hallitsin pyörii Macissä, jossa [[Debian]] linux,yhdessä serverissä käynnissä [https://illumos.org Illumos-pohjainen] [https://www.tritondatacenter.com/smartos SmartOS] virtuaalikoneena ja sen virtuaalikoneessa [[Alpine]] linux.

Näin voidaan rakentaa erittäin vikasietoisia ja tietoturvallisia käyttöjärjestelmä-ympäristöjä. Haittapuolena tietysti monimutkaisuus ja jos käyttöjärjetelmiä oikein monta samalla koneella päällekäin niin se syö myös tehoa.

==Ohjelmia==
* [[User-mode Linux]]
* [[Openvz]]
* [[Linux-vserver]]
* [[Libvirt]]
* [[Kvm]]
* [[Xen]]
* [[Virtualbox]]
* [[LXC]]
* [[Docker]]

== Katso myös ==
*[[Emulaattorit]]

==Aiheesta muualla==
*[http://opensuse.fi/Virtualisointi Virtualisointi opensuse.fi:n wikissä]

{{Emulaattorit ja virtuaalikoneet}}
[[Luokka:Emulaattorit ja virtuaalikoneet]]

Virtuaalikoneet

2024-09-24T18:45:42Z

Kimmo:

[[Kuva:Virtualisointia.png|200px|thumb|right|[[QEMU]], [[VMware]] ja [[xnest]] vauhdissa.]]

x86-virtuaalisoinnin tekniikkat ovat nykyään kovasti muodissa. Virtualisointi on saavuttanut erityisesti suosiota palvelinkäytössä; webhotellit voivat tarjota jokaiselle asiakkaille oman palvelimen, jota kukin voi itse ylläpitää. Virtualisoinnin ansiosta fyysistä laitteistoa ei tarvitse lisätä samassa tahdissa. Myös eri käyttöjärjestelmille tarkoitettujen palvelinohjelmien ongelma poistuu, kun samassa fyysisessä palvelimessa voidaan ajaa useita eri käyttöjärjestelmiä.

== Osiointi ==

Vanhin virtualisoinnin muoto on jakaa koneen käyttö aikalohkoihin eri käyttäjien kesken. Tämä jakaminen voidaan suorittaa laitteiston ja ohjelmiston väliin jäävän firmware (tunnetuin firmware sovellus on PC:n BIOS) ohjelmiston avulla, jolloin virtuaalikoneiden perustamista varten ei tarvita isäntäkäyttöjärjestelmää.

== Emulointi ==

Mikäli virtualisoinnin tehokustannuksia ei tarvitse ottaa huomioon voidaan käyttää emulaatiota virtualisoinnin tekniikkana. Emulaatiota voidaan suorittaa isäntäkäyttöjärjestelmän prosessina, jolloin virtualisoidun järjestelmän hallinta on helppoa, mutta virtualisointi itsessään vie runsaasti laskentatehoa isäntäjärjestelmältä. Emuloitaessa koko virtualisoidun järjestelmän prosessori on virtuaalinen, joten emulaation avulla isäntäkoneen prosessori voi toimia eri käskykannalla kuin virtualisoidun.

== Ryvästys ==

Kun monesta tehdään yksi, ryvästetään. Ryvästystä voidaan harjoittaa kahdesta toisensa pois sulkeavasta lähtökohdasta. Mikäli halutaan nostaa järjestelmänä kokonaistehoa ryvästämällä, voidaan ryvästyksen avulla luoda useasta koneesta yksi virtuaalikone ja virtuaalikoneen samat tehtävät edelleen jakaa fyysisten järjestelmien kesken. Kun tavoitteena on vikasietoisuuden saaminen, ei tehtäviä voida jakaa järjestelmän fyysisten koneiden kesken, vaan niintä suoritetaan rinnakkain useassa koneessa. Näitä kahta ominaisuutta yleensä sekoitellaan keskenään, mutta aina niiden välillä toisen suosiminen aiheuttaa toisen ominaisuuden laiminlyöntiä.

== Haluan käyttää Linuxia virtuaalikoneessa ==

Linuxin kokeilu virtuaalikoneessa on erittäin hyvä kokeilutapa. Niin et vahingoita oikeaa käyttöjärjestelmääsi lainkaan. Voit tehdä lisää virtuaalikoneita ja etsiä vaikkapa suosikkijakelusi niiden avulla.

Mutta miten virtuaalikone tehdään? Sinun pitää asentaa siihen tarkoitettu sovellus, esimerkiksi VMware tai VirtualBox niiden omilta kotisivuiltaan. Lataa koneellesi myös haluamasi Linux-jakelun ISO-tiedosto kyseisen jakelun omalta nettisivultaan.

Kun olet ladannut yllä mainitut asiat, tee virtuaalikone klikkaamalla "New" tai jotain muuta vastaavaa. Sinulta kysytään ISO-tiedostoa, koneen nimeä, ja kaikenlaista muuta.

Koneen voit käynnistää valitsemalla sen ja painamalla "Start" tai jotain muuta vastaavaa. Usein Linux pitää [[Aloittelijalle|asentaa]] manuaalisesti koneeseen. Seuraa ohjeita ja vastaa kysymyksiin. Käynnistä asennuksen jälkeen kone uusiksi. Nyt sinulla ei ole asennusmediaa etkä voi poistaa sitä, joten paina vain Enter-näppäintä (jos sinulta tällaista edes kysytään).

==Virtuaalikoneiden edut==

Virtuaalikoneiden etu on se, että niillä saa pelleillä enemmän kuin oikealla tietokoneella. Oikeaa tietokonetta ei kannata tuhota viruksilla mutta virtuaalikoneissa se on kuitenkin mahdollista. Virtuaalikoneilla voit tehdä muitakin temppuja, joita ei oikealla koneella kannata tehdä.

==Snapshotit==

Snapshotit ovat kuin kuvakaappauksia virtuaalikoneesta. Virtuaalikoneen voit aina palauttaa ottamasi snapshotin avulla puhtaaksi. Snapshot on ikään kuin varmuuskopio virtuaalikoneestasi.

==Virtualisointia kerroksittain==

Monimutkaisemmilla virtualisointitekniikoilla ja esim. "host-passtrough" -menetelmillä voidaan ajaa kokonaisia pilvijärjestelmiä virtualikoneissa, eli virtuaalikonetta virtuaalikoneen sisällä samalla tietokoneella ja kaikki voivat olla täysin toisistaan irrallisia järjestelmiä. Kuten seuraavassa kuvakaappauksessa: [[Tiedosto:Smartos-debian-alpine.png|pienoiskuva]] Virtuaalikoneiden hallitsin pyörii Macissä, jossa [[Debian]] linux,yhdessä serverissä käynnissä [[SmartOs]] virtuaalikoneena ja sen virtuaalikoneessa [[Alpine]] linux.

Näin voidaan rakentaa erittäin vikasietoisia ja tietoturvallisia käyttöjärjestelmä-ympäristöjä. Haittapuolena tietysti monimutkaisuus ja jos käyttöjärjetelmiä oikein monta samalla koneella päällekäin niin se syö myös tehoa.

==Ohjelmia==
* [[User-mode Linux]]
* [[Openvz]]
* [[Linux-vserver]]
* [[Libvirt]]
* [[Kvm]]
* [[Xen]]
* [[Virtualbox]]
* [[LXC]]
* [[Docker]]

== Katso myös ==
*[[Emulaattorit]]

==Aiheesta muualla==
*[http://opensuse.fi/Virtualisointi Virtualisointi opensuse.fi:n wikissä]

{{Emulaattorit ja virtuaalikoneet}}
[[Luokka:Emulaattorit ja virtuaalikoneet]]

Tiedosto:Smartos-debian-alpine.png

2024-09-24T18:32:28Z

Kimmo:

Debianin libvirt-kvm virtuaalikoneessa SmartOs, jonka virtuaalikoneessa pyörii Alpine-linux.

Tune2fs

2024-09-22T07:15:20Z

Kimmo: /* Käyttö */

<tt>tune2fs</tt> on [[komentorivi]]ohjelma jolla voi muuttaa [[ext2]]-, [[ext3]]- ja [[ext4]]-[[tiedostojärjestelmä]]n parametreja. Vallitsevat parametrit voi näyttää [[dumpe2fs]]:n avulla.

==Käyttö==
Vaihdetaan osion <tt>/dev/sdc3</tt> "otsikkoa" (label) vaikkapa [[mount|liittämisen]] helpottamiseksi
tune2fs -L otsikko /dev/sdc3
Lisätään journalointitiedot tiedostojärjestelmään, eli käytännössä muutetaan ext2 ext3:ksi
tune2fs -j /dev/sdc3
Journaloinnin poisto käytöstä:
tune2fs -O ^has_journal
Muutetaan vain [[pääkäyttäjä]]n käyttöön varattu osuus tiedostojärjestelmästä nollaan prosenttiin
tune2fs -m0 /dev/sda2
Oletuksena kaikista ext-tiedostojärjestelmistä 5% on varattu pääkäyttäjän käyttöön, jotta järjestelmän palautus ja taustapalvelujen pyöriminen olisi mahdollista myös silloin, kun tavallinen käyttäjä on täyttänyt koko tiedostojärjestelmän. 5% on kuitenkin nykyisille kiintolevyille aivan liian suuri arvo (esimerkiksi 160 Gt:n osiolla se tekee 8 Gt). [[juuriosio|Juuritiedostojärjestelmä]]n arvo kannattaa yleensä säätää yhteen prosenttiin ja muiden nollaan.

==Katso myös==
* [[Tiedostojärjestelmä]]
* [[Ext2]]
* [[Ext3]]
* [[Ext4]]
* [[ReiserFS]]
* [[Reiser4]]
* [[Mkfs]]
* [[Fsck]]
* [[XFS]] - Suorituskykyinen tiedostojärjestelmä, joka sisältää journaloinnin.

[[Luokka:Komentorivin erikoisohjelmat]]
[[Luokka:Tiedostojärjestelmät]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-09-20T14:39:23Z

Kimmo: /* Asennetaan DRBD ja Linstor */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.10.1

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debian 11 paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb restart && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one/datastores- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir -p /var/lib/one/datastores && sudo mount /dev/drbd1000 /var/lib/one/datastores

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one/datastores

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:
sudo apt install augeas-tools libnbd-bin ruby-sqlite3 ipset rsync ruby jq vlan
mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

HUOM! Oneadmin kayttäjän kotikansio on /var/lib/one ja ssh tiedot myös tallentuu ja haetaan sieltä. isäntiä ei saa lisättyä control-nodeen ellei näistä sijainneista löytyviä ssh-avaimia luoda ja kopioida esim. [[scp]]:n avulla koneelta toiselle /var/lib/one/.ssh/authorized_keys tiedostoon.

OpenNebula käyttää myös kansiota /var/tmp/one mutta asennuspaketti ei joka kerta sitä uudelle koneelle asennettaessa luo, joku bugi ilmeisesti, jolloin klusteri ei toimi. Siinä tapauksessa puuttuva /var/tmp/one kansio taytyy vain luoda [[mkdir]]-komennolla ja [[chown]]illa vaihtaa sen omistusoikeus oneadminille.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Useissa netistä löytyvissä ohjeissa suositellaan tai jopa käsketään konffata kahta verkkokorttia käyttäen. Siinä tietysti puolensa, koska helpompaa tehdä kahdella verkkoliitynnällä. Mutta vaikka asennetaan kaks verkkokorttia niin kannattaa bondata verkkoyhteydet ja [[vlan]]ia hyödyntäen niillä verkkoyhteydet koneille, niin on aina maksimit käytössä, eikä replikointi vie kaikkea kaistaa kotiverkossa olevilta muilta koneilta.
*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [[ramdisk]]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri toimii ja DRBD-osioilta saa tiedot vaikka vain kaksi konetta olisi päällä niin kun menee tilttiin niin kaikki tieto on vaarassa hävitä.
*OpenNebula control ja Linstor controlleria voi ajaa vaikka pöytäkoneella Docker-konteissa ja WakeOnLan:illa käynnistää klusterin koneet vain silloin ja sitä mukaa kun niitä tarvii, niin se näkyy kyllä kodin sähkölaskussa. Etenkin jos klusterissa on vaikka 8 kpl servereitä, kuten tämän artikkelin alkuperäisellä kirjoittajalla on artikkelin kirjoittamisen aikaan.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]
*[https://docs.opennebula.io/6.0/installation_and_configuration/containerized_deployment/architecture_deployment.html Frontend node Docker/Podman kontissa(englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Xen

2024-05-12T13:42:46Z

Kimmo: /* Aiheesta muualla */

'''Xen''' on avoimen lähdekoodin x86-järjestelmää [[Virtuaalikoneet|virtualisoiva ohjelmisto]]. Se asennetaan järjestelmään lähimmäksi rautaa, Xenin alla ei oleile mitään käyttöjärjestelmää. Xen vaatii siinä ajettavista käyttöjärjestelmistä erityiset Xen-kernelit tai prosessorilta VMX-tuen.

Melko vanhaa tietoa. Tälle sivulle olisi syytä päivittää tiedot.

==Aiheesta muualla==
* [https://xenproject.org/ Xenproject.org]
* [http://www.cl.cam.ac.uk/Research/SRG/netos/xen/ Xen]

{{Emulaattorit ja virtuaalikoneet}}
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Virtualisointi]]

Luokka:Virtualisointi

2024-05-12T13:40:04Z

Kimmo:

# Käyttöjärjestelmävirtualisoinnilla tarkoitetaan menetelmää, jossa oikealla tietokoneella, isäntäkoneella (host), ohjelmallisesti matkitaan kokonaista tietokonetta, johon voidaan asentaa valittu käyttöjärjestelmä, vierasjärjestelmä (guest), ja siihen haluttuja ohjelmia. Virtualisoinnilla on mahdollista käynnistää esimerkiksi Ubuntu-käyttöjärjestelmää käyttävä virtuaalikone yhteen Windows-työpöydällä näkyvään ikkunaan. Näin on mahdollista kokeilla uusia käyttöjärjestelmiä ja niiden eri versioita asentamatta niitä varsinaiselle koneelle. Toisaalta tämä mahdollistaa myös sellaisten sovellusten ajamisen, joita ei muuten ole saatavilla isäntäjärjestelmään. Esimerkiksi Microsoft Word -ohjelmaa on mahdollista käyttää näin Linux-isäntään asennetussa Windows-virtuaalikoneessa.
#
# Nykyään on myös käsitteet ohjelmistovirtualisointi, näitä on useita kymmeniä, ellei satoja. Ehkä tunnetuimmat virtuaalikoneet ovat [[Dalvik]], eli [[Android]], sekä [[java]] ja [[python]]. Sekä erilaiset konttiteknologiat, joissa virtualisoidaan osa käyttöjärjestelmästä tai jopa pelkästään yksi sovellus/ohjelma. Näitä ovat esimerkiksi [[Docker]], [[Podman]], [[LXC]] ja [[Kubernetes]].

Hypervisor(suomenkielistä vastinetta ei ole) on tietotekniikassa käytetty termi, joka suomeksi tarkoittaa virtuaalikonemonitoria tai virtuaalikonetta hallitsevaa ohjelmaa. Hypervisor toimii isäntäkoneella ja ottaa kontrollin isäntäkoneen laitteistosta. Sen avulla voidaan luoda ja hallita virtuaalikoneita (guest-koneita) sekä virtuaalikytkimiä. Hypervisor mahdollistaa useiden käyttöjärjestelmien suorittamisen samalla fyysisellä laitteistolla, mikä on hyödyllistä esimerkiksi palvelin- ja pilviympäristöissä.

Hypervisoreita on kahta eri tyyppiä:

1. Type 1 hypervisoreita ovat [[Xen]] ja myös [[KVM]], vaikkakin KVM on siinä rajalla. Julkaisusta riippuen määritellään type-1 tai type-2 hypervisoriksi.

* Asennetaan suoraan palvelimen fyysiseen laitteistoon ilman käyttöjärjestelmän välikerrosta.
* Toimii suoraan laiteohjaimien kanssa ja hallitsee fyysisiä resursseja.
* Tarjoaa paremman eristävyyden jokaiselle virtuaaliympäristölle.
* Dedikoidut resurssit.
* Usein käytetään palvelin- ja pilviympäristöissä.
* Type 1 hypervisorin päällä toimiva käyttöjärjestelmä on yhtä nopea kuin natiivisti toimiva.

2. Type 2 hypervisoreita ovat mm. [[VMware]] Workstation ja [[Virtualbox]]

* Asennetaan isäntäkäyttöjärjestelmän päälle.
* Käyttää isäntäkäyttöjärjestelmän resursseja.
* Vähemmän eristävyyttä virtuaaliympäristöille.
* Häviää nopeudessa/tehokkuudessa Type 1 hypervisorille
* Ovat helppokäyttöisiä ja yleisiä työpöytäkäytössä

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-11T07:50:50Z

Kimmo: /* Ocfs2-tiedostojärjestelmän asennus ja käyttöönotto */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debian 11 paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb restart && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one/datastores- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir -p /var/lib/one/datastores && sudo mount /dev/drbd1000 /var/lib/one/datastores

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one/datastores

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:
sudo apt install augeas-tools libnbd-bin ruby-sqlite3 ipset rsync ruby jq vlan
mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

HUOM! Oneadmin kayttäjän kotikansio on /var/lib/one ja ssh tiedot myös tallentuu ja haetaan sieltä. isäntiä ei saa lisättyä control-nodeen ellei näistä sijainneista löytyviä ssh-avaimia luoda ja kopioida esim. [[scp]]:n avulla koneelta toiselle /var/lib/one/.ssh/authorized_keys tiedostoon.

OpenNebula käyttää myös kansiota /var/tmp/one mutta asennuspaketti ei joka kerta sitä uudelle koneelle asennettaessa luo, joku bugi ilmeisesti, jolloin klusteri ei toimi. Siinä tapauksessa puuttuva /var/tmp/one kansio taytyy vain luoda [[mkdir]]-komennolla ja [[chown]]illa vaihtaa sen omistusoikeus oneadminille.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Useissa netistä löytyvissä ohjeissa suositellaan tai jopa käsketään konffata kahta verkkokorttia käyttäen. Siinä tietysti puolensa, koska helpompaa tehdä kahdella verkkoliitynnällä. Mutta vaikka asennetaan kaks verkkokorttia niin kannattaa bondata verkkoyhteydet ja [[vlan]]ia hyödyntäen niillä verkkoyhteydet koneille, niin on aina maksimit käytössä, eikä replikointi vie kaikkea kaistaa kotiverkossa olevilta muilta koneilta.
*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [[ramdisk]]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri toimii ja DRBD-osioilta saa tiedot vaikka vain kaksi konetta olisi päällä niin kun menee tilttiin niin kaikki tieto on vaarassa hävitä.
*OpenNebula control ja Linstor controlleria voi ajaa vaikka pöytäkoneella Docker-konteissa ja WakeOnLan:illa käynnistää klusterin koneet vain silloin ja sitä mukaa kun niitä tarvii, niin se näkyy kyllä kodin sähkölaskussa. Etenkin jos klusterissa on vaikka 8 kpl servereitä, kuten tämän artikkelin alkuperäisellä kirjoittajalla on artikkelin kirjoittamisen aikaan.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]
*[https://docs.opennebula.io/6.0/installation_and_configuration/containerized_deployment/architecture_deployment.html Frontend node Docker/Podman kontissa(englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-11T07:48:17Z

Kimmo: /* Ocfs2-tiedostojärjestelmän asennus ja käyttöönotto */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debian 11 paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one/datastores- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir -p /var/lib/one/datastores && sudo mount /dev/drbd1000 /var/lib/one/datastores

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one/datastores

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:
sudo apt install augeas-tools libnbd-bin ruby-sqlite3 ipset rsync ruby jq vlan
mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

HUOM! Oneadmin kayttäjän kotikansio on /var/lib/one ja ssh tiedot myös tallentuu ja haetaan sieltä. isäntiä ei saa lisättyä control-nodeen ellei näistä sijainneista löytyviä ssh-avaimia luoda ja kopioida esim. [[scp]]:n avulla koneelta toiselle /var/lib/one/.ssh/authorized_keys tiedostoon.

OpenNebula käyttää myös kansiota /var/tmp/one mutta asennuspaketti ei joka kerta sitä uudelle koneelle asennettaessa luo, joku bugi ilmeisesti, jolloin klusteri ei toimi. Siinä tapauksessa puuttuva /var/tmp/one kansio taytyy vain luoda [[mkdir]]-komennolla ja [[chown]]illa vaihtaa sen omistusoikeus oneadminille.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Useissa netistä löytyvissä ohjeissa suositellaan tai jopa käsketään konffata kahta verkkokorttia käyttäen. Siinä tietysti puolensa, koska helpompaa tehdä kahdella verkkoliitynnällä. Mutta vaikka asennetaan kaks verkkokorttia niin kannattaa bondata verkkoyhteydet ja [[vlan]]ia hyödyntäen niillä verkkoyhteydet koneille, niin on aina maksimit käytössä, eikä replikointi vie kaikkea kaistaa kotiverkossa olevilta muilta koneilta.
*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [[ramdisk]]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri toimii ja DRBD-osioilta saa tiedot vaikka vain kaksi konetta olisi päällä niin kun menee tilttiin niin kaikki tieto on vaarassa hävitä.
*OpenNebula control ja Linstor controlleria voi ajaa vaikka pöytäkoneella Docker-konteissa ja WakeOnLan:illa käynnistää klusterin koneet vain silloin ja sitä mukaa kun niitä tarvii, niin se näkyy kyllä kodin sähkölaskussa. Etenkin jos klusterissa on vaikka 8 kpl servereitä, kuten tämän artikkelin alkuperäisellä kirjoittajalla on artikkelin kirjoittamisen aikaan.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]
*[https://docs.opennebula.io/6.0/installation_and_configuration/containerized_deployment/architecture_deployment.html Frontend node Docker/Podman kontissa(englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-06T07:33:19Z

Kimmo: /* Aiheesta muualla */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one/datastores- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir -p /var/lib/one/datastores && sudo mount /dev/drbd1000 /var/lib/one/datastores

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one/datastores

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:
sudo apt install augeas-tools libnbd-bin ruby-sqlite3 ipset rsync ruby jq vlan
mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

HUOM! Oneadmin kayttäjän kotikansio on /var/lib/one ja ssh tiedot myös tallentuu ja haetaan sieltä. isäntiä ei saa lisättyä control-nodeen ellei näistä sijainneista löytyviä ssh-avaimia luoda ja kopioida esim. [[scp]]:n avulla koneelta toiselle /var/lib/one/.ssh/authorized_keys tiedostoon.

OpenNebula käyttää myös kansiota /var/tmp/one mutta asennuspaketti ei joka kerta sitä uudelle koneelle asennettaessa luo, joku bugi ilmeisesti, jolloin klusteri ei toimi. Siinä tapauksessa puuttuva /var/tmp/one kansio taytyy vain luoda [[mkdir]]-komennolla ja [[chown]]illa vaihtaa sen omistusoikeus oneadminille.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Useissa netistä löytyvissä ohjeissa suositellaan tai jopa käsketään konffata kahta verkkokorttia käyttäen. Siinä tietysti puolensa, koska helpompaa tehdä kahdella verkkoliitynnällä. Mutta vaikka asennetaan kaks verkkokorttia niin kannattaa bondata verkkoyhteydet ja [[vlan]]ia hyödyntäen niillä verkkoyhteydet koneille, niin on aina maksimit käytössä, eikä replikointi vie kaikkea kaistaa kotiverkossa olevilta muilta koneilta.
*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [[ramdisk]]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri toimii ja DRBD-osioilta saa tiedot vaikka vain kaksi konetta olisi päällä niin kun menee tilttiin niin kaikki tieto on vaarassa hävitä.
*OpenNebula control ja Linstor controlleria voi ajaa vaikka pöytäkoneella Docker-konteissa ja WakeOnLan:illa käynnistää klusterin koneet vain silloin ja sitä mukaa kun niitä tarvii, niin se näkyy kyllä kodin sähkölaskussa. Etenkin jos klusterissa on vaikka 8 kpl servereitä, kuten tämän artikkelin alkuperäisellä kirjoittajalla on artikkelin kirjoittamisen aikaan.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]
*[https://docs.opennebula.io/6.0/installation_and_configuration/containerized_deployment/architecture_deployment.html Frontend node Docker/Podman kontissa(englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-05T18:49:17Z

Kimmo: /* Asennetaan OpenNebula */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one/datastores- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir -p /var/lib/one/datastores && sudo mount /dev/drbd1000 /var/lib/one/datastores

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one/datastores

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:
sudo apt install augeas-tools libnbd-bin ruby-sqlite3 ipset rsync ruby jq vlan
mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

HUOM! Oneadmin kayttäjän kotikansio on /var/lib/one ja ssh tiedot myös tallentuu ja haetaan sieltä. isäntiä ei saa lisättyä control-nodeen ellei näistä sijainneista löytyviä ssh-avaimia luoda ja kopioida esim. [[scp]]:n avulla koneelta toiselle /var/lib/one/.ssh/authorized_keys tiedostoon.

OpenNebula käyttää myös kansiota /var/tmp/one mutta asennuspaketti ei joka kerta sitä uudelle koneelle asennettaessa luo, joku bugi ilmeisesti, jolloin klusteri ei toimi. Siinä tapauksessa puuttuva /var/tmp/one kansio taytyy vain luoda [[mkdir]]-komennolla ja [[chown]]illa vaihtaa sen omistusoikeus oneadminille.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Useissa netistä löytyvissä ohjeissa suositellaan tai jopa käsketään konffata kahta verkkokorttia käyttäen. Siinä tietysti puolensa, koska helpompaa tehdä kahdella verkkoliitynnällä. Mutta vaikka asennetaan kaks verkkokorttia niin kannattaa bondata verkkoyhteydet ja [[vlan]]ia hyödyntäen niillä verkkoyhteydet koneille, niin on aina maksimit käytössä, eikä replikointi vie kaikkea kaistaa kotiverkossa olevilta muilta koneilta.
*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [[ramdisk]]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri toimii ja DRBD-osioilta saa tiedot vaikka vain kaksi konetta olisi päällä niin kun menee tilttiin niin kaikki tieto on vaarassa hävitä.
*OpenNebula control ja Linstor controlleria voi ajaa vaikka pöytäkoneella Docker-konteissa ja WakeOnLan:illa käynnistää klusterin koneet vain silloin ja sitä mukaa kun niitä tarvii, niin se näkyy kyllä kodin sähkölaskussa. Etenkin jos klusterissa on vaikka 8 kpl servereitä, kuten tämän artikkelin alkuperäisellä kirjoittajalla on artikkelin kirjoittamisen aikaan.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-04T08:28:23Z

Kimmo: /* Viritysvinkkejä */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one/datastores- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir -p /var/lib/one/datastores && sudo mount /dev/drbd1000 /var/lib/one/datastores

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one/datastores

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

HUOM! Oneadmin kayttäjän kotikansio on /var/lib/one ja ssh tiedot myös tallentuu ja haetaan sieltä. isäntiä ei saa lisättyä control-nodeen ellei näistä sijainneista löytyviä ssh-avaimia luoda ja kopioida esim. [[scp]]:n avulla koneelta toiselle /var/lib/one/.ssh/authorized_keys tiedostoon.

OpenNebula käyttää myös kansiota /var/tmp/one mutta asennuspaketti ei joka kerta sitä uudelle koneelle asennettaessa luo, joku bugi ilmeisesti, jolloin klusteri ei toimi. Siinä tapauksessa puuttuva /var/tmp/one kansio taytyy vain luoda [[mkdir]]-komennolla ja [[chown]]illa vaihtaa sen omistusoikeus oneadminille.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Useissa netistä löytyvissä ohjeissa suositellaan tai jopa käsketään konffata kahta verkkokorttia käyttäen. Siinä tietysti puolensa, koska helpompaa tehdä kahdella verkkoliitynnällä. Mutta vaikka asennetaan kaks verkkokorttia niin kannattaa bondata verkkoyhteydet ja [[vlan]]ia hyödyntäen niillä verkkoyhteydet koneille, niin on aina maksimit käytössä, eikä replikointi vie kaikkea kaistaa kotiverkossa olevilta muilta koneilta.
*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [[ramdisk]]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri toimii ja DRBD-osioilta saa tiedot vaikka vain kaksi konetta olisi päällä niin kun menee tilttiin niin kaikki tieto on vaarassa hävitä.
*OpenNebula control ja Linstor controlleria voi ajaa vaikka pöytäkoneella Docker-konteissa ja WakeOnLan:illa käynnistää klusterin koneet vain silloin ja sitä mukaa kun niitä tarvii, niin se näkyy kyllä kodin sähkölaskussa. Etenkin jos klusterissa on vaikka 8 kpl servereitä, kuten tämän artikkelin alkuperäisellä kirjoittajalla on artikkelin kirjoittamisen aikaan.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-04T08:22:48Z

Kimmo: /* Viritysvinkkejä */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one/datastores- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir -p /var/lib/one/datastores && sudo mount /dev/drbd1000 /var/lib/one/datastores

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one/datastores

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

HUOM! Oneadmin kayttäjän kotikansio on /var/lib/one ja ssh tiedot myös tallentuu ja haetaan sieltä. isäntiä ei saa lisättyä control-nodeen ellei näistä sijainneista löytyviä ssh-avaimia luoda ja kopioida esim. [[scp]]:n avulla koneelta toiselle /var/lib/one/.ssh/authorized_keys tiedostoon.

OpenNebula käyttää myös kansiota /var/tmp/one mutta asennuspaketti ei joka kerta sitä uudelle koneelle asennettaessa luo, joku bugi ilmeisesti, jolloin klusteri ei toimi. Siinä tapauksessa puuttuva /var/tmp/one kansio taytyy vain luoda [[mkdir]]-komennolla ja [[chown]]illa vaihtaa sen omistusoikeus oneadminille.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Useissa netistä löytyvissä ohjeissa suositellaan tai jopa käsketään konffata kahta verkkokorttia käyttäen. Siinä tietysti puolensa, koska helpompaa tehdä kahdella verkkoliitynnällä. Mutta vaikka asennetaan kaks verkkokorttia niin kannattaa bondata verkkoyhteydet ja [[vlan]]ia hyödyntäen niillä verkkoyhteydet koneille, niin on aina maksimit käytössä, eikä replikointi vie kaikkea kaistaa kotiverkossa olevilta muilta koneilta.
*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [[ramdisk]]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri toimii ja DRBD-osioilta saa tiedot vaikka vain kaksi konetta olisi päällä niin kun menee tilttiin niin kaikki tieto on vaarassa hävitä.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-03T14:09:58Z

Kimmo: /* Viritysvinkkejä */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one/datastores- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir -p /var/lib/one/datastores && sudo mount /dev/drbd1000 /var/lib/one/datastores

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one/datastores

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

HUOM! Oneadmin kayttäjän kotikansio on /var/lib/one ja ssh tiedot myös tallentuu ja haetaan sieltä. isäntiä ei saa lisättyä control-nodeen ellei näistä sijainneista löytyviä ssh-avaimia luoda ja kopioida esim. [[scp]]:n avulla koneelta toiselle /var/lib/one/.ssh/authorized_keys tiedostoon.

OpenNebula käyttää myös kansiota /var/tmp/one mutta asennuspaketti ei joka kerta sitä uudelle koneelle asennettaessa luo, joku bugi ilmeisesti, jolloin klusteri ei toimi. Siinä tapauksessa puuttuva /var/tmp/one kansio taytyy vain luoda [[mkdir]]-komennolla ja [[chown]]illa vaihtaa sen omistusoikeus oneadminille.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Useissa netistä löytyvissä ohjeissa suositellaan tai jopa käsketään konffata kahta verkkokorttia käyttäen. Siinä tietysti puolensa, koska helpompaa tehdä kahdella verkkoliitynnällä. Mutta vaikka asennetaan kaks verkkokorttia niin kannattaa bondata verkkoyhteydet ja [[vlan]]ia hyödyntäen niillä verkkoyhteydet koneille, niin on aina maksimit käytössä, eikä replikointi vie kaikkea kaistaa kotiverkossa olevilta muilta koneilta.
*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [[ramdisk]]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri ja DRBD-osioilta saa tiedot vaikka vain yksi kone olisi päällä niin siitä kun levy(t) menee tilttiin niin kaikki tieto on vaarassa hävitä.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-03T14:08:53Z

Kimmo: /* Viritysvinkkejä */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one/datastores- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir -p /var/lib/one/datastores && sudo mount /dev/drbd1000 /var/lib/one/datastores

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one/datastores

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

HUOM! Oneadmin kayttäjän kotikansio on /var/lib/one ja ssh tiedot myös tallentuu ja haetaan sieltä. isäntiä ei saa lisättyä control-nodeen ellei näistä sijainneista löytyviä ssh-avaimia luoda ja kopioida esim. [[scp]]:n avulla koneelta toiselle /var/lib/one/.ssh/authorized_keys tiedostoon.

OpenNebula käyttää myös kansiota /var/tmp/one mutta asennuspaketti ei joka kerta sitä uudelle koneelle asennettaessa luo, joku bugi ilmeisesti, jolloin klusteri ei toimi. Siinä tapauksessa puuttuva /var/tmp/one kansio taytyy vain luoda [[mkdir]]-komennolla ja [[chown]]illa vaihtaa sen omistusoikeus oneadminille.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Useissa netistä löytyvissä ohjeissa suositellaan tai jopa käsketään konffata kahta verkkokorttia käyttäen. Siinä tietysti puolensa, koska helpompaa tehdä kahdella verkkoliitynnällä. Mutta vaikka asennetaan kaks verkkokorttia niin kannattaa bondata verkkoyhteydet ja [[vlan]]ia hyödyntäen niillä verkkoyhteydet, niin on aina maksimit käytössä, eikä replikointi vie kaikkea kaistaa kotiverkossa olevilta muilta koneilta.
*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [[ramdisk]]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri ja DRBD-osioilta saa tiedot vaikka vain yksi kone olisi päällä niin siitä kun levy(t) menee tilttiin niin kaikki tieto on vaarassa hävitä.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Homelab

2024-05-03T06:08:26Z

Kimmo: /* Katso myös */

{{Ohjelma
| kuva=[[Tiedosto:Homelab.jpg|pienoiskuva]]
| kotisivu=[https://www.reddit.com/r/homelab/ Redditin homelab-osio]
}}

Homelab sanalle ei löydy hyvää suomenkielistä vastinetta. Se kuitenkin on kotona tai pienessä organisaatiossa ylläpidetty tietokoneiden, palvelinten ja verkkojen ympäristö. Se on kuin oma pieni laboratorio, jossa voit kokeilla, testata ja oppia uusia teknologioita ilman suurta investointia. Homelab voi sisältää esimerkiksi seuraavia komponentteja:

* Palvelimet: Voit asentaa ja ylläpitää erilaisia palvelimia, kuten web-palvelimia, tiedostopalvelimia, sähköpostipalvelimia ja muita.
* Verkkolaitteet: Voit harjoitella verkon konfigurointia ja hallintaa käyttämällä reitittimiä, kytkimiä ja muita verkkolaitteita.
* Virtualisointi: Voit luoda virtuaalisia ympäristöjä käyttämällä hypervisoreita, kuten VMware ESXi, Microsoft Hyper-V tai Proxmox.
* Tietokannat: Voit asentaa ja ylläpitää tietokantoja, kuten MariaDB, PostgreSQL tai MongoDB.
* Ohjelmistokehitys: Voit harjoitella ohjelmointia ja sovellusten kehittämistä omassa ympäristössäsi.

Homelab on loistava tapa oppia ja kehittää taitojasi tietotekniikan alalla. Se voi myös olla hauska harrastus, joka tarjoaa mahdollisuuden kokeilla erilaisia teknologioita ja rakentaa omia projekteja.

==Katso myös==

[[Debian_homelab(opennebula,_drbd,_linstor_ja_ocfs2)]]

[[Luokka:Kehitystyökalut]]

Homelab

2024-05-03T06:08:06Z

Kimmo:

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-03T05:59:19Z

Kimmo: /* Viritysvinkkejä */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one/datastores- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir -p /var/lib/one/datastores && sudo mount /dev/drbd1000 /var/lib/one/datastores

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one/datastores

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

HUOM! Oneadmin kayttäjän kotikansio on /var/lib/one ja ssh tiedot myös tallentuu ja haetaan sieltä. isäntiä ei saa lisättyä control-nodeen ellei näistä sijainneista löytyviä ssh-avaimia luoda ja kopioida esim. [[scp]]:n avulla koneelta toiselle /var/lib/one/.ssh/authorized_keys tiedostoon.

OpenNebula käyttää myös kansiota /var/tmp/one mutta asennuspaketti ei joka kerta sitä uudelle koneelle asennettaessa luo, joku bugi ilmeisesti, jolloin klusteri ei toimi. Siinä tapauksessa puuttuva /var/tmp/one kansio taytyy vain luoda [[mkdir]]-komennolla ja [[chown]]illa vaihtaa sen omistusoikeus oneadminille.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Useissa netistä löytyvissä ohjeissa suositellaan tai jopa käsketään konffata kahta verkkokorttia käyttäen. Siinä tietysti puolensa, koska helpompaa tehdä kahdella verkkoliitynnällä. Mutta vaikka asennetaan kaks verkkokorttia niin kannattaa verkkoyhteydet tehdä [[vlan]]ia hyödyntäen niin on aina maksimit käytössä, eikä replikointi vie kaikkea kaistaa kotiverkossa olevilta muilta koneilta.
*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [[ramdisk]]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri ja DRBD-osioilta saa tiedot vaikka vain yksi kone olisi päällä niin siitä kun levy(t) menee tilttiin niin kaikki tieto on vaarassa hävitä.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-03T05:56:32Z

Kimmo: /* Viritysvinkkejä */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one/datastores- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir -p /var/lib/one/datastores && sudo mount /dev/drbd1000 /var/lib/one/datastores

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one/datastores

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

HUOM! Oneadmin kayttäjän kotikansio on /var/lib/one ja ssh tiedot myös tallentuu ja haetaan sieltä. isäntiä ei saa lisättyä control-nodeen ellei näistä sijainneista löytyviä ssh-avaimia luoda ja kopioida esim. [[scp]]:n avulla koneelta toiselle /var/lib/one/.ssh/authorized_keys tiedostoon.

OpenNebula käyttää myös kansiota /var/tmp/one mutta asennuspaketti ei joka kerta sitä uudelle koneelle asennettaessa luo, joku bugi ilmeisesti, jolloin klusteri ei toimi. Siinä tapauksessa puuttuva /var/tmp/one kansio taytyy vain luoda [[mkdir]]-komennolla ja [[chown]]illa vaihtaa sen omistusoikeus oneadminille.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Useissa nesitä löytyvissä ohjeissa suositellaan tai jopa käsketään konffata kahta verkkokorttia käyttäen. Siinä tietysti puolensa, koska helpompaa tehdä kahdella verkkoliitynnällä. Mutta vaikka asennetaan kaks verkkokorttia niin kannattaa verkkoyhteydet tehdä [[vlan]]ia hyödyntäen niin on aina maksimit käytössä, eikä replikointi vie kaikkea kaistaa kotiverkossa olevilta muilta koneilta.
*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [[ramdisk]]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri ja DRBD-osioilta saa tiedot vaikka vain yksi kone olisi päällä niin siitä kun levy(t) menee tilttiin niin kaikki tieto on vaarassa hävitä.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-03T05:51:34Z

Kimmo: /* Ocfs2-tiedostojärjestelmän asennus ja käyttöönotto */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one/datastores- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir -p /var/lib/one/datastores && sudo mount /dev/drbd1000 /var/lib/one/datastores

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one/datastores

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

HUOM! Oneadmin kayttäjän kotikansio on /var/lib/one ja ssh tiedot myös tallentuu ja haetaan sieltä. isäntiä ei saa lisättyä control-nodeen ellei näistä sijainneista löytyviä ssh-avaimia luoda ja kopioida esim. [[scp]]:n avulla koneelta toiselle /var/lib/one/.ssh/authorized_keys tiedostoon.

OpenNebula käyttää myös kansiota /var/tmp/one mutta asennuspaketti ei joka kerta sitä uudelle koneelle asennettaessa luo, joku bugi ilmeisesti, jolloin klusteri ei toimi. Siinä tapauksessa puuttuva /var/tmp/one kansio taytyy vain luoda [[mkdir]]-komennolla ja [[chown]]illa vaihtaa sen omistusoikeus oneadminille.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [[ramdisk]]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri ja DRBD-osioilta saa tiedot vaikka vain yksi kone olisi päällä niin siitä kun levy(t) menee tilttiin niin kaikki tieto on vaarassa hävitä.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-01T20:06:36Z

Kimmo: /* Luodaan DRBD/Linstor klusteri */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir /var/lib/one/datastores && sudo mount /dev/drbd1000 /var/lib/one/datastores

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one/datastores

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

HUOM! Oneadmin kayttäjän kotikansio on /var/lib/one ja ssh tiedot myös tallentuu ja haetaan sieltä. isäntiä ei saa lisättyä control-nodeen ellei näistä sijainneista löytyviä ssh-avaimia luoda ja kopioida esim. [[scp]]:n avulla koneelta toiselle /var/lib/one/.ssh/authorized_keys tiedostoon.

OpenNebula käyttää myös kansiota /var/tmp/one mutta asennuspaketti ei joka kerta sitä uudelle koneelle asennettaessa luo, joku bugi ilmeisesti, jolloin klusteri ei toimi. Siinä tapauksessa puuttuva /var/tmp/one kansio taytyy vain luoda [[mkdir]]-komennolla ja [[chown]]illa vaihtaa sen omistusoikeus oneadminille.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [[ramdisk]]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri ja DRBD-osioilta saa tiedot vaikka vain yksi kone olisi päällä niin siitä kun levy(t) menee tilttiin niin kaikki tieto on vaarassa hävitä.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-01T20:05:26Z

Kimmo: /* Ocfs2-tiedostojärjestelmän asennus ja käyttöönotto */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan volume-ryhmä:

linstor volume-group create homelabrg

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir /var/lib/one/datastores && sudo mount /dev/drbd1000 /var/lib/one/datastores

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one/datastores

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

HUOM! Oneadmin kayttäjän kotikansio on /var/lib/one ja ssh tiedot myös tallentuu ja haetaan sieltä. isäntiä ei saa lisättyä control-nodeen ellei näistä sijainneista löytyviä ssh-avaimia luoda ja kopioida esim. [[scp]]:n avulla koneelta toiselle /var/lib/one/.ssh/authorized_keys tiedostoon.

OpenNebula käyttää myös kansiota /var/tmp/one mutta asennuspaketti ei joka kerta sitä uudelle koneelle asennettaessa luo, joku bugi ilmeisesti, jolloin klusteri ei toimi. Siinä tapauksessa puuttuva /var/tmp/one kansio taytyy vain luoda [[mkdir]]-komennolla ja [[chown]]illa vaihtaa sen omistusoikeus oneadminille.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [[ramdisk]]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri ja DRBD-osioilta saa tiedot vaikka vain yksi kone olisi päällä niin siitä kun levy(t) menee tilttiin niin kaikki tieto on vaarassa hävitä.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-01T20:03:05Z

Kimmo: /* Asennetaan OpenNebula */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan volume-ryhmä:

linstor volume-group create homelabrg

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir /var/lib/one && sudo mount /dev/drbd1000 /var/lib/one

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

HUOM! Oneadmin kayttäjän kotikansio on /var/lib/one ja ssh tiedot myös tallentuu ja haetaan sieltä. isäntiä ei saa lisättyä control-nodeen ellei näistä sijainneista löytyviä ssh-avaimia luoda ja kopioida esim. [[scp]]:n avulla koneelta toiselle /var/lib/one/.ssh/authorized_keys tiedostoon.

OpenNebula käyttää myös kansiota /var/tmp/one mutta asennuspaketti ei joka kerta sitä uudelle koneelle asennettaessa luo, joku bugi ilmeisesti, jolloin klusteri ei toimi. Siinä tapauksessa puuttuva /var/tmp/one kansio taytyy vain luoda [[mkdir]]-komennolla ja [[chown]]illa vaihtaa sen omistusoikeus oneadminille.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [[ramdisk]]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri ja DRBD-osioilta saa tiedot vaikka vain yksi kone olisi päällä niin siitä kun levy(t) menee tilttiin niin kaikki tieto on vaarassa hävitä.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-01T19:58:22Z

Kimmo: /* Asennetaan OpenNebula */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan volume-ryhmä:

linstor volume-group create homelabrg

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir /var/lib/one && sudo mount /dev/drbd1000 /var/lib/one

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

HUOM! Oneadmin kayttäjän kotikansio on /var/lib/one ja ssh tiedot myös tallentuu ja haetaan sieltä. isäntiä ei saa lisättyä control-nodeen ellei näistä sijainneista löytyviä ssh-avaimia luoda ja kopioida esim. [[scp]]:n avulla koneelta toiselle /var/lib/one/.ssh/authorized_keys tiedostoon.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [[ramdisk]]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri ja DRBD-osioilta saa tiedot vaikka vain yksi kone olisi päällä niin siitä kun levy(t) menee tilttiin niin kaikki tieto on vaarassa hävitä.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-01T19:46:59Z

Kimmo: /* Viritysvinkkejä */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan volume-ryhmä:

linstor volume-group create homelabrg

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir /var/lib/one && sudo mount /dev/drbd1000 /var/lib/one

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [[ramdisk]]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri ja DRBD-osioilta saa tiedot vaikka vain yksi kone olisi päällä niin siitä kun levy(t) menee tilttiin niin kaikki tieto on vaarassa hävitä.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-01T19:46:15Z

Kimmo: /* Viritysvinkkejä */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan volume-ryhmä:

linstor volume-group create homelabrg

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir /var/lib/one && sudo mount /dev/drbd1000 /var/lib/one

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [[Verkkoliitynnät_monipuolisemmin#Yhteysnopeuden_kasvattaminen_ryhmitt.C3.A4m.C3.A4ll.C3.A4|bondingilla]] ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [ramdisk]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [[zpool]]-pakka [[RAIDZ]]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [[RAID]]0-tasoa. Tässä systeemissä on [[varmuuskopiointi]] aivan äärimmäisen tärkeää. Vaikka klusteri ja DRBD-osioilta saa tiedot vaikka vain yksi kone olisi päällä niin siitä kun levy(t) menee tilttiin niin kaikki tieto on vaarassa hävitä.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-01T19:43:04Z

Kimmo:

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan volume-ryhmä:

linstor volume-group create homelabrg

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir /var/lib/one && sudo mount /dev/drbd1000 /var/lib/one

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Viritysvinkkejä==

*Klusterin nopeutta saa kasvatettua huomattavasti verkkokorttien [bonding]illa ja/tai tietenkin 2,5Gbitin tai jopa 10 Gigan verkkokorteilla ja kytkimillä.
*Toisekseen klusterin nopeutta saa kasvatettua paljon NVME-levyillä ja suurella määrällä RAM-muistia ja ajamalla niitä sovelluksia ja/tai virtuaalikoneita [ramdisk]issä jotka tarvitsevat paljon nopeutta/tehoa
*Helppo ja halpa tapa kasvattaa nopeutta on tietysti rakentaa [zpool]-pakka [RAIDZ]-muotoon stripingiä hyödyntymällä, joka vastaa muiden tiedostojärjestelmien [RAID]0-tasoa. Tässä systeemissä on [varmuuskopiointi] aivan äärimmäisen tärkeää. Vaikka klusteri ja DRBD-osioilta saa tiedot vaikka vain yksi kone olisi päällä niin siitä kun levy(t) menee tilttiin niin kaikki tieto on vaarassa hävitä.

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Käyttäjä:Kimmo

2024-05-01T17:38:08Z

Kimmo:

-72 syntynyt yrittäjä, insinööriopiskelija ja Debian-fani vuosituhannen alusta saakka.

'''4.11.2023
Edit:'''

Edelleen insinööriopiskelija, mutta 30 vuoden jälkeen entinen yrittäjä, nykyisin projektipäällikkö ja 20 vuoden käytön/fanituksen jälkeen mm. [https://papers.freebsd.org/2018/bsdcan/rice-The_Tragedy_of_systemd.files/rice-The_Tragedy_of_systemd.pdf systemd]:n vuoksi siirtymässä pois alkuperäisestä Debianista, vaikka jakelu onkin kokonaisuudessa loistava.

Työasemana toimii [https://support.apple.com/kb/sp688?locale=fi_FI iMac], josta MacOSX on vaihdettu [https://mxlinux.org/ MX Linuxiin](Debian-pohjainen ilman systemd:tä). Pääservut on [https://support.hp.com/us-en/document/c03270936 HP Z620] ja [https://support.hp.com/id-en/document/c03277050 HP Z420] ja niissä perustana [https://alpinelinux.org/ Alpine Linux], molemmissa [https://www.linux-kvm.org/ KVM virtualisointiympäristö] ja virtuaalikoneissa pyörii kaikkea peruslinuxjuttujen lisäksi [https://genode.org/ Genodesta] [https://fi.wikipedia.org/wiki/Berkeley_Software_Distribution BSD-jakelujen] kautta aina [https://sysguides.com/install-a-windows-11-virtual-machine-on-kvm/ Windows 11] ja [https://github.com/kholia/OSX-KVM MacOsX Venturaan] saakka. Palomuureina ja reitittiminä toimii [https://support.hp.com/hk-en/document/c04356040 HP 520 thin clienteissä] [https://opnsense.org/ OpnSense] ja [https://openwrt.org/ OPENwrt] kahdennettuna.

Lisäksi löytyy kaikennumeroisia Raspeja ja muuta sälää. Käyttöjärjestelmäpuolella tällä hetkellä eniten kiinnostaa [https://opennebula.io/ OpenNebula] [https://www.netbsd.org/ NetBSD], [https://en.wikipedia.org/wiki/Rump_kernel rumpkernelit] ja [https://sel4.systems/ se4L].

Pelkkä harrastelija kuitenkin tässä vain ollaan. Ja pitkästä aikaa yritän myös tänne kirjoittaa jotain tai edes päivittää vanhaa tietoa.

Discord -palvelin: [https://discord.gg/dkmE8dDvCY Linux, BSD ja Posix]

'''27.4.2024
Edit:'''

MXLinuxista ja Alpine Linuxista luovuttu ja palattu Debian 11 ja 12 käyttöjärjestelmiin. Muuten sama.

'''1.5.2024
Edit:'''

Yli viiskymmppinen ukko, joka ei enää haihattele it-alan firmasta tai työllistymisestä it-alalle, joten jakaa pikkuhiljaa täällä kaiken tiedon mitä on vuosien saatossa it-järjestelmistä kertynyt. Jos vaikka niistä tiedoista joku nuorempi voisi vaikka hyötyä.

'''Linux-aloittelijoille:''' Palvelinkokoonpanon rakentaminen voi koukuttaa pahoin.
Siitä huolimatta se on erittäin palkitseva kokemus, ja muutaman kuukauden kuluttua huomaat, ettet koskaan katso taaksepäin.
Varmista, että sinulla on aikaa sukeltaa sisään ja ymmärtää, mistä on kyse.
Linux on yksi maailman parhaiten dokumentoiduista käyttöjärjestelmistä!
Hyödynnä sitä tarjolla olevaa tietoa.

[http://linux.fi/wiki/Toiminnot:Muokkaukset/Kimmo Muokkaukseni linux.fi:ssä]

[https://github.com/kipester Github reponi, lähinnä forkkauksia muiden repoista]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-01T14:45:30Z

Kimmo: /* Asennetaan OpenNebula */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan volume-ryhmä:

linstor volume-group create homelabrg

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir /var/lib/one && sudo mount /dev/drbd1000 /var/lib/one

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä libvirt ja docker-ryhmiin

sudo adduser oneadmin docker && sudo adduser oneadmin libvirt

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-01T11:38:48Z

Kimmo: /* Asennetaan DRBD ja Linstor */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt -y install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan volume-ryhmä:

linstor volume-group create homelabrg

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir /var/lib/one && sudo mount /dev/drbd1000 /var/lib/one

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä docker-ryhmään

sudo adduser oneadmin docker

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-01T11:38:20Z

Kimmo: /* Asennetaan DRBD ja Linstor */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt -y install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan volume-ryhmä:

linstor volume-group create homelabrg

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir /var/lib/one && sudo mount /dev/drbd1000 /var/lib/one

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä docker-ryhmään

sudo adduser oneadmin docker

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-01T11:37:54Z

Kimmo: /* Asennetaan DRBD ja Linstor */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
sudo apt install curl zip && curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan volume-ryhmä:

linstor volume-group create homelabrg

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir /var/lib/one && sudo mount /dev/drbd1000 /var/lib/one

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä docker-ryhmään

sudo adduser oneadmin docker

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Käyttäjä:Kimmo

2024-05-01T11:07:29Z

Kimmo:

-72 syntynyt yrittäjä, insinööriopiskelija ja Debian-fani vuosituhannen alusta saakka.

'''4.11.2023
Edit:'''

Edelleen insinööriopiskelija, mutta 30 vuoden jälkeen entinen yrittäjä, nykyisin projektipäällikkö ja 20 vuoden käytön/fanituksen jälkeen mm. [https://papers.freebsd.org/2018/bsdcan/rice-The_Tragedy_of_systemd.files/rice-The_Tragedy_of_systemd.pdf systemd]:n vuoksi siirtymässä pois alkuperäisestä Debianista, vaikka jakelu onkin kokonaisuudessa loistava.

Työasemana toimii [https://support.apple.com/kb/sp688?locale=fi_FI iMac], josta MacOSX on vaihdettu [https://mxlinux.org/ MX Linuxiin](Debian-pohjainen ilman systemd:tä). Pääservut on [https://support.hp.com/us-en/document/c03270936 HP Z620] ja [https://support.hp.com/id-en/document/c03277050 HP Z420] ja niissä perustana [https://alpinelinux.org/ Alpine Linux], molemmissa [https://www.linux-kvm.org/ KVM virtualisointiympäristö] ja virtuaalikoneissa pyörii kaikkea peruslinuxjuttujen lisäksi [https://genode.org/ Genodesta] [https://fi.wikipedia.org/wiki/Berkeley_Software_Distribution BSD-jakelujen] kautta aina [https://sysguides.com/install-a-windows-11-virtual-machine-on-kvm/ Windows 11] ja [https://github.com/kholia/OSX-KVM MacOsX Venturaan] saakka. Palomuureina ja reitittiminä toimii [https://support.hp.com/hk-en/document/c04356040 HP 520 thin clienteissä] [https://opnsense.org/ OpnSense] ja [https://openwrt.org/ OPENwrt] kahdennettuna.

Lisäksi löytyy kaikennumeroisia Raspeja ja muuta sälää. Käyttöjärjestelmäpuolella tällä hetkellä eniten kiinnostaa [https://opennebula.io/ OpenNebula] [https://www.netbsd.org/ NetBSD], [https://en.wikipedia.org/wiki/Rump_kernel rumpkernelit] ja [https://sel4.systems/ se4L].

Pelkkä harrastelija kuitenkin tässä vain ollaan. Ja pitkästä aikaa yritän myös tänne kirjoittaa jotain tai edes päivittää vanhaa tietoa.

Discord -palvelin: [https://discord.gg/dkmE8dDvCY Linux, BSD ja Posix]

'''27.4.2024
Edit:'''

MXLinuxista ja Alpine Linuxista luovuttu ja palattu Debian 11 ja 12 käyttöjärjestelmiin. Muuten sama.

'''1.5.2024
Edit:'''

Yli viiskymmppinen ukko, joka ei enää haihattele it-alan firmasta tai työllistymisestä it-alalle, joten jakaa pikkuhiljaa täällä kaiken tiedon mitä on vuosien saatossa it-järjestelmistä kertynyt. Jos vaikka niistä tiedoista joku nuorempi voisi vaikka hyötyä.

'''Linux-aloittelijoille:''' Palvelinkokoonpanon rakentaminen voi koukuttaa pahoin.
Siitä huolimatta se on erittäin palkitseva kokemus, ja muutaman kuukauden kuluttua huomaat, ettet koskaan katso taaksepäin.
Varmista, että sinulla on aikaa sukeltaa sisään ja ymmärtää, mistä on kyse.
Linux on yksi maailman parhaiten dokumentoiduista käyttöjärjestelmistä!
Hyödynnä sitä tarjolla olevaa tietoa.

Muokkaukseni linux.fi:ssä:

http://linux.fi/wiki/Toiminnot:Muokkaukset/Kimmo

Käyttäjä:Kimmo

2024-05-01T11:03:05Z

Kimmo:

-72 syntynyt yrittäjä, insinööriopiskelija ja Debian-fani vuosituhannen alusta saakka.

'''4.11.2023
Edit:'''

Edelleen insinööriopiskelija, mutta 30 vuoden jälkeen entinen yrittäjä, nykyisin projektipäällikkö ja 20 vuoden käytön/fanituksen jälkeen mm. [https://papers.freebsd.org/2018/bsdcan/rice-The_Tragedy_of_systemd.files/rice-The_Tragedy_of_systemd.pdf systemd]:n vuoksi siirtymässä pois alkuperäisestä Debianista, vaikka jakelu onkin kokonaisuudessa loistava.

Työasemana toimii [https://support.apple.com/kb/sp688?locale=fi_FI iMac], josta MacOSX on vaihdettu [https://mxlinux.org/ MX Linuxiin](Debian-pohjainen ilman systemd:tä). Pääservut on [https://support.hp.com/us-en/document/c03270936 HP Z620] ja [https://support.hp.com/id-en/document/c03277050 HP Z420] ja niissä perustana [https://alpinelinux.org/ Alpine Linux], molemmissa [https://www.linux-kvm.org/ KVM virtualisointiympäristö] ja virtuaalikoneissa pyörii kaikkea peruslinuxjuttujen lisäksi [https://genode.org/ Genodesta] [https://fi.wikipedia.org/wiki/Berkeley_Software_Distribution BSD-jakelujen] kautta aina [https://sysguides.com/install-a-windows-11-virtual-machine-on-kvm/ Windows 11] ja [https://github.com/kholia/OSX-KVM MacOsX Venturaan] saakka. Palomuureina ja reitittiminä toimii [https://support.hp.com/hk-en/document/c04356040 HP 520 thin clienteissä] [https://opnsense.org/ OpnSense] ja [https://openwrt.org/ OPENwrt] kahdennettuna.

Lisäksi löytyy kaikennumeroisia Raspeja ja muuta sälää. Käyttöjärjestelmäpuolella tällä hetkellä eniten kiinnostaa [https://opennebula.io/ OpenNebula] [https://www.netbsd.org/ NetBSD], [https://en.wikipedia.org/wiki/Rump_kernel rumpkernelit] ja [https://sel4.systems/ se4L].

Pelkkä harrastelija kuitenkin tässä vain ollaan. Ja pitkästä aikaa yritän myös tänne kirjoittaa jotain tai edes päivittää vanhaa tietoa.

Discord -palvelin: [https://discord.gg/dkmE8dDvCY Linux, BSD ja Posix]

'''27.4.2024
Edit:'''

MXLinuxista ja Alpine Linuxista luovuttu ja palattu Debian 11 ja 12 käyttöjärjestelmiin. Muuten sama.

'''1.5.2024
Edit:'''

Yli viiskymmppinen ukko, joka ei enää haihattele it-alan firmasta tai työllistymisestä it-alalle, joten jakaa pikkuhiljaa täällä kaiken tiedon mitä on vuosien saatossa it-järjestelmistä kertynyt. Jos vaikka niistä tiedoista joku nuorempi voisi vaikka hyötyä.

'''Linux-aloittelijoille: Palvelinkokoonpanon rakentaminen voi koukuttaa pahoin.
Siitä huolimatta se on erittäin palkitseva kokemus, ja muutaman kuukauden kuluttua huomaat, ettet koskaan katso taaksepäin.
Varmista, että sinulla on aikaa sukeltaa sisään ja ymmärtää, mistä on kyse.
Linux on yksi maailman parhaiten dokumentoiduista käyttöjärjestelmistä!
Hyödynnä sitä tarjolla olevaa tietoa.'''

Muokkaukseni linux.fi:ssä:

http://linux.fi/wiki/Toiminnot:Muokkaukset/Kimmo

Käyttäjä:Kimmo

2024-05-01T10:57:37Z

Kimmo:

-72 syntynyt yrittäjä, insinööriopiskelija ja Debian-fani vuosituhannen alusta saakka.

'''4.11.2023
Edit:'''

Edelleen insinööriopiskelija, mutta 30 vuoden jälkeen entinen yrittäjä, nykyisin projektipäällikkö ja 20 vuoden käytön/fanituksen jälkeen mm. [https://papers.freebsd.org/2018/bsdcan/rice-The_Tragedy_of_systemd.files/rice-The_Tragedy_of_systemd.pdf systemd]:n vuoksi siirtymässä pois alkuperäisestä Debianista, vaikka jakelu onkin kokonaisuudessa loistava.

Työasemana toimii [https://support.apple.com/kb/sp688?locale=fi_FI iMac], josta MacOSX on vaihdettu [https://mxlinux.org/ MX Linuxiin](Debian-pohjainen ilman systemd:tä). Pääservut on [https://support.hp.com/us-en/document/c03270936 HP Z620] ja [https://support.hp.com/id-en/document/c03277050 HP Z420] ja niissä perustana [https://alpinelinux.org/ Alpine Linux], molemmissa [https://www.linux-kvm.org/ KVM virtualisointiympäristö] ja virtuaalikoneissa pyörii kaikkea peruslinuxjuttujen lisäksi [https://genode.org/ Genodesta] [https://fi.wikipedia.org/wiki/Berkeley_Software_Distribution BSD-jakelujen] kautta aina [https://sysguides.com/install-a-windows-11-virtual-machine-on-kvm/ Windows 11] ja [https://github.com/kholia/OSX-KVM MacOsX Venturaan] saakka. Palomuureina ja reitittiminä toimii [https://support.hp.com/hk-en/document/c04356040 HP 520 thin clienteissä] [https://opnsense.org/ OpnSense] ja [https://openwrt.org/ OPENwrt] kahdennettuna.

Lisäksi löytyy kaikennumeroisia Raspeja ja muuta sälää. Käyttöjärjestelmäpuolella tällä hetkellä eniten kiinnostaa [https://opennebula.io/ OpenNebula] [https://www.netbsd.org/ NetBSD], [https://en.wikipedia.org/wiki/Rump_kernel rumpkernelit] ja [https://sel4.systems/ se4L].

Pelkkä harrastelija kuitenkin tässä vain ollaan. Ja pitkästä aikaa yritän myös tänne kirjoittaa jotain tai edes päivittää vanhaa tietoa.

Discord -palvelin: [https://discord.gg/dkmE8dDvCY Linux, BSD ja Posix]

'''27.4.2024
Edit:'''

MXLinuxista ja Alpine Linuxista luovuttu ja palattu Debian 11 ja 12 käyttöjärjestelmiin. Muuten sama.

'''1.5.2024
Edit:'''

Yli viiskymmppinen ukko, joka ei enää haihattele it-alan firmasta tai työllistymisestä it-alalle, joten jakaa pikkuhiljaa täällä kaiken tiedon mitä on vuosien saatossa it-järjestelmistä kertynyt. Jos vaikka niistä tiedoista joku nuorempi voisi vaikka hyötyä.

Muokkaukseni linux.fi:ssä:

http://linux.fi/wiki/Toiminnot:Muokkaukset/Kimmo

T2 Järjestelmä kehitysympäristö

2024-05-01T10:53:38Z

Kimmo:

{{Jakelu
| nimi=T2SDE
| logo=
| kuva=
| kuvateksti=
| julkaisija=
| viimeisin versio=[https://dl.t2sde.org/binary/2024/ 24.5]
| päivämäärä=27.4.2024
| julkaisusykli=
| elinkaari=
| pakettienhallinta=
| tila=toiminnassa
| arkkitehtuurit= aarch64, alpha, armel, ia64, loongarch64, mipsel, mips64, m68k, nios2, powerpc, powerpc64, riscv, riscv64, s390x, sparc64, superh, x86, x86_64
| äitijakelu=
| sukulaisjakelut=
| kotisivu=[https://t2sde.org/ T2SDE]
}}

T2 haarautui yhteisövetoisena ROCK Linux projektista, jonka tavoitteena oli luoda hajautettu kehitys ja mahdollistaa puitteet spin-off-projekteille ja mukautetuille jakeluille. Toinen tavoite oli tarjota jatkuvampi julkaisuvirta vakaille tietoturvapäivityksille.

T2:lla voit määrittää kohteita useisiin eri tarkoituksiin, aina sulautetuista Linux-järjestelmistä, joiden koko on muutaman megatavu palvelinkokoonpanoissa, täysiin työpöytäjärjestelmiin, joissa on X.Org Foundation, KDE, Gnome, OpenOffice.Org ja monet muut. Nämä kohteet voidaan kääntää käytettäväksi yleisimmissä arkkitehtuureissa: Alpha, ARM, HPPA (sis. HPPA64), IA64, MIPS, PowerPC (sis. PowerPC-64), SPARC (sis. SPARC64), SuperH, x86 (sis. x86-64) - teoriassa mikä tahansa GCC/Linux-tuettu.

T2 Järjestelmä kehitysympäristö

2024-05-01T10:53:06Z

Kimmo: Ak: Uusi sivu: {{Jakelu | nimi=T2SDE | logo= | kuva= | kuvateksti= | julkaisija= | viimeisin versio=[https://dl.t2sde.org/binary/2024/ 24.5] | päivämäärä=27.4.2024 | julkaisusykli= | elinkaari= | pakettienhallinta= | tila=toiminnassa | arkkitehtuurit= aarch64, alpha, armel, ia64, loongarch64, mipsel, mips64, m68k, nios2, powerpc, powerpc64, riscv, riscv64, s390x, sparc64, superh, x86, x86_64 | äitijakelu= | sukulaisjakelut= | kotisivu=[https://t2sde.org/] }} T2 haarautui yhteisövet...

{{Jakelu
| nimi=T2SDE
| logo=
| kuva=
| kuvateksti=
| julkaisija=
| viimeisin versio=[https://dl.t2sde.org/binary/2024/ 24.5]
| päivämäärä=27.4.2024
| julkaisusykli=
| elinkaari=
| pakettienhallinta=
| tila=toiminnassa
| arkkitehtuurit= aarch64, alpha, armel, ia64, loongarch64, mipsel, mips64, m68k, nios2, powerpc, powerpc64, riscv, riscv64, s390x, sparc64, superh, x86, x86_64
| äitijakelu=
| sukulaisjakelut=
| kotisivu=[https://t2sde.org/]
}}

T2 haarautui yhteisövetoisena ROCK Linux projektista, jonka tavoitteena oli luoda hajautettu kehitys ja mahdollistaa puitteet spin-off-projekteille ja mukautetuille jakeluille. Toinen tavoite oli tarjota jatkuvampi julkaisuvirta vakaille tietoturvapäivityksille.

T2:lla voit määrittää kohteita useisiin eri tarkoituksiin, aina sulautetuista Linux-järjestelmistä, joiden koko on muutaman megatavu palvelinkokoonpanoissa, täysiin työpöytäjärjestelmiin, joissa on X.Org Foundation, KDE, Gnome, OpenOffice.Org ja monet muut. Nämä kohteet voidaan kääntää käytettäväksi yleisimmissä arkkitehtuureissa: Alpha, ARM, HPPA (sis. HPPA64), IA64, MIPS, PowerPC (sis. PowerPC-64), SPARC (sis. SPARC64), SuperH, x86 (sis. x86-64) - teoriassa mikä tahansa GCC/Linux-tuettu.

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-01T10:32:40Z

Kimmo: /* Asennetaan Bridge-utils KVM, Qemu, libvirt ja Docker */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan volume-ryhmä:

linstor volume-group create homelabrg

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir /var/lib/one && sudo mount /dev/drbd1000 /var/lib/one

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä docker-ryhmään

sudo adduser oneadmin docker

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-01T10:31:57Z

Kimmo: /* Asennetaan Bridge-utils KVM, Qemu, libvirt ja Docker */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan volume-ryhmä:

linstor volume-group create homelabrg

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir /var/lib/one && sudo mount /dev/drbd1000 /var/lib/one

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Luodaan verkkosilta OpenNebulaan asennettaville virtuaalikoneille

sudo nano /etc/network/interfaces

[[DHCP]] silta(ei suositeltava) konfiguraatiosta tehdään tälläinen:
# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual
#Bridge br1 network configurations

auto br1
iface br1 inet dhcp
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

Tai suositeltava staattininen silta konfiguraatiosta tehdään tälläinen:

# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
allow-hotplug enp0s25
iface enp0s25 inet manual

#Bridge br1 network configurations
auto br1
iface br1 inet static
address 192.168.1.200
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports enp0s25
bridge_stp off # disable Spanning Tree Protocol
bridge_waitport 0 # no delay before a ort becomes available
bridge_fd 0 # no forwarding delay

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä docker-ryhmään

sudo adduser oneadmin docker

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Debian homelab(opennebula, drbd, linstor ja ocfs2)

2024-05-01T10:21:25Z

Kimmo: /* Asennetaan KVM, Qemu, libvirt ja Docker */

[[Tiedosto:135e3d55-669d-4e0e-95fe-66dfd6d6b783.jpg|pienoiskuva]]
Tässä luodaan kolmen Debian 11/12 palvelimen [[homelab]] ja/tai testiklusteri.

== Laitteistovaatimukset ==
Jokaisessa 3:ssa koneessa tulee minimissään löytyä seuraavat ominaisuudet:
* 4GB RAM
* 2 ytiminen prosessori(suositeltava minimi 4 ydintä) ja valmistajasta riippuen [https://en.wikipedia.org/wiki/X86_virtualization#Processor VT-x tai AMD-V ominaisuudella]
* 1 kpl kiintolevy 10GB (/dev/sda), jossa juuriosio ja johon on asennettu käyttöjärjestelmä
* 1 kpl kiintolevy 50GB (/dev/sdb), joka liitetään klusterin yhteiseksi levyksi
* 1 kpl Gigabitin verkkokortti RJ-45

Laittistovaatimuksille ei perinteisesti ole ylärajaa. Edellämainitut ominaisuudet siis minimi vaatimukset ja mitä tehokkaampi laitteisto käytössä, sitä sulavammin ohjelmisto toimii.

== Ohjelmistovaatimukset ==
* 1 kpl (controlnode)Debian 11 tuoreella minimaalisella asennuksella. Tämä palvelin toimii sekä osana klusteria, että käyttöliittymänä ja hallitsee muita klusterissa olevia palvelimia ja palveluita.
* 2 kpl(node 1 ja 2) Debian 12 tuoreella minimaalisella asennuksella.

Tässä ohjeessa emme käy [[Debian]]in perusasennusta läpi, koska onnistuakseen tässä pitää osata asentaa Debian ja tietää myös muita peruskäsitteitä Debianista ja Linux-järjestelmästä yleisesti.

Seuraavat toimenpiteet tehdään jokaisessa klusterin palvelimessa.

== Muokataan /etc/hosts- tiedosto ==

sudo nano /etc/hosts

Lisätään rivit:

192.168.1.200 control.lan control
192.168.1.201 node-1.lan node-1
192.168.1.202 node-2.lan node-2

Poistutaan ctrl+x

== Asennetaan [[ZFS]] -tiedostojärjestelmä ==

sudo apt install apt linux-headers-amd64 zfsutils-linux zfs-dkms zfs-zed

== Luodaan [[zpool]] looginen varanto ==

Haetaan /dev/sdb:n disk-id

ls -lh /dev/disk/by-id/

Luodaan varanto tulosteesta saadusta disk-id:stä
Debian 11:
sudo zpool create controltank <disk-id>
Debian 12 node-1
sudo zpool create nodetank1 <disk-id>
Debian 12 node-2
sudo zpool create nodetank2 <disk-id>

== Asennetaan [[DRBD]] ja [[Linstor]] ==

Debianin pakettivarastoista ei löydy Linstoria, eikä sen vaatimaa DRBD 9 versiota, pelkästään version nro 8 löytyy, eikä se tue kuin kahta palvelinta, eikä myöskään Linstor tue kasiversiota. Joten käännämme tarvittavat paketit Ubuntun PPA:sta löytyvistä paketeista.

Nämä pitää tehdä Debian 11 koneella ja toisella Debian 12 koneella, valmiit .deb paketit voi kopioida ja asentaa käännöskoneena käytetyltä Debian 12 koneelta toiselle.

Asennetaan Debian SDK

sudo apt install devscripts build-essential dkms

Asennetaan [https://sdkman.io/ SDKMAN] ja Linstorin vaatima uusin [https://gradle.org/ Gradle] sen avulla.

SDKMAN:
curl -s "https://get.sdkman.io" | bash

Ja sen jälkeen Gradle:
sdk install gradle 8.7

'''HUOM! Tässä ohjeessa haetaan uusimmat ohjeen kirjoittamisen aikaan(27.4.2024) olleet dsc:t. Linbitin PPA:sta poistuu vanhoja ja uusia tulee tilalle melko usein, joten ei kannata tästä suoraan copypeistata, vaan hakea uusimmat dsc:t täältä: [https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+packages Linbit/Ubuntu PPA DRBD9 stack] '''

Luodaan kansiot ja haetaan Ubuntun PPA:sta dsc-tiedot:

cd ~ && mkdir drbd && mkdir drbd-utils && mkdir -p linstor/server && mkdir -p linstor/client && mkdir -p linstor/python && mkdir drbd-linstor-debs

Kernelin tarvitsema DRBD-moduuli:
cd drbd && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd/9.2.9~rc.1-1ppa1~jammy1/drbd_9.2.9~rc.1-1ppa1~jammy1.dsc
cd drbd-9.2.9~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-dkms*.deb drbd-ueficert*.deb ~/drbd-linstor-debs/ && cd ..

Käyttöjärjestelmän tarvitsema drbd-utils paketti:
cd drbd-utils && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/drbd-utils/9.28.0~rc.1-1ppa1~jammy1/drbd-utils_9.28.0~rc.1-1ppa1~jammy1.dsc
cd drbd-utils-9.28.0~rc.1 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv drbd-utils*.deb ~/drbd-linstor-debs/ && cd ..

Linstor server paketit:
cd linstor/server && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-server/1.27.0-1ppa1~jammy1/linstor-server_1.27.0-1ppa1~jammy1.dsc
cd linstor-server-1.27.0

nano debian/control
Muutetaan Build-Dependseistä
gradle (>=4.4.1-13)
Tallennetaan ja poistutaan ctrl+x

sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor client paketti:
cd client && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/linstor-client/1.22.0-1ppa1~jammy1/linstor-client_1.22.0-1ppa1~jammy1.dsc
cd linstor-client-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv linstor*.deb ~/drbd-linstor-debs/ && cd ..

Linstor python paketti:
cd python && dget --extract --allow-unauthenticated https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack/+sourcefiles/python-linstor/1.22.0-1ppa1~jammy1/python-linstor_1.22.0-1ppa1~jammy1.dsc
cd python-linstor-1.22.0 && sudo mk-build-deps --install --remove && dpkg-buildpackage --build=binary --no-sign && cd ..
mv python-linstor*.deb ~/drbd-linstor-debs/ && cd ~/drbd-linstor-debs/

Asennetaan riippuvuudet ja käännetyt paketit:

sudo apt install python3-natsort && sudo dpkg -i *.deb

Paketit asentuvat yleensä puhtaaseen Debian-asennukseen, mutta jos on tehty pienikin muokkaus niin häiriöitä voi esiintyä. Jos paketit eivät asennu ilman erroreita niin komento:

sudo reboot

Ja pakettien uudelleenasennus:

cd ~/drbd-linstor-debs/ && sudo dpkg -i *.deb

Jos vieläkään ei asennu niin komento:

sudo dmesg

Myös /var/log-tiedoston tutkiminen voi auttaa. Jos mikään ei auta niin paketit verkkolevylle tai muistitikulle talteen ja Debianin uudelleenasennus ja sitten pakettien asennus "puhtaaseen tauluun".

== Luodaan DRBD/Linstor klusteri ==

'''Huom! Nämä komennot annetaan AINOASTAAN Debian 11 control-koneessa.'''

Käynnistetään ja kytketään linstor-controller päälle:

sudo systemctl enable --now linstor-controller

Lisätään palvelimet klusteriin:

linstor node create control 192.168.1.200 --node-type combined
linstor node create node-1 192.168.1.201
linstor node create node-1 192.168.1.202

Komennolla:
linstor node list

Tulostuu seuraavaa:

{| class="wikitable"
|-
! Node !! NodeType !! Addresses !! State
|-
| control || COMBINED || 192.168.1.200:3366 (PLAIN) || Online
|-
| node-1 || SATELLITE || 192.168.1.201:3366 (PLAIN) || Online
|-
| node-2 || SATELLITE || 192.168.1.202:3366 (PLAIN) || Online
|}

Luodaan tallennusvaranto:

linstor storage-pool create zfs control homelabpool controltank
linstor storage-pool create zfs node-1 homelabpool nodetank1
linstor storage-pool create zfs node-2 homelabpool nodetank2

Komennolla:
linstor storage-pool list

Tulostuu jotakuinkin seuraavaa:

{| class="wikitable"

|-
! StoragePool !! Node !! Driver !! PoolName !! FreeCapacity !! TotalCapacity !! CanSnapshots !! State !! SharedName
|-
| DfltDisklessStorPool || control || DISKLESS || || || || False || Ok || control;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-1 || DISKLESS || || || || False || Ok || node-1;DfltDisklessStorPool
|-
| DfltDisklessStorPool || node-2 || DISKLESS || || || || False || Ok || node-2;DfltDisklessStorPool
|-
| homelabpool || control || ZFS || controltank || 50.00 GiB || 50.00 GiB || True || Ok || control;homelabpool
|-
| homelabpool || node-1 || ZFS || nodetank1 || 50.00 GiB || 50.00 GiB || True || Ok || node-1;homelabpool
|-
| homelabpool || node-2 || ZFS || nodetank2 || 50.00 GiB || 50.00 GiB || True || Ok || node-2;homelabpool
|-
|}

Luodaan resurssiryhmä ja määritellään tallennustila sille:

linstor resource-group create homelabrg --storage-pool homelabpool --place-count 3

Luodaan volume-ryhmä:

linstor volume-group create homelabrg

Luodaan looginen tallennustila:

linstor resource-definition create homelabdisk0
linstor volume-definition create homelabdisk0 40G
linstor resource create control homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool
linstor resource create node-1 homelabdisk0 --storage-pool homelabpool

Tarkistuskomento:

linstor resource-definition list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Port !! ResourceGroup !! State
|-
| homelabdisk0 || 7000 || DfltRscGrp || ok
|-
|}

Ja jos kaikki meni oikein niin tarkastuskomento:

linstor resource list

Tulostaa jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || Unused || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || Unused || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || Unused || Ok || UpToDate || 2024-04-26 17:59:13
|}

Seuraavaksi sallitaan kaikkien klusterin palvelinten liittää samanaikaisesti Linstorin luoma jaettu /dev/drbd1000 resurssi:

linstor controller drbd-options --allow-two-primaries yes

'''<big>Huom! Tuota yllämainittua komentoa/ominaisuutta ei voi käyttää kuin [[Ocfs2]] ja [[GFS2]] tiedostojärjestelmien kanssa. Muilla(esim. [[ext4]] tai [[btrfs]] )järjestelmä vikaantuu pahasti.</big>'''

== [[Ocfs2]]-tiedostojärjestelmän asennus ja käyttöönotto ==

Seuraavat komennot annetaan jälleen kaikissa kolmessa palvelimessa.

Asennetaan komennolla:

sudo apt install ocfs2-tools

Luodaan klusteri:

sudo o2cb add-cluster homelabcluster

Lisätään palvelimet klusteriin:

sudo o2cb add-node homelabcluster control --ip 192.168.1.200 --port 7777 --number 0
sudo o2cb add-node homelabcluster node-1 --ip 192.168.1.201 --port 7777 --number 1
sudo o2cb add-node homelabcluster node-2 --ip 192.168.1.202 --port 7777 --number 2

Rekisteröidään klusteri:

sudo o2cb register-cluster homelabcluster

Tarkistetaan klusterin asetustiedosto:

cat /etc/ocfs2/cluster.conf

Jos kaikki meni oikein sen pitäisi antaa seuraanvan kaltainen tuloste:

cluster:
name = homelabcluster
heartbeat_mode = local
node_count = 3
node:
cluster = homelabcluster
number = 0
ip_port = 7777
ip_address = 192.168.1.200
name = control
node:
cluster = homelabcluster
number = 1
ip_port = 7777
ip_address = 192.168.1.201
name = node-1
node:
cluster = homelabcluster
number = 2
ip_port = 7777
ip_address = 192.168.1.202
name = node-2

'''HUOM! Debianin paketissa on bugi ja klusteri ei käynnisty ennenkuin teet pari manuaalista liitosta komennoilla. Tämä täytyy EHKÄ tehdä jokaisen käynnistyksen jälkeen, tai automatisoida se esimerkiksi crontabiin:'''

sudo mount -t ocfs2_dlmfs none /dlm && sudo sudo mount -t configfs none /config

Mikäli edellinen komento antaa virheen ja juuritiedostojärjestelmässä ei ole kansioita dlm ja config, voit luoda ne ja liittää komennolla:

sudo mkdir /dlm && sudo mkdir /config && sudo mount -t ocfs2_dlmfs none /dlm && sudo mount -t configfs none /config

Tämän jälkeen klusteri voidaan käynnistää kaikissa kolmessa palvelimessa komennolla ja samalla tarkistaa toiminta:

sudo /etc/init.d/o2cb start && sudo /etc/init.d/o2cb status

Tuloste pitäisi olla esimerkiksi Debian 12 node-1:ssä tämän kaltainen:

o2cb.service - LSB: Load O2CB cluster services at system boot.
Loaded: loaded (/etc/init.d/o2cb; generated)
Active: active (running) since Sat 2024-04-27 13:25:20 EEST; 3s ago
Docs: man:systemd-sysv-generator(8)
Process: 45895 ExecStart=/etc/init.d/o2cb start (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 9371)
Memory: 236.0K
CPU: 73ms
CGroup: /system.slice/o2cb.service
`-45942 o2hbmonitor
Apr 27 13:25:20 node-1 systemd[1]: Starting o2cb.service - LSB: Load O2CB cluster services at system boot....
Apr 27 13:25:20 node-1 o2cb[45895]: checking debugfs...
Apr 27 13:25:20 node-1 o2cb[45895]: Loading stack plugin "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Loading filesystem "ocfs2_dlmfs": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Mounting ocfs2_dlmfs filesystem at /dlm: OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting cluster stack "o2cb": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Registering O2CB cluster "homelabcluster": OK
Apr 27 13:25:20 node-1 o2cb[45895]: Setting O2CB cluster timeouts : OK
Apr 27 13:25:20 node-1 o2hbmonitor[45942]: Starting
Apr 27 13:25:20 node-1 systemd[1]: Started o2cb.service - LSB: Load O2CB cluster services at system boot..

Nyt voidaan luoda ocfs2-tiedostojärjestelmä Linstorin luomaan DRDB-osioon.

'''Seuraava komento annetaan ainoastaan Debian 11 control nodessa:'''

sudo mkfs.ocfs2 -b 4k -C 1M -N 3 -L homelab /dev/drbd1000

Jossa -b block size, -C cluster size, -N node count, -L label

Tiedostojärjestelmän luonnin jälkeen tehdään kaikissa palvelimissa /var/lib/one- kansio ja liitetään /dev/drbd1000 siihen seuraavalla komennolla:

sudo mkdir /var/lib/one && sudo mount /dev/drbd1000 /var/lib/one

Tarkistetaan lsblk -f komennolla:

lsblk -f

Joka tulostaa levyt/tiedostojärjestelmät ja jos kaikki meni kaikilla palvelimilla oikein niin tulosteesta pitäisi löytyä rivi:
zd0 drbd v09
└─drbd1000

Vielä voi tarkistaa df -h komennolla, että drbd laite on liitetty:

df -h

Tulosteesta pitäisi löytyä jotakuinkin tälläinen rivi:

/dev/drbd1000 50G 0,1G 50G 1% /var/lib/one

Ja jos kaikki meni oikein niin linstorin tarkastuskomento:

linstor resource list

Tulostaa nyt jotakuinkin seuraavaa:

{| class="wikitable"
|-
! ResourceName !! Node !! Port !! Usage !! Conns !! State !! CreatedON
|-
| homelabdisk0 || control || || InUse || Ok || UpToDate || 2024-04-26 17:55:13
|-
| homelabdisk0 || node-1 || || InUse || Ok || UpToDate || 2024-04-26 17:58:13
|-
| homelabdisk0 || node-2 || || InUse || Ok || UpToDate || 2024-04-26 17:59:13
|}

== Asennetaan [[Bridge-utils]] [[KVM]], [[Qemu]], [[libvirt]] ja [[Docker]] ==

Bridge-utils, [[KVM]], Qemu ja libvirt asennetaan seuraavalla komennolla:

sudo apt -y install bridge-utils qemu-system libvirt-daemon-system

[[Docker]] asennetaan seuraavasti:

sudo apt update
sudo apt -y install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

== Asennetaan [[OpenNebula]] ==

'''Nämä komennot vain Debian 11 control node.'''

Lisätään pakettivaraston avain ja pakettivarasto:

sudo -i
wget -q -O- https://downloads.opennebula.io/repo/repo2.key | gpg --dearmor --yes --output /etc/apt/keyrings/opennebula.gpg
echo "deb [signed-by=/etc/apt/keyrings/opennebula.gpg] https://downloads.opennebula.io/repo/6.8/Debian/11 stable opennebula" > /etc/apt/sources.list.d/opennebula.list
exit

Asennetaan Opennebula käyttöliittymä ja virtualisointiympäristö:

sudo apt update && sudo apt -y install opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow opennebula-provision opennebula-node-kvm docker-machine-opennebula

Lisätään asennuksen luoma oneadmin käyttäjä docker-ryhmään

sudo adduser oneadmin docker

Vaihdetaan oneadmin-käyttäjäksi ja lisätään salasana:

sudo -u oneadmin /bin/sh

echo 'oneadmin:vaihdaminut123' > /var/lib/one/.one/one_auth

Kytketään ja käynnistetään OpenNebula:

sudo systemctl enable --now opennebula opennebula-sunstone opennebula-fireedge opennebula-gate opennebula-flow

Jos kaikki meni putkeen ja palomuurista portti 9869 auki, voit selaimella mennä osoitteeseen https://<debian11_control_ip-osoite>:9869

Ja kirjautua oneadmin käyttäjänä ja aiemmin antamallisi salasanalla hallintapaneeliin.

'''Nämä komennot vain Debian 12 koneissa.'''

Koska osassa opennebulan paketeista on vielä tätä ohjetta kirjoitettaessa ristiriitaisuuksia Debian 12:n pakettien kanssa niin asennetaan pelkästään varmasti toimivat paketit näihin palvelimiin seuraavasti:

mkdir opennebula && cd opennebula
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-common-onecfg_6.8.0-1_all.deb
wget https://downloads.opennebula.io/repo/6.8/Debian/11/pool/opennebula/opennebula-node-kvm_6.8.0-1_all.deb
sudo dpkg -i *.deb && sudo apt -f install

Oneadmin-käyttäjälle täytyy luoda salasanaton [[ssh]]-kirjautuminen palvelimien välille ja sitten voidaan Debian 12 palvelimet lisätä Debian 11 hallintapaneelista virtuaalikoneisänniksi.

==Huomiota==
* Nyt on kolmen palvelimen korkean käytettävyyden [[homelab]] -perusta konfiguroitu.

* Klusteriin voi nyt lisätä palvelimia ja lisätä ne [[OpenNebula]]an isänniksi. Voi lisätä kovalevyjä ja tehdä niistä [[Linstor]]in ja [[Ocfs2]]:n avulla lisää jaettuja levyjä ja ajaa vaikka [[NFS]] ja/tai [[Samba]] -servereitä niillä.

* Voi lisätä [[Docker]] -kontteja eri sovelluksille tai ajaa vaikka [[Kubernetes]]tä klusterissa

* Voi rakentaa kokonaisen virtualisoidun pilviympäristön palomuureineen, verkkolevyineen reitittimineen yms.

* Yhteisen jaetun levyn ansiosta voit sulavasti siirtää jopa sammuttamatta virtuaalikoneen isännältä toiselle. Ks. [https://en.wikipedia.org/wiki/Live_migration Wikipedian Live migration artikkeli(englanniksi)]

* Voi ajaa klusterin päällä esim. [[Distcc]]:tä ja tehdä esim. Linux-[[ytimen_kääntäminen]] nopeammaksi. Tai minkä muun paketin tahansa.

==Erittäin tärkeää==

* Linstoria ajetaan tässä dual-primary moodissa ja äkillisen virtakatkoksen tai muun häiriön tapahtutuessa palvelinten uudelleenkäynnistyksen yhteydessä saattaa tapahtua nk. [https://www.google.com/search?q=split+brain+drbd&sca_esv=ee520a4c543f855e&sxsrf=ACQVn08x_CGXtg7oj1_8Cg7hJNlTDRbH9g%3A1714227872009&ei=oAotZrQLpY3A8A_v4JCoDg&udm=&oq=split+brain+dr&gs_lp=Egxnd3Mtd2l6LXNlcnAiDnNwbGl0IGJyYWluIGRyKgIIAjIIEAAYgAQYywEyCBAAGIAEG split-brain reaktio], joka tarkoittaa, että palvelin ei tiedä miltä koneelta tieto haetaan replikoitavaksi ja on haasteellista saada järjestelmä tästä virheestä toipumaan ilman uudelleenasennusta ja tietojen häviämistä. Joten etenkin tuotantokäytössä on syytä heti käyttöönoton jälkeen aloittaa [[crontab]]in ja vaikka [[rsync]]in avulla Linstorin DRBD-osion säännöllinen tiheä [[varmuuskopiointi]].

==Aiheesta muualla==
*[https://openzfs.org/wiki/Main_Page OpenZFS wiki (englanniksi)]
*[https://linbit.com/user-guides-and-product-documentation/ DRBD ja Linstor virallinen dokumentaatio (enlanniksi)]
*[https://brian-candler.medium.com/linstor-networked-storage-without-the-complexity-c3178960ce6b Linstor klusterin tekeminen LXC kontteihin (englanniksi)]
*[https://pub.nethence.com/storage/drbd-linstor DRBD ja Linstor -ohje (englanniksi)]
*[https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack Linbitin Ubuntu paketit]
*[https://wiki.debian.org/BuildingTutorial#Method_1:_apt_source Debian wikin pakettien teko-ohje (englanniksi)]
*[https://wiki.debian.org/CreatePackageFromPPA Debian wikin Ubuntu pakettien käännösohje (englanniksi)]
*[https://ocfs2.wiki.kernel.org/ Ocfs2 wiki (englanniksi)]
*[https://docs.docker.com/engine/install/debian/ Dockerin Debian dokumentaatio (englanniksi)]
*[https://libvirt.org/ Libvirt dokumentaatio (englanniksi)]
*[https://linux-kvm.org/page/Main_Page KVM hypervisorin dokumentaatio (englanniksi)]
*[https://docs.opennebula.io/6.8/overview/opennebula_concepts/opennebula_overview.html OpenNebulan virallinen dokumentaatio (englanniksi)]
*[https://computingforgeeks.com/install-opennebula-kvm-node-on-debian/ OpenNebula KVM-noden konfigurointi -ohje (englanniksi)]

[[Luokka:Verkko]]
[[Luokka:Tiedostojärjestelmät]]
[[Luokka:Ohjeet]]
[[Luokka:Debian GNU/Linux]]
[[Luokka:Palvelimet]]
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Pilvipalvelut]]

Muita käyttöjärjestelmäytimiä

2024-04-28T20:10:03Z

Kimmo: /* Aiheesta muualla */

Tässä artikkelissa listataan muutamia [[POSIX]]-yhteensopivia käyttöjärjestelmäytimiä. Voit käyttää suurinta osaa tämän wikin vinkeistä myös näillä järjestelmillä niiden POSIX-yhteensopivuuden ja [[GNU]]-ohjelmien hyvän siirrettävyyden vuoksi.

==OpenSolaris==
''Katso myös pääartikkeli [[OpenSolaris]].''

OpenSolaris oli [[Sun Microsystems|Sun Microsystemsin]] kehittämä käyttöjärjestelmä, joka perustui Solaris 10 -järjestelmään, joka oli aikaisemmin maksullinen ja suljettu järjestelmä. OpenSolariksen lähdekoodi on avattu [[CDDL]]-lisensillä. OpenSolariksen kehitys on sittemmin loppunut ja seuraaja on [https://illumos.org/ Illumos]

===Aiheesta muualla===
* [[wikipedia:OpenSolaris|OpenSolaris Wikipediassa]]
* [http://www.opensolaris.org/ OpenSolaris.org]
* [https://illumos.org/docs/about/history/ Illumos historia]

==GNU Hurd==
GNU Hurd on [[GNU]]-projektin käyttöjärjestelmäydin, joka käyttää pohjana [[GNU Mach]]-mikroydintä. Hurd laajentaa Machia mm. laitteistoajureilla. Hurdin nimi on lyhenne, joka tarkoittaa [[Unix]]in korvaavien [[taustaprosessi]]en laumaa (Hird of Unix Replacing Daemons).

Hurdia tukevia jakeluja ovat esimerkiksi [[Debian GNU/Hurd]] sekä [[Arch Hurd]].

===Aiheesta muualla===
*[http://www.gnu.org/software/hurd/hurd.html GNU Hurd]
*[[wikipedia:fi:GNU_Hurd|GNU Hurd Wikipediassa]]

==L4==

L4 on kokonainen mikroydin-järjestelmäperhe josta löytyy monia haaroja. Esimerkiksi:

* [http://hypervisor.org/ NOVA]
* [https://sel4.systems/ se4l]
* [http://os.inf.tu-dresden.de/fiasco/ Fiasco.OC]

===Aiheesta muualla===
* [https://genode.org/ Genode käyttöjärjestelmä kehys/kehitysympäristö]

==Redox==

RedoxOS on uusi potentiaalinen [[Rust]]illa kirjoitettu käyttöjärjestelmä. Sen ydin perustuu mikroydin arkkitehtuuriin, kuten esimerkiksi Minix, Hurd ja L4.

===Aiheesta muualla===
* [https://www.redox-os.org/ Redox OS kotisivu]

==BSD==
BSD eli Berkeley Software Distribution on UNIX-käyttöjärjestelmä, joka kehitettiin Berkeleyn yliopistossa. Sen lähdekoodi avattiin 1990-luvun alussa, mutta UNIXin alkuperäisen kehittäjäyhtiön (AT&T) nostaman oikeusjutun takia varsinainen käyttöönotto viivästyi muutamalla vuodella (sillä välin [[Linus Torvalds]] kyllästyi [[MS-DOS]]iin ja aloitti Linuxin kehittämisen). Nykyään BSD:tä kehitetään ainakin [[FreeBSD]]-, [[NetBSD]]- ja [[OpenBSD]]-projekteissa. Eri BSD-versioille tyypillistä on oman ytimen kehittäminen, vaikkakin lähdekoodipohja on kaikissa sama.

===Aiheesta muualla===
*[[wikipedia:fi:BSD|BSD Wikipediassa]]

==Aiheesta muualla==
*[https://wiki.osdev.org/Projects OSdevin kattava lista avoimen koodin käyttöjärjestelmistä ja ytimistä(kaikki eivät ole Posix-yhteensopivia)]

[[Luokka:Järjestelmä]]
[[Luokka:Ydin]]

Muita käyttöjärjestelmäytimiä

2024-04-28T20:09:40Z

Kimmo:

VirtualBox

2024-04-28T20:00:37Z

Kimmo:

{{Ohjelma
| nimi=Oracle VM VirtualBox
| kuva=
| kuvateksti=
| lisenssi=[[GPL]]v2
| käyttöliittymä=[[Qt]]
| kotisivu=[https://www.virtualbox.org/ www.virtualbox.org]
}}

[[Kuva:Virtualbox-windowsxp.png|thumb|200px|right|VirtualBox OSE ajamassa Windows XP:tä]]
'''Oracle VM VirtualBox''' (aiemmin '''Sun VirtualBox''', '''Sun xVM VirtualBox''' ja '''Innotek VirtualBox''') on alun perin saksalaisen InnoTek GmbH:n kehittämä [[Luokka:Virtualisointi|type 2]] virtualisointiohjelmisto, jota [[Oracle]] nykyään kehittää ostettuaan InnoTekin ostaneen [[Sun Microsystems|Sunin]]. VirtualBoxin avoimen lähdekoodin versio (''VirtualBox OSE'') löytyy nykyisellään useimpien [[jakelu]]iden pakettivarastoista ja on varsin käyttökelpoinen, varsinkin erikseen noudettavan virtualisoituun käyttöjärjestelmään asennettavan "VirtualBox Guest Additions"-ohjelmiston kanssa. VirtualBox soveltuu sekä työpöytävirtualisointiin että palvelinkäyttöön. Siihen on saatavilla erilaisia käyttöliittymiä eri tarkoituksia varten: työpöytäkäyttöön soveltuvan Qt-käyttöliittymän lisäksi löytyy [[framebuffer]]ia käyttävä <tt>VBoxSDL</tt> ja <tt>VBoxHeadless</tt>, joka ei tarjoa paikallista konsolia virtuaalikoneeseen ollenkaan. Suljetun lähdekoodin versiossa on tarjolla myös <tt>VBoxRDP</tt>, joka tarjoaa [[RDP]]-konsolin verkon yli käytettäväksi.

Virtualbox on vapaa ja käyttäjäystävällinen virtualisointiohjelma, jolla uuden virtuaalikoneen luominen ja käyttö ovat helppoa. Uutta virtuaalikonetta luotaessa valitaan koneelle halutut perusominaisuudet, kuten muistin määrä, kiintolevykuvan koko, käytettävä optinen asema (isäntäkoneen asema tai levykuva) ja asennettavan käyttöjärjestelmän tyyppi. Tämän jälkeen uusi virtuaalikone käynnistetään ja siihen asennetaan käyttöjärjestelmä aivan kuten mihin tahansa tyhjään tietokoneeseen. Asennuksen jälkeen virtuaalikone on käynnistettävissä parilla hiiren napsautuksella. Virtuaalikoneen käyttö eroaa tavallisen koneen käytöstä pääasiassa vain siinä, että sen näyttönä toimii yksi isäntäkoneen ikkuna ja jotkin sen "laitteistoista" saattavat toimia hieman normaalia vajaammin. Esimerkiksi näytön 3D-tehosteet eivät välttämättä ole käytettävissä virtuaalikoneessa samoin kuin isäntäkoneen USB-laitteet.

VirtualBoxin mahdollisia käyttökohteita ovat esimerkiksi:

* uusien (tai vanhojen) käyttöjärjestelmien ja niiden versioiden kokeilu
* jonkin sellaisen sovellusohjelman käyttäminen, jota ei ole saatavilla suoraan normaalisti käytössä olevaan isäntäjärjestelmään (esimerkiksi www-sivujen testaaminen Internet Explorerilla Linux-järjestelmässä asentamalla virtuaalikoneeseen Windows ja siihen IE)
* palvelinasennuksen testaaminen virtuaalikoneessa "sotkematta" varsinaista järjestelmää
* oman, itselle tutun järjestelmän käyttäminen lainakoneessa

VirtualBoxissa on mahdollista ottaa virtuaalikoneista myös niin kutsuttuja snapshotteja. Tällä tarkoitetaan virtuaalikoneen sen hetkisen tilan tallentamista. Samasta virtuaalikoneesta voi siis olla tallessa useampia erilaisissa tiloissa olevia snapshotteja, joiden välillä voidaan helposti siirtyä. Tämä tekniikka on erityisen kätevää, kun halutaan esimerkiksi tallentaa järjestelmän tila ennen jonkin suuremman ohjelman tai päivityksen asentamista siltä varalta, että asennus epäonnistuu tai jostain muusta syystä osoittautuu virheeksi.

VirtualBox vaatii toimiakseen riittävän tehokkaan isäntäkoneen, eli isäntäkoneessa tulee olla muistia ja prosessoritehoa riittävästi sekä isännän että vieraan käyttöön. Samoin isännän kiintolevyllä on oltava riittävästi tilaa kaikkien luotujen virtuaalikoneiden ja niihin asennettujen käyttöjärjestelmien sekä ohjelmien tallennukseen. 2010-luvulta alkaen lähes kaikissa x86-prosessoreissa on mukana käskykannan virtualisointilaajennoksia, joiden avulla virtualisoinnin aiheuttama suorituskykyhukka on saatu siedettävälle tasolle.

Type 2 hypervisorina Virtualbox ei pysty hyödyntää suoraan laitteistoa, koska tuki PCI Passtroughelle on puutteellinen, joten esimerkiksi raskaiden pelien pelaaminen tai muiden paljon resursseja vaativien ohjelmien käyttäminen ei Virtualboxilla ole miellyttävää.

VirtualBoxiin on myös asennettavissa yksityiskäyttöön ilmainen, mutta epävapaa, laajennuspaketti (VirtualBox Extension Pack) joka mahdollistaa muun muassa isäntäkoneen USB-porttien käytön suoraan vierasjärjestelmästä käsin.

==Asennus==
{{asenna|VirtualBox OSE|virtualbox-ose</tt> tai <tt>VirtualBox-OSE}} Asennus saattaa vaatia [[epäviralliset pakettilähteet|epävirallisten pakettivarastojen]] käyttöön ottamista.

Update 27.4.2024 ei Virtualbox OSE ei enää löydy useiden jakeluiden virallisista pakettilähteistä, vaan useimmiten vaatii [[Oraclen]] pakettivarastojen käyttöönoton.

==Virtualbox-KVM==

Saksalainen [https://www.cyberus-technology.de/ Cyberus technology] yritys on kehittänyt Virtualboxia type 1 hypervisorin suuntaan muokkaamalla koodia niin, että Virtualbox käyttää Linuxin ytimeen vakiona sisältyvää KVM-hypervisoria. Tällöin Virtualboxissa olevat virtuaalikoneet pystyvät kommunikoimaan suoraan muiden KVM:ää käyttäviä virtuaalikoneita, myös PCI passtrough ominaisuudet toimivat paremmin, eikä myöskään erillistä vboxdrv:tä tarvitse ytimelle asentaa. Käyttöliittymässä loppukäyttäjä ei juurikaan huomaa eroa, vaan se on edelleen sama tuttu helppokäyttöinen Virtualboxin oma QT-pohjainen. Virtualbox-KVM toimii ainoastaan x86_64 arkkitehtuurin Linux-isännissä, eikä siitä ole valmiita paketteja vaan se täytyy kääntää asentaa suoraan lähdekoodista.

Riippuvuudet pakettien kääntämiseen mm. [[Ubuntu]]lla, [[Debian]]illa, [[Fedora]]lla, [[Arch]]illa ja [[Gentoo]]lla löytyy [https://www.virtualbox.org/wiki/Linux%20build%20instructions täältä.]

===Virtualbox-KVM käännetään seuraavasti:===

wget https://download.virtualbox.org/virtualbox/7.0.16/VirtualBox-7.0.16.tar.bz2
tar xf VirtualBox-7.0.16.tar.bz2
git clone https://github.com/cyberus-technology/virtualbox-kvm vbox-kvm
cd VirtualBox-7.0.16
git init
git add *
git commit -m "VirtualBox vanilla code"
git am ../vbox-kvm/patches/*.patch
./configure --with-kvm --disable-kmods --disable-docs --disable-hardening --disable-java
source ./env.sh
kmk
cd out/linux.x86/release/bin/src
make

===Virtualbox-KVM asennetaan seuraavasti:===

sudo make install
cd ..

===Virtuabox-KVM käynnistys===

./Virtualbox

Ja tutun käyttöliittymän pitäisi avautua.

==Katso myös==
* [[Virtuaalikoneet]]
* [[VMware]]
* [[KVM]]
* [[Xen]]

==Aiheesta muualla==
* [https://github.com/cyberus-technology/virtualbox-kvm Virtualbox-KVM:n sivu Githubissa]
* [http://wiki.ubuntu-fi.org/VirtualBox Asennusohje Ubuntulle]

{{Emulaattorit ja virtuaalikoneet}}
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Virtualisointi]]

Luokka:Virtualisointi

2024-04-28T17:11:21Z

Kimmo:

# Käyttöjärjestelmävirtualisoinnilla tarkoitetaan menetelmää, jossa oikealla tietokoneella, isäntäkoneella (host), ohjelmallisesti matkitaan kokonaista tietokonetta, johon voidaan asentaa valittu käyttöjärjestelmä, vierasjärjestelmä (guest), ja siihen haluttuja ohjelmia. Virtualisoinnilla on mahdollista käynnistää esimerkiksi Ubuntu-käyttöjärjestelmää käyttävä virtuaalikone yhteen Windows-työpöydällä näkyvään ikkunaan. Näin on mahdollista kokeilla uusia käyttöjärjestelmiä ja niiden eri versioita asentamatta niitä varsinaiselle koneelle. Toisaalta tämä mahdollistaa myös sellaisten sovellusten ajamisen, joita ei muuten ole saatavilla isäntäjärjestelmään. Esimerkiksi Microsoft Word -ohjelmaa on mahdollista käyttää näin Linux-isäntään asennetussa Windows-virtuaalikoneessa.
#
# Nykyään on myös käsitteet ohjelmistovirtualisointi, näitä on useita kymmeniä, ellei satoja. Ehkä tunnetuimmat virtuaalikoneet ovat [[Dalvik]], eli [[Android]], sekä [[java]] ja [[python]]. Sekä erilaiset konttiteknologiat, joissa virtualisoidaan osa käyttöjärjestelmästä tai jopa pelkästään yksi sovellus/ohjelma. Näitä ovat esimerkiksi [[Docker]], [[Podman]], [[LXC]] ja [[Kubernetes]].

Hypervisor(suomenkielistä vastinetta ei ole) on tietotekniikassa käytetty termi, joka suomeksi tarkoittaa virtuaalikonemonitoria tai virtuaalikonetta hallitsevaa ohjelmaa. Hypervisor toimii isäntäkoneella ja ottaa kontrollin isäntäkoneen laitteistosta. Sen avulla voidaan luoda ja hallita virtuaalikoneita (guest-koneita) sekä virtuaalikytkimiä. Hypervisor mahdollistaa useiden käyttöjärjestelmien suorittamisen samalla fyysisellä laitteistolla, mikä on hyödyllistä esimerkiksi palvelin- ja pilviympäristöissä.

Hypervisoreita on kahta eri tyyppiä:

1. Type 1 hypervisoreita ovat mm. [[Xen]] ja [[KVM]]

* Asennetaan suoraan palvelimen fyysiseen laitteistoon ilman käyttöjärjestelmän välikerrosta.
* Toimii suoraan laiteohjaimien kanssa ja hallitsee fyysisiä resursseja.
* Tarjoaa paremman eristävyyden jokaiselle virtuaaliympäristölle.
* Dedikoidut resurssit.
* Usein käytetään palvelin- ja pilviympäristöissä.
* Type 1 hypervisorin päällä toimiva käyttöjärjestelmä on yhtä nopea kuin natiivisti toimiva.

2. Type 2 hypervisoreita ovat mm. [[VMware]] Workstation ja [[Virtualbox]]

* Asennetaan isäntäkäyttöjärjestelmän päälle.
* Käyttää isäntäkäyttöjärjestelmän resursseja.
* Vähemmän eristävyyttä virtuaaliympäristöille.
* Häviää nopeudessa/tehokkuudessa Type 1 hypervisorille
* Ovat helppokäyttöisiä ja yleisiä työpöytäkäytössä

VMware

2024-04-28T17:10:39Z

Kimmo:

[[Kuva:Vmware_kubuntu.png|right|thumb|200px|VMware Workstation ajamassa [[Kubuntu|Kubuntu 5.10ä.]]]]
[[kuva:Vmware_xp.png|right|thumb|200px|Windows XP:n asennus VmWare Serverissä]]

'''VMware''' on [[Virtuaalikoneet|x86-virtuaalikone]], joka mahdollistaa periaatteessa minkä tahansa x86-käskykantaa tukevan, muokkaamattoman (vrt. [[User-mode Linux]], [[Xen]]) käyttöjärjestelmän asentamisen virtuaalikoneeseen, joka toimii Windowsilla tai Linuxilla x86-käskykannan toteuttavassa laitteistossa. VMware on kaupallinen, suljetun lähdekoodin ohjelmisto.

VMwaresta on olemassa Workstation, Server ja ESX Server -versiot. Workstation on työasemakäyttöön tarkoitettu versio. Server on palvelinversio, joka asentuu normaalin palvelinkäyttöjärjestelmän päälle. ESX Server asentuu [[Xen|Xenin]] tapaan käyttöjärjestelmän tilalle lähimmäksi rautaa. ESX Serverin tukema VMotion -tekniikka mahdollistaa käynnissä olevan virtuaalikoneen siirtämisen isäntäkoneesta toiseen vaikkapa huollon ajaksi. VMware server osaa ajaa myös Microsoft Virtual PC:llä luotuja virtuaalikoneita.

Ilmaisilla VMware Playerillä ja VMware Serverillä virtuaalikoneita voi käyttää kuka tahansa. Playerillä ei voi luoda uusia virtuaalikoneita, mutta Serverillä se onnistuu. Server-versiolla voit myös jättää virtuaalikoneita pyörimään [[Demoni|demonina]], mikä on palvelinkäytössä välttämätöntä. Server-versio oli aiemmin maksullinen, mutta kilpailun kiristyttyä sen GSX-versiosta tuli ilmainen siinä toivossa, että käyttäjät päivittäisivät sen myöhemmin kehittyneempään, maksulliseen ESX-versioon.

VMware Playerille voi kuitenkin luoda virtuaalikoneita epävirallisilla työkaluilla, esimerkiksi yksinkertaisella [http://www.easyvmx.com/ EasyVMX:llä]. Sillä luotu virtuaalikone käynnistetään komennolla <tt>vmplayer virtuaalikone.vmx</tt>.

==Project Photon==
VMware julkaisi huhtikuussa 2015 avoimen Linux pohjaisen alustansa, sekä jakoi sen lähdekoodin Githubissa nimellä [https://vmware.github.io/photon/ Project Photon]. Photon on kevyt Linux alusta peruselementein. Alustalla voi käyttää container-komponentteja virtuaalikoneen sisällä. Lightwave projekti tulee jakoon myöhemmin.

==Aiheesta muualla==
* [http://www.vmware.com VMwaren kotisivu]
* [[wikipedia:fi:VMware|VMware-artikkeli Wikipediassa]]
* [http://opensuse.fi/Vmware_asennus VMwaren asennus opensuse.fi:n wikissä]
* [http://www.tivi.fi/Kaikki_uutiset/2015-03-13/VMware-virtualisoi-my%C3%B6s-linux-ty%C3%B6p%C3%B6yd%C3%A4t-3217368.html Tivi - VMware virtualisoi myös linux-työpöydät]
* [http://www.tivi.fi/Kaikki_uutiset/2015-04-21/VMware-julkisti-ensimm%C3%A4isen-Linux-alustansa---keskittyy-nopeuteen-3220125.html Tivi - VMware julisti ensimmäisen Linux pohjaisen alustan]

{{Emulaattorit ja virtuaalikoneet}}
[[Luokka:Emulaattorit ja virtuaalikoneet]]
[[Luokka:Virtualisointi]]