Aktionen
Aufgabe #748
geschlossenAktualisierung Ceph bei PVE (Proxmox Virtual Environment) auf Version 16 (von Version 15)
Beginn:
17.09.2021
Abgabedatum:
17.09.2021
% erledigt:
0%
Geschätzter Aufwand:
Beschreibung
Aktionen
#1
Von PaulRiegel vor mehr als 3 Jahren aktualisiert
- Beschreibung aktualisiert (Vergleich)
- Kategorie wurde auf Proxmox (Cluster) gesetzt
- Zugewiesen an wurde auf Betreuung Betriebssystem PVE gesetzt
- Priorität wurde von Normal zu Hoch geändert
Aktionen
#2
Von PaulRiegel vor mehr als 3 Jahren aktualisiert
- Beziehung mit Aufgabe #747: Aktualisierung PVE (Proxmox Virtual Environment) auf Version 7 (von Version 6) wurde hinzugefügt
Aktionen
#3
Von PaulRiegel vor mehr als 3 Jahren aktualisiert
- Beziehung mit Aufgabe #747: Aktualisierung PVE (Proxmox Virtual Environment) auf Version 7 (von Version 6) wurde gelöscht
Aktionen
#4
Von PaulRiegel vor mehr als 3 Jahren aktualisiert
- Nachfolger von Aufgabe #747: Aktualisierung PVE (Proxmox Virtual Environment) auf Version 7 (von Version 6) wurde hinzugefügt
Aktionen
#5
Von PaulRiegel vor etwa 3 Jahren aktualisiert
- Status wurde von Neu zu In Bearbeitung geändert
root@n1:~# ceph status
cluster:
id: 1b4069ba-3c9e-45f4-9d8e-42d3117ae2be
health: HEALTH_OK
services:
mon: 3 daemons, quorum n1,n2,n3 (age 27h)
mgr: n2(active, since 27h), standbys: n3, n1
mds: cephfs:1 {0=n2=up:active} 2 up:standby
osd: 6 osds: 6 up (since 27h), 6 in (since 5d)
data:
pools: 5 pools, 129 pgs
objects: 364.79k objects, 1.4 TiB
usage: 4.1 TiB used, 6.8 TiB / 11 TiB avail
pgs: 129 active+clean
io:
client: 241 KiB/s wr, 0 op/s rd, 30 op/s wr
root@n1:~# ceph fs get cephfs
Filesystem 'cephfs' (1)
fs_name cephfs
epoch 456
flags 12
created 2019-11-09T18:41:57.331144+0100
modified 2021-10-07T12:08:15.090177+0200
tableserver 0
root 0
session_timeout 60
session_autoclose 300
max_file_size 1099511627776
min_compat_client 0 (unknown)
last_failure 0
last_failure_osd_epoch 5757
compat compat={},rocompat={},incompat={1=base v0.20,2=client writeable ranges,3=default file layouts on dirs,4=dir inode in separate object,5=mds uses versioned encoding,6=dirfrag is stored in omap,8=no anchor table,9=file layout v2,10=snaprealm v2}
max_mds 1
in 0
up {0=104526801}
failed
damaged
stopped
data_pools [2]
metadata_pool 3
inline_data disabled
balancer
standby_count_wanted 1
[mds.n2{0:104526801} state up:active seq 39 addr [v2:10.10.0.32:6800/3560335847,v1:10.10.0.32:6801/3560335847]]
root@n1:~# ceph mon dump dumped monmap epoch 4 epoch 4 fsid 1b4069ba-3c9e-45f4-9d8e-42d3117ae2be last_changed 2021-08-09T21:37:31.370904+0200 created 2019-11-09T17:09:45.533509+0100 min_mon_release 15 (octopus) 0: [v2:10.10.0.31:3300/0,v1:10.10.0.31:6789/0] mon.n1 1: [v2:10.10.0.32:3300/0,v1:10.10.0.32:6789/0] mon.n2 2: [v2:10.10.0.33:3300/0,v1:10.10.0.33:6789/0] mon.n3
Aktionen
#6
Von PaulRiegel vor etwa 3 Jahren aktualisiert
root@n1:~# ceph mon enable-msgr2
root@n2:~# ceph mon enable-msgr2
root@n3:~# ceph mon enable-msgr2
Aktionen
#7
Von PaulRiegel vor etwa 3 Jahren aktualisiert
root@n1:~# sed -i 's/octopus/pacific/' /etc/apt/sources.list.d/ceph.list
root@n2:~# sed -i 's/octopus/pacific/' /etc/apt/sources.list.d/ceph.list
root@n3:~# sed -i 's/octopus/pacific/' /etc/apt/sources.list.d/ceph.list
Aktionen
#8
Von PaulRiegel vor etwa 3 Jahren aktualisiert
root@n1:~# cat /etc/apt/sources.list.d/ceph.list deb http://download.proxmox.com/debian/ceph-pacific bullseye main
root@n2:~# cat /etc/apt/sources.list.d/ceph.list deb http://download.proxmox.com/debian/ceph-pacific bullseye main
root@n3:~# cat /etc/apt/sources.list.d/ceph.list deb http://download.proxmox.com/debian/ceph-pacific bullseye main
Aktionen
#9
Von PaulRiegel vor etwa 3 Jahren aktualisiert
https://10.1.0.31:8006/#v1:0:=node%2Fn1:4:42::::::38
node -> Ceph -> OSD -> Manage Global Flags -> [X] noout -> Apply
Aktionen
#10
Von PaulRiegel vor etwa 3 Jahren aktualisiert
apt update
Hit:1 http://ftp.de.debian.org/debian bullseye InRelease Hit:2 http://ftp.de.debian.org/debian bullseye-updates InRelease Hit:3 http://security.debian.org bullseye-security InRelease Hit:4 http://download.proxmox.com/debian/pve bullseye InRelease Get:5 http://download.proxmox.com/debian/ceph-pacific bullseye InRelease [2,891 B] Get:6 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 Packages [36.3 kB] Fetched 39.2 kB in 1s (42.7 kB/s) Reading package lists... Done Building dependency tree... Done Reading state information... Done 20 packages can be upgraded. Run 'apt list --upgradable' to see them.
apt -y full-upgrade
Reading package lists... Done Building dependency tree... Done Reading state information... Done Calculating upgrade... Done The following NEW packages will be installed: libjaeger The following packages will be upgraded: ceph ceph-base ceph-common ceph-fuse ceph-mds ceph-mgr ceph-mgr-modules-core ceph-mon ceph-osd libcephfs2 librados2 libradosstriper1 librbd1 librgw2 python3-ceph-argparse python3-ceph-common python3-cephfs python3-rados python3-rbd python3-rgw 20 upgraded, 1 newly installed, 0 to remove and 0 not upgraded. Need to get 75.8 MB of archives. After this operation, 46.5 MB of additional disk space will be used. Get:1 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 libjaeger amd64 16.2.6-pve2 [8,848 B] Get:2 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 librgw2 amd64 16.2.6-pve2 [3,545 kB] Get:3 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 ceph-mon amd64 16.2.6-pve2 [6,812 kB] Get:4 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 ceph-mgr-modules-core all 16.2.6-pve2 [193 kB] Get:5 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 ceph-mgr amd64 16.2.6-pve2 [1,455 kB] Get:6 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 ceph-mds amd64 16.2.6-pve2 [2,199 kB] Get:7 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 ceph amd64 16.2.6-pve2 [8,944 B] Get:8 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 ceph-osd amd64 16.2.6-pve2 [25.2 MB] Get:9 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 ceph-base amd64 16.2.6-pve2 [5,713 kB] Get:10 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 ceph-common amd64 16.2.6-pve2 [21.3 MB] Get:11 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 python3-cephfs amd64 16.2.6-pve2 [168 kB] Get:12 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 libcephfs2 amd64 16.2.6-pve2 [688 kB] Get:13 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 python3-rgw amd64 16.2.6-pve2 [98.3 kB] Get:14 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 python3-rados amd64 16.2.6-pve2 [316 kB] Get:15 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 python3-ceph-argparse all 16.2.6-pve2 [27.0 kB] Get:16 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 python3-ceph-common all 16.2.6-pve2 [36.2 kB] Get:17 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 python3-rbd amd64 16.2.6-pve2 [288 kB] Get:18 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 libradosstriper1 amd64 16.2.6-pve2 [445 kB] Get:19 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 librbd1 amd64 16.2.6-pve2 [3,184 kB] Get:20 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 librados2 amd64 16.2.6-pve2 [3,238 kB] Get:21 http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 ceph-fuse amd64 16.2.6-pve2 [788 kB] Fetched 75.8 MB in 1s (53.2 MB/s) apt-listchanges: Reading changelogs... Selecting previously unselected package libjaeger. (Reading database ... 100292 files and directories currently installed.) Preparing to unpack .../00-libjaeger_16.2.6-pve2_amd64.deb ... Unpacking libjaeger (16.2.6-pve2) ... Preparing to unpack .../01-librgw2_16.2.6-pve2_amd64.deb ... Unpacking librgw2 (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../02-ceph-mon_16.2.6-pve2_amd64.deb ... Unpacking ceph-mon (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../03-ceph-mgr-modules-core_16.2.6-pve2_all.deb ... Unpacking ceph-mgr-modules-core (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../04-ceph-mgr_16.2.6-pve2_amd64.deb ... Unpacking ceph-mgr (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../05-ceph-mds_16.2.6-pve2_amd64.deb ... Unpacking ceph-mds (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../06-ceph_16.2.6-pve2_amd64.deb ... Unpacking ceph (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../07-ceph-osd_16.2.6-pve2_amd64.deb ... Unpacking ceph-osd (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../08-ceph-base_16.2.6-pve2_amd64.deb ... Unpacking ceph-base (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../09-ceph-common_16.2.6-pve2_amd64.deb ... Unpacking ceph-common (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../10-python3-cephfs_16.2.6-pve2_amd64.deb ... Unpacking python3-cephfs (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../11-libcephfs2_16.2.6-pve2_amd64.deb ... Unpacking libcephfs2 (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../12-python3-rgw_16.2.6-pve2_amd64.deb ... Unpacking python3-rgw (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../13-python3-rados_16.2.6-pve2_amd64.deb ... Unpacking python3-rados (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../14-python3-ceph-argparse_16.2.6-pve2_all.deb ... Unpacking python3-ceph-argparse (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../15-python3-ceph-common_16.2.6-pve2_all.deb ... Unpacking python3-ceph-common (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../16-python3-rbd_16.2.6-pve2_amd64.deb ... Unpacking python3-rbd (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../17-libradosstriper1_16.2.6-pve2_amd64.deb ... Unpacking libradosstriper1 (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../18-librbd1_16.2.6-pve2_amd64.deb ... Unpacking librbd1 (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../19-librados2_16.2.6-pve2_amd64.deb ... Unpacking librados2 (16.2.6-pve2) over (15.2.14-pve1) ... Preparing to unpack .../20-ceph-fuse_16.2.6-pve2_amd64.deb ... Unpacking ceph-fuse (16.2.6-pve2) over (15.2.14-pve1) ... Setting up librados2 (16.2.6-pve2) ... Setting up librgw2 (16.2.6-pve2) ... Setting up python3-ceph-argparse (16.2.6-pve2) ... Setting up libcephfs2 (16.2.6-pve2) ... Setting up libjaeger (16.2.6-pve2) ... Setting up libradosstriper1 (16.2.6-pve2) ... Setting up python3-ceph-common (16.2.6-pve2) ... Setting up librbd1 (16.2.6-pve2) ... Setting up ceph-mgr-modules-core (16.2.6-pve2) ... Setting up ceph-fuse (16.2.6-pve2) ... Setting up python3-rados (16.2.6-pve2) ... Setting up python3-rbd (16.2.6-pve2) ... Setting up python3-rgw (16.2.6-pve2) ... Setting up python3-cephfs (16.2.6-pve2) ... Setting up ceph-common (16.2.6-pve2) ... Installing new version of config file /etc/logrotate.d/ceph-common ... Setting system user ceph properties..usermod: no changes ..done Fixing /var/run/ceph ownership....done Setting up ceph-base (16.2.6-pve2) ... Setting up ceph-mds (16.2.6-pve2) ... Setting up ceph-mgr (16.2.6-pve2) ... Setting up ceph-osd (16.2.6-pve2) ... Installing new version of config file /etc/sudoers.d/ceph-osd-smartctl ... Setting up ceph-mon (16.2.6-pve2) ... Setting up ceph (16.2.6-pve2) ... Processing triggers for man-db (2.9.4-2) ... Processing triggers for libc-bin (2.31-13) ...
Aktionen
#11
Von PaulRiegel vor etwa 3 Jahren aktualisiert
https://10.1.0.31:8006/#v1:0:=node%2Fn1:4:42::::::38
node -> Ceph -> Monitor
In der Spalte Version ist bei allen (mon.n1,_mon.n2_,_mon.n3_) Version 15.2.14 angegeben und ein gelbes Symbol.
Jeden Monitor (mon.n1,_mon.n2_,_mon.n3_) einzeln angewählt und über die Schaltfläche Restart neu gestartet.
In der Spalte Version ist bei allen (mon.n1,_mon.n2_,_mon.n3_) nun die Version 16.2.6 angegeben und das Symbol verschwunden.
Aktionen
#12
Von PaulRiegel vor etwa 3 Jahren aktualisiert
https://10.1.0.31:8006/#v1:0:=node%2Fn1:4:42::::::38
node -> Ceph -> Manager
In der Spalte Version ist bei allen (mgr.n1,mgr.n2_,mgr.n3_) Version 16.2.6 angegeben (und kein gelbes Symbol mehr).
"Sicherheitshalber" jeden Manager (mgr.n1,mgr.n2_,mgr.n3_) einzeln angewählt und über die Schaltfläche Restart neu gestartet.
(Es ändert nichts.)
Aktionen
#13
Von PaulRiegel vor etwa 3 Jahren aktualisiert
https://10.1.0.31:8006/#v1:0:=node%2Fn1:4:42::::::38
node -> Ceph -> OSD
In der Spalte Version ist bei allen OSDs (osd.5,_osd.4_,_osd.3_,_osd.2_,_osd.1_,_osd.0_) Version 15.2.14 angegeben und ein gelbes Symbol.
In der Spalte Version ist bei allen Nodes (n3,_n2_,_n1_) Version 16.2.6 angegeben und kein Symbol.
Jeden OSD (osd.5,_osd.4_,_osd.3_,_osd.2_,_osd.1_,_osd.0_) einzeln angewählt und über die Schaltfläche Restart neu gestartet. (Das dauerte wenige Sekunde - aber unter einer Minute - und die OSD auch wurde mit dem Status down angezeigt.)
In der Spalte Version ist bei allen OSDs (osd.5,_osd.4_,_osd.3_,_osd.2_,_osd.1_,_osd.0_) nun die Version 16.2.6 angegeben und das Symbol verschwunden.
Aktionen
#14
Von PaulRiegel vor etwa 3 Jahren aktualisiert
ceph config get osd bluestore_fsck_quick_fix_on_mount
false
Aktionen
#16
Von PaulRiegel vor etwa 3 Jahren aktualisiert
https://10.1.0.31:8006/#v1:0:=node%2Fn1:4:42::::::38
node -> Ceph -> CephFS
In der Spalte Version ist bei allen Metadata Servern (mds.n3,_mds.n2_,_mds.n1_) Version 15.2.14 angegeben und ein gelbes Symbol.
In der Spalte Status ist der Metadata Server mds.n2 als up:active angegeben. In der Spalte Status sind die Metadata Server mds.n1 und mds.n3 als up:standby angegeben.
ceph fs get cephfs | grep max_mds
max_mds 1
Die Metadata Server als standby (mds.n1,_mds.n3_) einzeln angewählt und über die Schaltfläche Stop gestoppt.
Den Metadata Server als active (mds.n2) einzeln angewählt und über die Schaltfläche _Restart neu gestartet.
Die Metadata Server als standby (mds.n1,_mds.n3_) einzeln angewählt und über die Schaltfläche Start gestoppt.
In der Spalte Version ist bei allen Metadata Servern (mds.n1,_mds.n2_,_mds.n3_) nun die Version 16.2.6 angegeben und das Symbol verschwunden.
Aktionen
#17
Von PaulRiegel vor etwa 3 Jahren aktualisiert
https://10.1.0.31:8006/#v1:0:=node%2Fn1:4:38::::::38
1 pools have too few placement groups
Pool cephfs_metadata has 32 placement groups, should have 128
Wirklich?!?
Aktionen
#18
Von PaulRiegel vor etwa 3 Jahren aktualisiert
PaulRiegel schrieb:
https://10.1.0.31:8006/#v1:0:=node%2Fn1:4:38::::::38
[...]
[...]Wirklich?!?
Aktionen
#19
Von PaulRiegel vor etwa 3 Jahren aktualisiert
ceph osd pool autoscale-status
POOL SIZE TARGET SIZE RATE RAW CAPACITY RATIO TARGET RATIO EFFECTIVE RATIO BIAS PG_NUM NEW PG_NUM AUTOSCALE PROFILE storage 988.2G 3.0 11178G 0.2652 1.0 32 warn scale-down cephfs_data 422.3G 3.0 11178G 0.1134 1.0 32 warn scale-down cephfs_metadata 13683k 3.0 11178G 0.0000 4.0 32 128 warn scale-down device_health_metrics 11023k 3.0 11178G 0.0000 1.0 32 on scale-down kubernetes 0 3.0 11178G 0.0000 1.0 32 on scale-down
Aktionen
#20
Von PaulRiegel vor etwa 3 Jahren aktualisiert
ceph osd pool get cephfs_metadata pg_num
pg_num: 32
ceph osd pool get cephfs_metadata pgp_num
pgp_num: 32
Aktionen
#21
Von PaulRiegel vor etwa 3 Jahren aktualisiert
https://10.1.0.31:8006/#v1:0:=node%2Fn1:4:38::::::38
node > Ceph > Pools > cephfs_medtadata > Edit > Advanced > # of PGs: > 32 128 -> OK
Aktionen
#22
Von PaulRiegel vor etwa 3 Jahren aktualisiert
ceph osd pool autoscale-status
POOL SIZE TARGET SIZE RATE RAW CAPACITY RATIO TARGET RATIO EFFECTIVE RATIO BIAS PG_NUM NEW PG_NUM AUTOSCALE PROFILE storage 988.3G 3.0 11178G 0.2653 1.0 32 warn scale-down cephfs_data 422.3G 3.0 11178G 0.1134 1.0 32 warn scale-down cephfs_metadata 13603k 3.0 11178G 0.0000 4.0 128 warn scale-down device_health_metrics 10821k 3.0 11178G 0.0000 1.0 32 on scale-down kubernetes 0 3.0 11178G 0.0000 1.0 32 on scale-down
Fine! :-)
Aktionen
#23
Von PaulRiegel vor etwa 3 Jahren aktualisiert
- Status wurde von In Bearbeitung zu Feedback geändert
Aktionen
#24
Von PaulRiegel vor etwa 3 Jahren aktualisiert
- Status wurde von Feedback zu Erledigt geändert
Aktionen