Projekt

Allgemein

Profil

Aktionen

Aufgabe #1167

offen

Aufgabe #1161: bei NixOS soll (testweise zur Vorbereitung) bei der Anwendung Nextcloud die Datenbank vom Typ SQLite zum Typ PostgreSQL überführt werden

bei der Anwendung Nextcloud die Datenbank vom Typ SQLite zum Typ PostgreSQL überführen

Von MichaelLeopold vor mehr als 2 Jahren hinzugefügt. Vor mehr als 2 Jahren aktualisiert.

Status:
Gelöst
Priorität:
Hoch
Zugewiesen an:
Kategorie:
-
Beginn:
27.03.2022
Abgabedatum:
% erledigt:

80%

Geschätzter Aufwand:

Beschreibung

nextcloud-occ db:convert-type pgsql nextcloud /run/postgresql nextcloud

The following tables will not be converted:
oc_bookmarks
oc_bookmarks_tags
oc_documents_invite
oc_documents_member
oc_documents_op
oc_documents_revisions
oc_documents_session
oc_lucene_status
oc_mail_accounts
oc_mail_aliases
oc_mail_collected_addresses
oc_privatedata
Please note that tables belonging to available but currently not installed apps
can be included by specifying the --all-apps option.

Aktionen #1

Von MichaelLeopold vor mehr als 2 Jahren aktualisiert

Aktionen #2

Von PaulRiegel vor mehr als 2 Jahren aktualisiert

MichaelLeopold schrieb:

nextcloud-occ db:convert-type --all-apps pgsql nextcloud /run/postgresql nextcloud

The following tables will not be converted:
oc_bookmarks
oc_bookmarks_tags
oc_documents_invite
oc_documents_member
oc_documents_op
oc_documents_revisions
oc_documents_session
oc_lucene_status
oc_mail_accounts
oc_mail_aliases
oc_mail_collected_addresses
oc_privatedata
Continue with the conversion (y/n)? [n] ^C

Ähnliches Verhalten --> Wir versuchen die Apps über die Web Gui zu installieren


bei

scheint es sich um eine art textsuche innerhalb von owncloud gehandelt zu haben
https://ocloud.de/doc/admin/lang/de/configuration_server/search_configuration.html

testweise wurden (erfolglos) womöglich ähnliche "ersatzweise" apps installiert
https://cloud.stura.htw-dresden.de/settings/apps/search/fulltextsearch
https://cloud.stura.htw-dresden.de/settings/apps/search/bookmarks_fulltextsearch
https://cloud.stura.htw-dresden.de/settings/apps/search/files_fulltextsearch

ls /var/lib/nextcloud/data/*/lucene_index/

/var/lib/nextcloud/data/administration/lucene_index/:
_0.cfs  _0.sti  optimization.lock.file  read.lock.file  read-lock-processing.lock.file  segments_2  segments.gen  write.lock.file

/var/lib/nextcloud/data/ArturasMiller/lucene_index/:
_0_1.del  _0.cfs  _0.sti  optimization.lock.file  read.lock.file  read-lock-processing.lock.file  segments_3  segments.gen  write.lock.file

/var/lib/nextcloud/data/FabianKunde/lucene_index/:
_0.cfs  _0.sti  optimization.lock.file  read.lock.file  read-lock-processing.lock.file  segments_2  segments.gen  write.lock.file

/var/lib/nextcloud/data/files/lucene_index/:
_0.cfs  _0.sti  _1_1.del  _1.cfs  _1.sti  _2.cfs  _2.sti  _3.cfs  _3.sti  _4.cfs  _4.sti  _5.cfs  _5.sti  _6.cfs  optimization.lock.file  read.lock.file  read-lock-processing.lock.file  segments_9  segments.gen  write.lock.file

/var/lib/nextcloud/data/MatthiasJakobi/lucene_index/:
_0.cfs  _0.sti  _1.cfs  _1.sti  _2.cfs  _2.sti  _3.cfs  _3.sti  _4.cfs  _4.sti  _5.cfs  _5.sti  _6.cfs  _6.sti  optimization.lock.file  read.lock.file  read-lock-processing.lock.file  segments_8  segments.gen  write.lock.file

/var/lib/nextcloud/data/NormanSchwirz/lucene_index/:
_34.cfs  _3e.cfs  _3p.cfs  _40.cfs  _4b.cfs  _4l.cfs  _4m.cfs  _4n.cfs  _4o.cfs  _4p.cfs  _4q.cfs  _4r.cfs  _4s.cfs                 read.lock.file                  segments_5a   write.lock.file
_34.sti  _3e.sti  _3p.sti  _40.sti  _4b.sti  _4l.sti  _4m.sti  _4n.sti  _4o.sti  _4p.sti  _4q.sti  _4r.sti  optimization.lock.file  read-lock-processing.lock.file  segments.gen

/var/lib/nextcloud/data/PatrickPietsch/lucene_index/:
_1r_1.del  _1r.cfs  _1r.sti  _1s.cfs  _1s.sti  _1t.cfs  _1t.sti  _b.cfs  _b.sti  optimization.lock.file  read.lock.file  read-lock-processing.lock.file  segments_24  segments.gen  write.lock.file

/var/lib/nextcloud/data/PaulRiegel/lucene_index/:
_3h_1v.del  _6k_6.del  _9n.cfs    _ct.cfs  _fx.sti    _g7.sti  _gt.cfs  _h4.sti  _hq.cfs  _i1.sti  _ic.cfs  _id.sti  _if.cfs  _ig.sti  _ii.cfs  _ij.sti                 read-lock-processing.lock.file  write.lock.file
_3h.cfs     _6k.cfs    _9n.sti    _ct.sti  _fx_u.del  _gi.cfs  _gt.sti  _hf.cfs  _hq.sti  _ib.cfs  _ic.sti  _ie.cfs  _if.sti  _ih.cfs  _ii.sti  optimization.lock.file  segments.gen
_3h.sti     _6k.sti    _ct_4.del  _fx.cfs  _g7.cfs    _gi.sti  _h4.cfs  _hf.sti  _i1.cfs  _ib.sti  _id.cfs  _ie.sti  _ig.cfs  _ih.sti  _ij.cfs  read.lock.file          segments_lg

also es betrifft nur einige wenige konten. (paul (als leitung vom bereich) entscheidet: das kann weg.) das werden wir "entfallen" lassen (können).

Aktionen #3

Von PaulRiegel vor mehr als 2 Jahren aktualisiert

PaulRiegel schrieb:

testweise wurden (erfolglos) womöglich ähnliche "ersatzweise" apps installiert

https://cloud.stura.htw-dresden.de/settings/apps/search/bookmarks_fulltextsearch

machte gleich mal die anwendung nicht mehr verfügbar. (damn!)

auf die schnelle in der konfiguration für die anwendung nextcloud "auskommentiert"
$EDITOR /var/lib/nextcloud/config/config.php


  'app_install_overwrite' => 
  array (


//    2 => 'bookmarks_fulltextsearch',

  ),

);

und die app aus der anwendung einfach wegverschoben
mv /var/lib/nextcloud/store-apps/bookmarks_fulltextsearch/ /root/var/lib/nextcloud/store-apps/

bei
https://cloud.stura.htw-dresden.de/settings/apps/search/bookmarks_fulltextsearch
kontrolliert, dass die app nicht mehr bei der anwendnung verwendet wird.

danach war die app dennoch noch "sichtbar" und wurde über die schaltfläch Disable (hoffentlich) endgültig wieder deaktiviert.

Aktionen #4

Von MichaelLeopold vor mehr als 2 Jahren aktualisiert

Die nachflogenden Apps konnten wir nicht weiter herstellen. Die App "Documents" existierte nur bis Nextcloud 12 https://apps.nextcloud.com/apps/documents und die App lucene Volltextsuche ist ebenfalls aus der owncloud Zeit. Daher werden wir diese nicht weiter verfolgen, da wir bereits geprüft haben ob eine Weiterverwendung möglich ist. https://github.com/owncloud/core/issues/27075

Unter der Annahme, das wir höhstens einige wenige Plaintext dateien nicht mehr öffen können führen wir den db Umzug jetzt aus.

The following tables will not be converted:
oc_documents_invite
oc_documents_member
oc_documents_op
oc_documents_revisions
oc_documents_session
oc_lucene_status
Continue with the conversion (y/n)? [n] y

Aktionen #5

Von MichaelLeopold vor mehr als 2 Jahren aktualisiert

Die Konvertierung lief an und schlug wegen oc_jobs fehl.

nextcloud-occ db:convert-type --all-apps pgsql nextcloud /run/postgresql nextcloud

[root@nixos:/var/lib/nextcloud]# nextcloud-occ db:convert-type --all-apps pgsql nextcloud /run/postgresql nextcloud                                                                                                                [1891/1961]
What is the database password?                                                                                                                                                                                                                
Creating schema in new database                                                                                                                                                                                                               
 - notifications                                                                                                                                                                                                                              
 - files                                                                                                                                                                                                                                      
 - dav                                                                                                                                                                                                                                        
 - firstrunwizard                                                                                                                                                                                                                             
 - files_rightclick                                                                                                                                                                                                                           
 - activity                                                                                                                                                                                                                                   
 - contactsinteraction                                                                                                                                                                                                                        
 - federation                                                                                                                                                                                                                                 
 - logreader                                                                                                                                                                                                                                  
 - comments                                                                                                                                                                                                                                   
 - admin_audit                                                                                                                                                                                                                                
 - systemtags                                                                                                                                                                                                                                 
 - cloud_federation_api                                                                                                                                                                                                                       
 - user_ldap                                                                                                                                                                                                                                  
 - lookup_server_connector                                                                                                                                                                                                                    
 - twofactor_backupcodes                                                                                                                                                                                                                      
 - encryption                                                                                                                                                                                                                                 
 - user_status                                                                                                                                                                                                                                
 - files_sharing                                                                                                                                                                                                                              
 - files_versions                                                                                                                                                                                                                             
 - accessibility                                                                                                                                                                                                                              
 - privacy                                                                                                                                                                                                                                    
 - survey_client                                                                                                                                                                                                                              
 - files_trashbin                                                                                                                                                                                                                             
 - password_policy                                                                                                                                                                                                                            
 - sharebymail                                                                                                                                                                                                                                
 - workflowengine                                                                                                                                                                                                                             
 - recommendations                                                                                                                                                                                                                            
 - oauth2                                                                                                                                                                                                                                     
 - settings                                                                                                                                                                                                                                   
 - files_pdfviewer                                                                                                                                                                                                                            
 - nextcloud_announcements                                                                                                                                                                                                                    
 - viewer                                                                                                                                                                                                                                     
 - serverinfo                                              
 - text                                                    
 - weather_status                                          
 - photos                                                  
 - federatedfilesharing                                    
 - dashboard                                               
 - provisioning_api                                        
 - updatenotification                                      
 - theming                                                 
 - files_external                                          
 - support                                                 
 - files_videoplayer                                       
 - circles                                                 
 - bookmarks                                               
 - privatedata                                             
 - files_fulltextsearch                                                                                                                                                                                                            [1837/1961]
The following tables will not be converted:
oc_documents_invite                                        
oc_documents_member                                        
oc_documents_op                                            
oc_documents_revisions                                     
oc_documents_session                                       
oc_lucene_status                                           
Continue with the conversion (y/n)? [n] 

Continue with the conversion (y/n)? [n] y

 - oc_migrations                                           
Skipping migrations table because it was already filled by running the migrations                                      
 - oc_webauthn                                             
    0 [>---------------------------] < 1 sec
 - oc_appconfig                                            
 301/301 [============================] 100%  1 min/1 min 
 - oc_storages                                             
 229/229 [============================] 100% 58 secs/58 secs                                                           
 - oc_storages_credentials                                 
    0 [>---------------------------] < 1 sec
 - oc_mimetypes                                            
 123/123 [============================] 100% 34 secs/34 secs                                                           
 - oc_accounts_data                                        
 368/368 [============================] 100%  1 min/1 min 
 - oc_filecache                                            
chunked query, 121 chunks                                  
 120118/120118 [============================] 100%  3 hrs/3 hrs                                                        
 - oc_group_user                                           
 343/343 [============================] 100% 19 secs/19 secs                                                           
 - oc_group_admin                                          
 40/40 [============================] 100% 2 secs/2 secs                                                               
 - oc_preferences                                          
 986/986 [============================] 100% 45 secs/45 secs                                                           
 - oc_known_users                                          
    0 [>---------------------------] < 1 sec               
 - oc_properties                                           
 33/33 [============================] 100% 2 secs/2 secs                                                               
 - oc_ratelimit_entries                                    
    0 [>---------------------------] < 1 sec               
 - oc_user_transfer_owner                                  
    0 [>---------------------------] < 1 sec               
 - oc_users                                                
 148/148 [============================] 100% 5 secs/5 secs                                                             
 - oc_activity                                             
chunked query, 33 chunks                                   
 32657/32657 [============================] 100%   1 hr/1 hr                                                           
 - oc_activity_mq                                          
    0 [>---------------------------] < 1 sec               
 - oc_circles_circle                                       
 143/143 [============================] 100% 12 secs/12 secs                                                           
 - oc_circles_member                                       
 143/143 [============================] 100% 13 secs/13 secs                                                           
 - oc_circles_remote                                       
    0 [>---------------------------] < 1 sec               
 - oc_comments_read_markers                                
 12/12 [============================] 100% 2 secs/2 secs                                                               
 - oc_circles_event                                        
    0 [>---------------------------] < 1 sec               
 - oc_circles_membership                                   
 141/141 [============================] 100% 11 secs/11 secs                                                           
 - oc_accounts                                             
 63/63 [============================] 100% 6 secs/6 secs                                                               
 - oc_circles_token                                        
    0 [>---------------------------] < 1 sec               
 - oc_mounts                                               
 925/925 [============================] 100%  1 min/1 min                                                              
 - oc_circles_mount                                        
    0 [>---------------------------] < 1 sec               
 - oc_circles_mountpoint                                   
    0 [>---------------------------] < 1 sec               
 - oc_circles_share_lock                                   
    0 [>---------------------------] < 1 sec               
 - oc_recent_contact                                       
    0 [>---------------------------] < 1 sec               
 - oc_addressbooks                                         
 151/151 [============================] 100% 12 secs/12 secs                                                           
 - oc_cards                                                
 157/157 [============================] 100% 13 secs/13 secs                                                           
 - oc_addressbookchanges                                   
 733/733 [============================] 100%  1 min/1 min                                                              
 - oc_share                                                
 245/245 [============================] 100% 27 secs/27 secs                                                           
 - oc_calendarobjects                                      
chunked query, 2 chunks                                    
 1619/1619 [============================] 100% 4 mins/4 mins                                                           

 - oc_jobs                                                 
   0/184 [>---------------------------]   0% < 1 sec/< 1 sec                                                           
In ExceptionConverter.php line 64:                         

  An exception occurred while executing a query: SQLSTATE[42703]: Undefined column: 7 ERROR:  column "argument_hash                                                                                                                           
  " of relation "oc_jobs" does not exist                                                                                                                                                                                                      
  LINE 1: ...st_checked", "reserved_at", "execution_duration", "argument_...                                                                                                                                                                  
                                                               ^                                                                                                                                                                              

In Exception.php line 26:                                  

  SQLSTATE[42703]: Undefined column: 7 ERROR:  column "argument_hash" of relation "oc_jobs" does not exist                                                                                                                                    
  LINE 1: ...st_checked", "reserved_at", "execution_duration", "argument_...                                                                                                                                                                  
                                                               ^                                                                                                                                                                              

In Statement.php line 92:                                  

  SQLSTATE[42703]: Undefined column: 7 ERROR:  column "argument_hash" of relation "oc_jobs" does not exist                                                                                                                                    
  LINE 1: ...st_checked", "reserved_at", "execution_duration", "argument_...                                                                                                                                                                  
                                                               ^                                                                                                                                                                              

db:convert-type [--port PORT] [--password PASSWORD] [--clear-schema] [--all-apps] [--chunk-size CHUNK-SIZE] [--] <type> <username> <hostname> <database>                                                                                      


https://apps.nextcloud.com/apps/ocjobs

--> Hat das nach dem Link nur bis Nextcloud 21 existiert und müsste demnach von uns raus genommen werden?

Aktionen #6

Von PaulRiegel vor mehr als 2 Jahren aktualisiert

MichaelLeopold schrieb:

OC Jobs schlug fehl: https://apps.nextcloud.com/apps/ocjobs

nextcloud-occ db:convert-type --all-apps pgsql nextcloud /run/postgresql nextcloud
[...]
[...]

--> Hat das nach dem Link nur bis Nextcloud 21 existiert und müsste demnach von uns raus genommen werden?

Dann raus damit! :-)

Aktionen #7

Von MichaelLeopold vor mehr als 2 Jahren aktualisiert

bei den aktiven apps ist kein oc_jobs vorhanden.

Bin die gesamte liste durch und habe auch nach dem publisher +Léa Droguet + gesucht. Existiert bei nicht einer unseren aktiven apps :/

Aktionen #8

Von PaulRiegel vor mehr als 2 Jahren aktualisiert

PaulRiegel schrieb:

MichaelLeopold schrieb:

OC Jobs schlug fehl: https://apps.nextcloud.com/apps/ocjobs

nextcloud-occ db:convert-type --all-apps pgsql nextcloud /run/postgresql nextcloud
[...]
[...]

--> Hat das nach dem Link nur bis Nextcloud 21 existiert und müsste demnach von uns raus genommen werden?

Dann raus damit! :-)

finde nichts! damn!

ls /var/lib/nextcloud/*apps | grep -i job

nextcloud-occ app:list | grep job

https://cloud.stura.htw-dresden.de/settings/apps/installed/ocjobs

Aktionen #9

Von MichaelLeopold vor mehr als 2 Jahren aktualisiert

Nur eine Vermutung: https://github.com/owncloud/core/issues/8469 Könnte es eher an der Meldung mit den duplikate keys liegen? Das der db coinvert jetzt bei der oc_appconfig table durcheinander gekommenb ist?

Aktionen #10

Von PaulRiegel vor mehr als 2 Jahren aktualisiert

btw:

für eine "normale" (nicht nix-ige) installation von nextcloud mit den komponenten postgres und nginx:

https://pashynskykh.com/posts/nextcloud/

Aktionen #11

Von MichaelLeopold vor mehr als 2 Jahren aktualisiert

Die App https://apps.nextcloud.com/apps/privatedata
Private Data API wurde nach dem Umzug zur postgres Datenbank nicht mehr benötigt. Deshalb haben wir sie entfernt.

Aktionen #12

Von PaulRiegel vor mehr als 2 Jahren aktualisiert

  • Thema wurde von Tatsächlicher Datenbankumzug zu bei der Anwendung Nextcloud die Datenbank vom Typ SQLite zum Typ PostgreSQL überführen geändert
  • Beschreibung aktualisiert (Vergleich)
  • Zugewiesen an wurde von Bereich Administration Rechentechnik zu GoeranHeinemann geändert
  • % erledigt wurde von 0 zu 90 geändert
Aktionen #13

Von PaulRiegel vor mehr als 2 Jahren aktualisiert

@GoeranHeinemann

kannst du bitte erklären was du zur entfernung der spalte (also der foo um oc_jobs) gemacht hast?

Aktionen #14

Von PaulRiegel vor mehr als 2 Jahren aktualisiert

  • Status wurde von Neu zu Gelöst geändert
  • Priorität wurde von Normal zu Hoch geändert
  • % erledigt wurde von 90 zu 80 geändert
Aktionen

Auch abrufbar als: Atom PDF