четверг, 24 сентября 2020 г.

Установка 1С + postgresql под windows pg_basebackup

 

Выгрузим существующие базы в pg_dump если не первоначальная установка

0. Остановить сервер 1с (если установлен)
Программы -> 1С:Предприятие 8(x86-64) -> Остановка сервера x86-64 (8.3.17.1386) 
 
Программы -> PostgreSQL 11.5-19.1C(x64) -> psql к 'postgres' 
Посмотреть базы:
postgres-# \l 
Посмотреть размер баз:
postgres-# \l+
 
Сделать pg_dump 
Программы -> PostgreSQL 11.5-19.1C(x64) -> Command Prompt
pg_dump -p 5432 -U postgres -Fc -d demo -f E:/backup/demo.dump
pg_dump -p 5432 -U postgres -Fc -d demo1 -f F:/backup/demo1.dump

Остановим сервис от имени администратора:
Программы -> PostgreSQL 11.5-19.1C(x64) -> Stop service
Удалим PostgreSQL через удаление программ. 

Рассмотрим первоначальную установку:

1. PostgreSQL, версия 11.8-6.1C. Дистрибутив СУБД PostgreSQL для Windows (64-bit) одним архивом

1.1 Установить vcredist_x64.exe

1.2 Установить postgresql-11.8-6.1C(x64).msi

 

D:\PostgreSQL\11.8-6.1C\

D:\PostgreSQL\11.8-6.1C\data\

Обратить внимание, что если PostgreSQL установлен не по умолчанию, нужно добавить права
полный доступ для NETWORK SERVICE для папки установки (если изменен) или на папку с данными. Иначе после reboot PostgreSQL не будет запускаться.

Пароль: pass (будет в дальнейшем использоваться в скриптах).

 


1.3

Остановить сервер 1с (если установлен)
Программы -> 1С:Предприятие 8(x86-64) -> Остановка сервера x86-64 (8.3.17.1386) 
 
Программы -> PostgreSQL 11.8-6.1C(x64) -> psql к 'postgres'
Посмотреть базы:
postgres-# \l
Посмотреть размер баз:
postgres-# \l+


postgres=# SHOW data_checksums;
 data_checksums
----------------
 off
(1 row)
Остановим сервис от имени администратора:
Программы -> PostgreSQL 11.8-6.1C(x64) -> Stop service

Удалим кластер

#rd /s /q "c:\Program Files\PostgreSQL\10.8-6.1C\data"
rd /s /q "d:\PostgreSQL\11.8-6.1C\data"

Создание кластера
Для диска D:\PostgreSQL\11.8-6.1C\data 
"D:\PostgreSQL\11.8-6.1C\bin\initdb" --encoding=UTF8 -U "postgres" -W -D "D:\PostgreSQL\11.8-6.1C\data" --auth-local peer --auth-host md5 --data-checksums
The files belonging to this database system will be owned by user "user".
This user must also own the server process.

The database cluster will be initialized with locale "Russian_Russia.1251".
The default text search configuration will be set to "russian".

Data page checksums are enabled.

Enter new superuser password:
Enter it again:

creating directory D:/PostgreSQL/11.8-6.1C/data ... ok
creating subdirectories ... ok
selecting default max_connections ... 100
selecting default shared_buffers ... 128MB
selecting default timezone ... Europe/Moscow
selecting dynamic shared memory implementation ... windows
creating configuration files ... ok
running bootstrap script ... ok
performing post-bootstrap initialization ... ok
syncing data to disk ... ok

Success. You can now start the database server using:

D:/PostgreSQL/11.8-6.1C/bin/pg_ctl -D ^"D^:^\PostgreSQL^\11^.8^-6^.1C^\data^" -l logfile start 

Если PostgreSQL установлен не по умолчанию, нужно добавить права
полный доступ для NETWORK SERVICE для папки установки (если изменен) или на папку с данными. Иначе после reboot PostgreSQL не будет запускаться.

 
Запустим сервис от имени администратора:
Программы -> PostgreSQL 11.8-6.1C(x64) -> Start service
 
Программы -> PostgreSQL 11.8-6.1C(x64) -> psql к 'postgres'
postgres=# SHOW data_checksums;
data_checksums
----------------
on
(1 row)
Кластер с поддержкой контрольных сумм создан.
Создадим папки D:\BackupPG и D:\BackupTMP 
Создать файл D:\BackupPG\pg_bbackup.bat 
REM СОЗДАНИЕ РЕЗЕРВНОЙ КОПИИ КЛАСТЕРА POSTGRESQL
REM Все действия в в папке где запускаем скрипт
CLS
ECHO OFF
CHCP 1251
REM Установка переменных окружения
REM SET PGBIN=c:\Program Files\PostgreSQL\10.8-6.1C\bin
SET PGBIN=D:/PostgreSQL/11.8-6.1C/bin
REM Папка в которой будут лежать копии в папке где запускаем скрипт
SET BACKUP="Backup"
REM Папка в которой формируются файлы, должна быть пустой и на SSD
SET PGBACKUP=D:\BackupTMP
DEL /F /Q %PGBACKUP%\base.tar.gz
SET PGUSER=postgres
SET PGPASSWORD=pass
REM Смена диска и переход в папку из которой запущен bat-файл
%~d0
CD %~dp0
REM Формирование имени файла резервной копии и файла-отчета
SET DATETIME=%DATE:~6,4%-%DATE:~3,2%-%DATE:~0,2%_%TIME:~0,2%-%TIME:~3,2%-%TIME:~6,2%
SET DATETIME=%DATETIME: =0%
SET DUMPFILE= %DATETIME%.tar.gz
SET LOGFILE=%DATETIME%.log
SET DUMPPATH="%BACKUP%\%DUMPFILE%"
SET LOGPATH="%BACKUP%\%LOGFILE%"
REM Создание резервной копии
IF NOT EXIST Backup MD Backup
CALL "%PGBIN%\pg_basebackup.exe" -U %PGUSER% -X fetch --format=tar -z -D %PGBACKUP% -P 2>%LOGPATH%
REM Анализ кода завершения
IF NOT %ERRORLEVEL%==0 GOTO Error
GOTO Successfull
REM В случае ошибки удаляется поврежденная резервная копия и делается соответствующая запись в журнале
:Error
DEL %DUMPPATH%
MSG * "Ошибка при создании резервной копии базы данных. Смотрите backup.log."
ECHO %DATETIME% Ошибки при создании резервной копии базы данных %DUMPFILE%. Смотрите отчет %LOGFILE%. >> backup.log
GOTO End
REM В случае удачного резервного копирования просто делается запись в журнал
:Successfull
ECHO %DATETIME% Успешное создание резервной копии %DUMPFILE% >> backup.log
COPY %PGBACKUP%\base.tar.gz %DUMPPATH%
REM D -2 оставить файлы за 3 дня
forfiles /P "%BACKUP%" /D -5 /C "cmd /c del @path /q"
GOTO End
:End
Сохранить. 
Запустить: D:\BackupPG\pg_bbackup.bat
 
Создать D:\BackupPG\dump\  
Создать: D:\BackupPG\pg_dump.bat
@ECHO OFF
CHCP 1251>Nul
echo Начинаем архивирование!
echo Не закрывайте это окно, оно закроется само.
echo Окно можно свернуть.
echo Программы 1С не будут доступны до завершения.
SETLOCAL ENABLEDELAYEDEXPANSION
SET backup_data_dir=D:\BackupPG\dump\
SET pg_bin_dir=D:\PostgreSQL\11.8-6.1C\bin\
SET PGHOST=localhost
SET PGPORT=5432
SET pg_user=postgres
SET PGPASSWORD=pass
REM SET pg_lst_db=psql.exe --username=%pg_user% --list --field-separator=^; --tuples-only --no-align
SET pg_lst_db=%pg_bin_dir%psql.exe --username=%pg_user% -A -t -c "SELECT datname FROM pg_database"
REM Если батник будет запускаться планировщиком при загрузке
REM для исключения повторных срабатываний в один день
REM FORFILES /p %backup_data_dir% /M *.PGDMP /D 0 >nul 2>&1
REM if not errorlevel 1 exit
REM Стопорим сервер 1с
CALL "C:\Program Files\1cv8\8.3.17.1549\bin\ragent.exe" -stop
REM Задержка
ping -n 16 localhost>Nul
REM SET PGBASES=(postgres template0 template1)
REM CD /D %pg_bin_dir%
REM Удаляем в папке backup_data_dir все файл старше DAY
SET DAY=5
forfiles /p %backup_data_dir% /m * /s /d -%DAY% /c "cmd /c del @path /q" >nul 2>&1
REM FOR /f "delims=; tokens=1" %%d IN ('!pg_lst_db!^|find /v "template0";^|find /v "template1";^|find /v "postgres";^|find /v "demo1"') DO (
REM echo %ERRORLEVEL%
FOR /f "delims=; tokens=1" %%d IN ('!pg_lst_db!^|find /v "template";^|find /v "postgres"') DO (
SET file_name=%DATE:~6,4%-%DATE:~3,2%-%DATE:~0,2%_%TIME:~0,2%-%TIME:~3,2%-%TIME:~6,2%
SET file_name=!file_name: =0!
SET backup_file_name=%backup_data_dir%%%d-!file_name!.dump
SET log_file_name=%backup_data_dir%%%d-!file_name!.log
SET pg_dmp_option=--clean --username=%pg_user% --format=custom --verbose --file=!backup_file_name! --dbname=%%d
CALL %pg_bin_dir%pg_dump.exe !pg_dmp_option! 2>!log_file_name!
SET ERROR=!ERRORLEVEL!
REM echo !ERROR!
IF !ERROR!==0 ECHO !file_name! Успешное создание резервной копии !backup_file_name! >> %backup_data_dir%\%%d.log
IF NOT !ERROR!==0 ECHO !file_name! Ошибки при создании резервной копии базы данных !backup_file_name! >> %backup_data_dir%\%%d.log
)
REM Запускаем сервер 1с
CALL "C:\Program Files\1cv8\8.3.17.1549\bin\ragent.exe" -start
Сохранить. 
Восстановление.
Остановить сервер 1с
Запустить psql
Удалить базу buh 
postgres# DROP DATABASE buh;
Создать базу buh 
d:\PostgreSQL\11.8-6.1C\bin\pg_restore.exe -p 5432 -U postgres -e -d postgres -C buh-2020-09-24_21-16-47.dump
d:\PostgreSQL\11.8-6.1C\bin\pg_restore.exe -p 5432 -U postgres -e -d postgres -C kamin_2020-09-18_19-46-08.dump
Создать: D:\BackupPG\pg_vacuum.bat
REM СКРИПТ ОБСЛУЖИВАЮЩИЙ ВСЕ БАЗЫ В КЛАСТЕРЕ POSTGRESQL
CLS
ECHO OFF
CHCP 1251
REM Установка переменных окружения
REM SET PGBIN=C:\Program Files\PostgreSQL\11.5-19.1C\bin
SET PGBIN=D:\PostgreSQL\11.8-6.1C\bin
SET PGUSER=postgres
SET PGPASSWORD=pass
REM Смена диска и переход в папку из которой запущен bat-файл
%~d0
CD %~dp0
REM Формирование имени файла резервной копии и файла-отчета
SET DATETIME=%DATE:~6,4%-%DATE:~3,2%-%DATE:~0,2%_%TIME:~0,2%-%TIME:~3,2%-%TIME:~6,2%
SET DATETIME=%DATETIME: =0%
SET LOGFILE=%DATETIME%.log
SET LOGPATH="Vacuum\%LOGFILE%"
REM Обслуживание баз кластера
IF NOT EXIST Vacuum MD Vacuum
CALL "%PGBIN%\vacuumdb" -zfa -U %PGUSER% 2>>%LOGPATH%
REM Анализ кода завершения
IF NOT %ERRORLEVEL%==0 GOTO Error
GOTO Successfull
REM В случае ошибки делается соответствующая запись в журнале
:Error
MSG * "Ошибка при Vacuum. Смотрите vacuum.log."
ECHO %DATETIME% Ошибки при Vacuum. Смотрите отчет %LOGFILE%. >> vacuum.log
GOTO End
REM В случае удачного Vacuum просто делается запись в журнал
:Successfull
ECHO %DATETIME% Успешное проведение Vacuum >> vacuum.log
GOTO End
:End
Сохранить.
От администратора  в главном меню 
Программы -> PostgreSQL 11.8-6.1C(x64) -> Редактировать postgresql.con
Добавить в конец:

#
port = 5432
max_connections = 100
#shared_buffers = 4GB
shared_buffers = 512MB
temp_buffers = 256MB
work_mem = 64MB
effective_cache_size = 12GB
maintenance_work_mem = 1GB
wal_buffers = 16MB
min_wal_size = 2GB
max_wal_size = 4GB

default_statistics_target = 100
#effective_io_concurrency = 2
random_page_cost = 1.1
autovacuum = on
autovacuum_max_workers = 4
autovacuum_naptime = 20s
bgwriter_delay = 20ms
bgwriter_lru_multiplier = 4.0
bgwriter_lru_maxpages = 400
synchronous_commit = off
checkpoint_completion_target = 0.9
ssl = off
fsync = on
commit_delay = 1000
commit_siblings = 5
row_security = off
max_files_per_process = 1000
standard_conforming_strings = off
escape_string_warning = off
max_locks_per_transaction = 256
#log_min_duration_statement = 0
log_line_prefix = '%t [%p]: [%l-1] user=%u,db=%d,client=%h '
log_checkpoints = on
log_connections = on
log_disconnections = on
log_lock_waits = on
log_temp_files = 0
#log_autovacuum_min_duration = 0
#log_duration = on
#log_statement = all
log_destination = stderr
plantuner.fix_empty_table = 'on'
online_analyze.table_type = 'temporary'
online_analyze.verbose = 'off'
#max_replication_slots = 10
#max_wal_senders = 10
#wal_level = replica
#archive_mode = on
#archive_command ='test ! -f /wal/%f && cp %p /wal/%f'
#archive_command = 'copy "%p" "d:\\PostgreSQLBackup\\%f"'
#archive_command = '"c:\\Program Files\\Pg_ProBackup\\2.0.27\\pg_probackup" archive-push -B "c:\\pg_probackup" --instance data --wal-file-path %p --wal-file-name %f'
# Вариант с компрессией wal файлов
#archive_command = '"c:\\Program Files\\Pg_ProBackup\\2.0.27\\pg_probackup" archive-push -B "c:\\pg_probackup" --compress --instance data --wal-file-path %p --wal-file-name %f'   

Сохранить.

От администратора  в главном меню

Reload configuration

Установка 1С + postgresql под windows

Выгрузим существующие базы в pg_dump если не первоначальная установка

0. Остановить сервер 1с (если установлен)
Программы -> 1С:Предприятие 8(x86-64) -> Остановка сервера x86-64 (8.3.17.1386) 
 
Программы -> PostgreSQL 11.5-19.1C(x64) -> psql к 'postgres' 
Посмотреть базы:
postgres-# \l 
Посмотреть размер баз:
postgres-# \l+
 
Сделать pg_dump 
Программы -> PostgreSQL 11.5-19.1C(x64) -> Command Prompt
pg_dump -p 5432 -U postgres -Fc -d demo -f E:/backup/demo.dump
pg_dump -p 5432 -U postgres -Fc -d demo1 -f F:/backup/demo1.dump

Остановим сервис от имени администратора:
Программы -> PostgreSQL 11.5-19.1C(x64) -> Stop service
Удалим PostgreSQL через удаление программ. 

Рассмотрим первоначальную установку:

1. PostgreSQL, версия 11.8-6.1C. Дистрибутив СУБД PostgreSQL для Windows (64-bit) одним архивом

1.1 Установить vcredist_x64.exe

1.2 Установить postgresql-11.8-6.1C(x64).msi

 

D:\PostgreSQL\11.8-6.1C\

D:\PostgreSQL\11.8-6.1C\data\

Обратить внимание, что если PostgreSQL установлен не по умолчанию, нужно добавить права
полный доступ для NETWORK SERVICE для папки установки (если изменен) или на папку с данными. Иначе после reboot PostgreSQL не будет запускаться.

Пароль: pass (будет в дальнейшем использоваться в скриптах).

 


1.3

Остановить сервер 1с (если установлен)
Программы -> 1С:Предприятие 8(x86-64) -> Остановка сервера x86-64 (8.3.17.1386) 
 
Программы -> PostgreSQL 11.8-6.1C(x64) -> psql к 'postgres'
Посмотреть базы:
postgres-# \l
Посмотреть размер баз:
postgres-# \l+


postgres=# SHOW data_checksums;
 data_checksums
----------------
 off
(1 row)
Остановим сервис от имени администратора:
Программы -> PostgreSQL 11.8-6.1C(x64) -> Stop service

Удалим кластер

#rd /s /q "c:\Program Files\PostgreSQL\10.8-6.1C\data"
rd /s /q "d:\PostgreSQL\11.8-6.1C\data"

Создание кластера
Для диска D:\PostgreSQL\11.8-6.1C\data 
"D:\PostgreSQL\11.8-6.1C\bin\initdb" --encoding=UTF8 -U "postgres" -W -D "D:\PostgreSQL\11.8-6.1C\data" --auth-local peer --auth-host md5 --data-checksums
The files belonging to this database system will be owned by user "user".
This user must also own the server process.

The database cluster will be initialized with locale "Russian_Russia.1251".
The default text search configuration will be set to "russian".

Data page checksums are enabled.

Enter new superuser password:
Enter it again:

creating directory D:/PostgreSQL/11.8-6.1C/data ... ok
creating subdirectories ... ok
selecting default max_connections ... 100
selecting default shared_buffers ... 128MB
selecting default timezone ... Europe/Moscow
selecting dynamic shared memory implementation ... windows
creating configuration files ... ok
running bootstrap script ... ok
performing post-bootstrap initialization ... ok
syncing data to disk ... ok

Success. You can now start the database server using:

D:/PostgreSQL/11.8-6.1C/bin/pg_ctl -D ^"D^:^\PostgreSQL^\11^.8^-6^.1C^\data^" -l logfile start 

Если PostgreSQL установлен не по умолчанию, нужно добавить права
полный доступ для NETWORK SERVICE для папки установки (если изменен) или на папку с данными. Иначе после reboot PostgreSQL не будет запускаться.

 
Запустим сервис от имени администратора:
Программы -> PostgreSQL 11.8-6.1C(x64) -> Start service
 
Программы -> PostgreSQL 11.8-6.1C(x64) -> psql к 'postgres'
postgres=# SHOW data_checksums;
data_checksums
----------------
on
(1 row)
Кластер с поддержкой контрольных сумм создан.  
 
 
Программы -> PostgreSQL 11.5-19.1C(x64) -> Редактировать postgresql.con
 
2. Установка pg_probackup
https://github.com/postgrespro/pg_probackup/releases/2.4.1
Качаем здесь: 
https://github.com/postgrespro/pg_probackup/releases/download/2.4.1/pg-probackup-vanilla-11-2.4.1-standalone-en.msi 
Устанавливаем по умолчанию: 
pg-probackup-vanilla-11-2.4.1-standalone-en.msi 

C:\Program Files\pg_probackup\2.4.1\PostgreSQL11\

>cd "c:\Program Files\Pg_ProBackup\2.0.27"
"c:\Program Files\Pg_ProBackup\2.0.27\pg_probackup.exe" help

"c:\Program Files\pg_probackup\2.4.1\PostgreSQL11\

Инициализация каталога резервных копий

Создадим D:\pg_probackup


 Инициализация (целесообразно на ssd)

"c:\Program Files\pg_probackup\2.4.1\PostgreSQL11\pg_probackup" init -B D:\pg_probackup

INFO: Backup catalog 'D:/pg_probackup' successfully inited

Определение копируемого экземпляра

"c:\Program Files\pg_probackup\2.4.1\PostgreSQL11\pg_probackup" add-instance -B "D:\pg_probackup" -D "D:\PostgreSQL\11.8-6.1C\data"  --instance data
INFO: Instance 'data' successfully inited

У меня был \ на конце -D "D:\PostgreSQL\11.8-6.1C\data\" очевидно это критично была ошибка.


Создание полной автономной резервной копии:


 
"c:\Program Files\pg_probackup\2.4.1\PostgreSQL11\pg_probackup" backup -B "D:\pg_probackup" --instance data -b FULL --stream -U postgres -d postgres

 

"c:\Program Files\pg_probackup\2.4.1\PostgreSQL11\pg_probackup" backup -B "D:\pg_probackup" --instance data -b FULL --stream -U postgres -d postgres
INFO: Backup start, pg_probackup version: 2.4.1, instance: data, backup ID: QH7DOO, backup mode: FULL, wal mode: STREAM, remote: false, compress-algorithm: none, compress-level: 1
Password for user postgres:
WARNING: Current PostgreSQL role is superuser. It is not recommended to run backup or checkdb as superuser.
INFO: PGDATA size: 23MB
INFO: Start transferring data files
INFO: Data files are transferred, time elapsed: 3s
INFO: wait for pg_stop_backup()
INFO: pg_stop backup() successfully executed
INFO: Syncing backup files to disk
INFO: Backup files are synced, time elapsed: 1s
INFO: Validating backup QH7DOO
INFO: Backup QH7DOO data files are valid
INFO: Backup QH7DOO resident size: 39MB
INFO: Backup QH7DOO completed 

 

pg_probackup настройка автономного резервного копирования windows  


Настройка политики сохранения резервных копий


D:\pg_probackup\backups\data\pg_probackup.conf 
Добавить:
retention-redundancy=5
Сохранить.




Для запуска можно сделать скрипт pg_probackup.bat :

REM СКРИПТ pg_probackup В КЛАСТЕРЕ POSTGRESQL
CLS
ECHO OFF
CHCP 1251
REM Установка переменных окружения
SET PGUSER=postgres
SET PGPASSWORD=pass
REM Смена диска и переход в папку из которой запущен bat-файл
%~d0
CD %~dp0
REM Формирование имени файла резервной копии и файла-отчета
SET DATETIME=%DATE:~6,4%-%DATE:~3,2%-%DATE:~0,2%_%TIME:~0,2%-%TIME:~3,2%-%TIME:~6,2%
SET LOGFILE=%DATETIME%.log
SET LOGPATH="PGPRO\%LOGFILE%"
REM Обслуживание баз кластера
IF NOT EXIST PGPRO MD PGPRO
CALL "c:\Program Files\pg_probackup\2.4.1\PostgreSQL11\pg_probackup" backup -B "D:\pg_probackup" --instance data -b FULL --stream -U postgres -d postgres  --compress --delete-wal --expired --progress >>%LOGPATH%
REM Анализ кода завершения
IF NOT %ERRORLEVEL%==0 GOTO Error
GOTO Successfull
REM В случае ошибки делается соответствующая запись в журнале
:Error
MSG * "Ошибка при pg_probackup. Смотрите pg_probackup.log."
ECHO %DATETIME% Ошибки при pg_probackup. Смотрите отчет %LOGFILE%. >> pg_probackup.log
GOTO End
REM В случае удачного pg_probackup просто делается запись в журнал
:Successfull
ECHO %DATETIME% Успешное проведение pg_probackup >> pg_probackup.log
GOTO End
:End

Сохранить.


postgres=# show client_encoding;
 client_encoding
-----------------
 UTF8
(1 row)

open the cmd
SET PGCLIENTENCODING=UTF8

utf-8