Имя: Пароль:
1C
 
Как уменьшить копию большой БД?
0 LLIaMaH
 
20.11.20
13:17
У нас основная БД, 3Тб, как всегда места для разворота копии нет, у каждого разработчика своя база гигов по 200 почти пустая, иногда спасаешся выгрузкой загрузкой определенных данных, но бывает необходимо комплексно проверять работу с кучей свежих данных. Самое простое решение развернуть копию из ежедневной копии рабочей базы, но как я горил места нет, точне пара терабайтов есть, но их мало. Если поковыряться есть набор таблиц не критичных для всех, но снести их можно только после разворота полной копии, а места нет :) Есть какой то способ развернуть копию MS-SQL БД исключая определенные таблицы. Я как бы совсем профан в администрировании СУБД, админ говорит, что места нет и не знает как сделать по другому, кроме разворота полной копии.
1 ДенисЧ
 
20.11.20
13:20
Нет такого способа
2 Free_soul
 
20.11.20
13:31
(0) делай свертку, если не сильно часто надо свежие данные.
3 mistеr
 
20.11.20
13:36
(0) >бывает необходимо комплексно проверять работу с кучей свежих данных.

"Кучу" и "свежих" не обязательно, а необходимый минимум тестовых данных можно либо внести вручную, либо сгенерировать обработкой.

Рано или поздно нужно выходить на серьезный уровень, так лучше рано, чем поздно.
4 TormozIT
 
гуру
20.11.20
13:36
Для начала надо провести анализ распределения объема данных по таблицам. Высока вероятность что есть таблицы типа "журнал/лог/история", на которые нет ссылок и данные в которых больше не нужны. Вот их надо почистить от мусора.
5 LLIaMaH
 
20.11.20
13:36
(2) Не очень понял. Рабочую базу трогать не могу, база самописная полностю.
6 arsik
 
гуру
20.11.20
13:37
Очень все странно.
База 3Тб - это должна быть нехилая такая контора, а на дополнительный СХД денег нет.
У нас еженочно восстанавливается для тестов копия из рабочей. В течении дня ее насилуют.
7 LLIaMaH
 
20.11.20
13:38
(6) Нехилая :), 900 точек, денег нет, но мы держимся.
8 mistеr
 
20.11.20
13:41
(7) Денег совсем нет, даже $200 на пару дисков?
Не верю.
9 yzimin
 
20.11.20
13:41
(7) В данном случае решить вопрос железкой будет дешевле. Иногда на свёртку БД и последующих разборов больше уходит времени
10 dka80
 
20.11.20
13:42
https://www.dns-shop.ru/product/3247771e67381b80/6-tb-zestkij-disk-toshiba-p300-hdwd260uzsva/

скиньтесь отделом, помогите родному предприятию
11 LLIaMaH
 
20.11.20
13:42
(4) Я и проводил анализ, когда доходит до вопросов, "эта таблица на 10-100гигов надо?", никто толком ответить не может, а вдруг пригодитсья, анализ там какой, статистика, опять же дикое необузданное, без какого либо центрального планирования и архитектуры, базостроительство, по требованиям пользователей, когда нада было уже вчера, привело к дублированияю части данных, порой сотни гигабайт дублирют друг друга, и переделывать некому и некгода.
12 LLIaMaH
 
20.11.20
13:44
(10) Админ говрит какито брендовы сервер не хотят работать с левыми дисками, родные диски стоят больших денег, ХЗ почему нельзя развернуть на чемто другом.
13 Free_soul
 
20.11.20
13:45
(5) копию свернуть, не рабочую
Правда, будешь каждый раз вновь загруженную в копию сворачивать, если данные иным способом не будешь подгружать
14 LLIaMaH
 
20.11.20
13:47
(13) дак нет 3Тб для раворота копии, я бы транкейтом или руками снес если бы развернуть могли тупо нет места для хотябы начала. выжрали все, не ожидали что база за пол года с момета начала полноценной работы стока сожрет.
15 arsik
 
гуру
20.11.20
13:47
(12) Зачем. Ну засуньте в обычную ПК 2 по 3 терабайта = 6 и в Райд 0 его, что бы побыстрее было.
16 arsik
 
гуру
20.11.20
13:48
+(15) Но долго 3 терабайта будут разворачиваться. Часов 8.
17 Free_soul
 
20.11.20
13:49
(14) лучше займитесь оптимизацией, поди полнотекстовой поиск включен?
(15) а серверный ключ?
18 arsik
 
гуру
20.11.20
13:49
+(16) А не. Вру. Побыстрее.
19 arsik
 
гуру
20.11.20
13:49
(17) А полнотекстовый тутпри чем. У него индекс отдельно от базы вроде храниться.
20 mikecool
 
20.11.20
13:53
"у каждого разработчика своя база гигов по 200 почти пустая"
если она почти пустая весит 200 Гиг, то это размер конфигурации?
а если нет, то в ней овер дохрена лишней информации
21 LLIaMaH
 
20.11.20
13:54
полнотекстовый в прогарм файлес лежит, 300гигов, при том что отключен почти везде, индексы поотключали ненужные, просто дофига информации однотипной, банально продажи всякие. в разных видах.
22 LLIaMaH
 
20.11.20
13:59
(20) я не спорю что до хрена, просто никто не занимался проектированием, поставили задачу чето сделать, накерачил регистров, документов и спраочникв, данные запросто могли дублировать друг друга а то и лежать в двоичных данных целые файлы прайсов в базе, потмоу что так удобнее и быстрее было если что перезаполнит данные :) Я поразбирлся, что лишнее пару недель, среди самых большых таблиц, так создатели говорят "ну да криво-косо, но работает, не трож, а переделывать время нет."
23 МихаилМ
 
20.11.20
14:02
написать скрипт на tsql  , который будет копировать  н последних доков с движениями справочниками и прочим - день работы.
закажите или попросите. наверняка вы не первые с такой проблемой.
для такой большой базы желательно иметь админа субд, который будет за ней присматривать. можно "приходящего"
24 s-n-a-y
 
20.11.20
17:04
(0) Как вариант можно подцепить внешнее хранилище/диск и временно сделать смиволическую ссылку с папки TEMP на хранилище, тогда место для создания полного бекапа будет
25 timurhv
 
20.11.20
17:45
(22) На добавленных регистрах на каждом измерении индексировать?
26 rphosts
 
20.11.20
18:01
(0) у вашей конторы нет денег на https://www.dns-shop.ru/product/72ed1bbc84203361/4-tb-zestkij-disk-wd-blue-wd40ezrz/ ?
27 Михаил Козлов
 
20.11.20
19:46
Уходите оттуда.
Пользователь не знает, чего он хочет, пока не увидит то, что он получил. Эдвард Йодан