|
Как уменьшить копию большой БД? | ☑ | ||
---|---|---|---|---|
0
LLIaMaH
20.11.20
✎
13:17
|
У нас основная БД, 3Тб, как всегда места для разворота копии нет, у каждого разработчика своя база гигов по 200 почти пустая, иногда спасаешся выгрузкой загрузкой определенных данных, но бывает необходимо комплексно проверять работу с кучей свежих данных. Самое простое решение развернуть копию из ежедневной копии рабочей базы, но как я горил места нет, точне пара терабайтов есть, но их мало. Если поковыряться есть набор таблиц не критичных для всех, но снести их можно только после разворота полной копии, а места нет :) Есть какой то способ развернуть копию MS-SQL БД исключая определенные таблицы. Я как бы совсем профан в администрировании СУБД, админ говорит, что места нет и не знает как сделать по другому, кроме разворота полной копии.
|
|||
1
ДенисЧ
20.11.20
✎
13:20
|
Нет такого способа
|
|||
2
Free_soul
20.11.20
✎
13:31
|
(0) делай свертку, если не сильно часто надо свежие данные.
|
|||
3
mistеr
20.11.20
✎
13:36
|
(0) >бывает необходимо комплексно проверять работу с кучей свежих данных.
"Кучу" и "свежих" не обязательно, а необходимый минимум тестовых данных можно либо внести вручную, либо сгенерировать обработкой. Рано или поздно нужно выходить на серьезный уровень, так лучше рано, чем поздно. |
|||
4
TormozIT
гуру
20.11.20
✎
13:36
|
Для начала надо провести анализ распределения объема данных по таблицам. Высока вероятность что есть таблицы типа "журнал/лог/история", на которые нет ссылок и данные в которых больше не нужны. Вот их надо почистить от мусора.
|
|||
5
LLIaMaH
20.11.20
✎
13:36
|
(2) Не очень понял. Рабочую базу трогать не могу, база самописная полностю.
|
|||
6
arsik
гуру
20.11.20
✎
13:37
|
Очень все странно.
База 3Тб - это должна быть нехилая такая контора, а на дополнительный СХД денег нет. У нас еженочно восстанавливается для тестов копия из рабочей. В течении дня ее насилуют. |
|||
7
LLIaMaH
20.11.20
✎
13:38
|
(6) Нехилая :), 900 точек, денег нет, но мы держимся.
|
|||
8
mistеr
20.11.20
✎
13:41
|
(7) Денег совсем нет, даже $200 на пару дисков?
Не верю. |
|||
9
yzimin
20.11.20
✎
13:41
|
(7) В данном случае решить вопрос железкой будет дешевле. Иногда на свёртку БД и последующих разборов больше уходит времени
|
|||
10
dka80
20.11.20
✎
13:42
|
https://www.dns-shop.ru/product/3247771e67381b80/6-tb-zestkij-disk-toshiba-p300-hdwd260uzsva/
скиньтесь отделом, помогите родному предприятию |
|||
11
LLIaMaH
20.11.20
✎
13:42
|
(4) Я и проводил анализ, когда доходит до вопросов, "эта таблица на 10-100гигов надо?", никто толком ответить не может, а вдруг пригодитсья, анализ там какой, статистика, опять же дикое необузданное, без какого либо центрального планирования и архитектуры, базостроительство, по требованиям пользователей, когда нада было уже вчера, привело к дублированияю части данных, порой сотни гигабайт дублирют друг друга, и переделывать некому и некгода.
|
|||
12
LLIaMaH
20.11.20
✎
13:44
|
(10) Админ говрит какито брендовы сервер не хотят работать с левыми дисками, родные диски стоят больших денег, ХЗ почему нельзя развернуть на чемто другом.
|
|||
13
Free_soul
20.11.20
✎
13:45
|
(5) копию свернуть, не рабочую
Правда, будешь каждый раз вновь загруженную в копию сворачивать, если данные иным способом не будешь подгружать |
|||
14
LLIaMaH
20.11.20
✎
13:47
|
(13) дак нет 3Тб для раворота копии, я бы транкейтом или руками снес если бы развернуть могли тупо нет места для хотябы начала. выжрали все, не ожидали что база за пол года с момета начала полноценной работы стока сожрет.
|
|||
15
arsik
гуру
20.11.20
✎
13:47
|
(12) Зачем. Ну засуньте в обычную ПК 2 по 3 терабайта = 6 и в Райд 0 его, что бы побыстрее было.
|
|||
16
arsik
гуру
20.11.20
✎
13:48
|
+(15) Но долго 3 терабайта будут разворачиваться. Часов 8.
|
|||
17
Free_soul
20.11.20
✎
13:49
|
(14) лучше займитесь оптимизацией, поди полнотекстовой поиск включен?
(15) а серверный ключ? |
|||
18
arsik
гуру
20.11.20
✎
13:49
|
+(16) А не. Вру. Побыстрее.
|
|||
19
arsik
гуру
20.11.20
✎
13:49
|
(17) А полнотекстовый тутпри чем. У него индекс отдельно от базы вроде храниться.
|
|||
20
mikecool
20.11.20
✎
13:53
|
"у каждого разработчика своя база гигов по 200 почти пустая"
если она почти пустая весит 200 Гиг, то это размер конфигурации? а если нет, то в ней овер дохрена лишней информации |
|||
21
LLIaMaH
20.11.20
✎
13:54
|
полнотекстовый в прогарм файлес лежит, 300гигов, при том что отключен почти везде, индексы поотключали ненужные, просто дофига информации однотипной, банально продажи всякие. в разных видах.
|
|||
22
LLIaMaH
20.11.20
✎
13:59
|
(20) я не спорю что до хрена, просто никто не занимался проектированием, поставили задачу чето сделать, накерачил регистров, документов и спраочникв, данные запросто могли дублировать друг друга а то и лежать в двоичных данных целые файлы прайсов в базе, потмоу что так удобнее и быстрее было если что перезаполнит данные :) Я поразбирлся, что лишнее пару недель, среди самых большых таблиц, так создатели говорят "ну да криво-косо, но работает, не трож, а переделывать время нет."
|
|||
23
МихаилМ
20.11.20
✎
14:02
|
написать скрипт на tsql , который будет копировать н последних доков с движениями справочниками и прочим - день работы.
закажите или попросите. наверняка вы не первые с такой проблемой. для такой большой базы желательно иметь админа субд, который будет за ней присматривать. можно "приходящего" |
|||
24
s-n-a-y
20.11.20
✎
17:04
|
(0) Как вариант можно подцепить внешнее хранилище/диск и временно сделать смиволическую ссылку с папки TEMP на хранилище, тогда место для создания полного бекапа будет
|
|||
25
timurhv
20.11.20
✎
17:45
|
(22) На добавленных регистрах на каждом измерении индексировать?
|
|||
26
rphosts
20.11.20
✎
18:01
|
(0) у вашей конторы нет денег на https://www.dns-shop.ru/product/72ed1bbc84203361/4-tb-zestkij-disk-wd-blue-wd40ezrz/ ?
|
|||
27
Михаил Козлов
20.11.20
✎
19:46
|
Уходите оттуда.
|
Форум | Правила | Описание | Объявления | Секции | Поиск | Книга знаний | Вики-миста |