|
Производительность сервера против производительности обычного ПК | ☑ | ||
---|---|---|---|---|
0
noxxx
10.04.13
✎
16:44
|
Есть у нас сервер под сервер 1С.
Два процессора AMD Opteron 6272 @ 2.1GHz, 64Gb оперативки, RAID1, 2 десятитысячника. А еще у нас есть обычный ПК. Однопроцессорный, Intel Core-i7 2600K @ 3.4GHz, 16Гб оперативки, RAID1, 2 десятитысячника. Так вот замечательность в том, что если использовать в качестве сервера 1С вышеупомянутый сервер, то ОПЗС проводится в 4 раза медленнее, чем если использовать в качестве сервера 1С этот обычный ПК. Если запустить процедуру восстановления последовательности взаиморасчетов, то на ПК она выполняется в 2 раза быстрее. РСВ сейчас тестируется. Грешили на количество ядер у AMD (их по 16 на процессор). Уменьшили в настройках до 4 ядер на процессор, по документации ядра должны стать производительнее, но стало еще немного хуже. Игры с количеством процессов сервера 1С результата не дают. Мистика какая-то. Собственно, вопрос в том, почему так может быть? Неужели всё дело в частоте ядра, и всё остальное значения не имеет? |
|||
11
H A D G E H O G s
10.04.13
✎
17:04
|
(8) Незагнется.
|
|||
12
leonidkorolev
10.04.13
✎
17:04
|
(8) Что будет узким местом этого ПК?
|
|||
13
Fragster
гуру
10.04.13
✎
17:04
|
средненький ПК: http://wstaw.org/m/2013/03/03/plasma-desktopk17204.png
средненький сервер: http://wstaw.org/m/2013/03/05/2.png |
|||
14
viktor_vv
10.04.13
✎
17:04
|
(10) 200 он может вообще никак не потянуть, хотя 10 поятнет быстрее.
|
|||
15
Fragster
гуру
10.04.13
✎
17:05
|
данный ПК аж на 4-6 пользователях уйдет в "насыщение" производительности
|
|||
16
mehfk
10.04.13
✎
17:05
|
(0) А частота памяти одинаковая?
|
|||
17
H A D G E H O G s
10.04.13
✎
17:09
|
(13) Что по вертикальной оси?
|
|||
18
Fragster
гуру
10.04.13
✎
17:09
|
(17) количество операций за 10 секунд
|
|||
19
noxxx
10.04.13
✎
17:10
|
(9) Запустил на сервере быстрый, менее точный, хочу результатов.
|
|||
20
Fragster
гуру
10.04.13
✎
17:11
|
(19) для своего - после завершения: создать на основании - отчет по тесту
|
|||
21
Fragster
гуру
10.04.13
✎
17:13
|
чтобы получить чужие - надо воспоьлзоваться обработкой "обмен результатами"
|
|||
22
oleg_km
10.04.13
✎
17:38
|
Эверестом посмотри скорость памяти. Мы сталкивались, что и старый сервер и новый ПК имели процессоры 2.4 ГГц, но на старом шина памяти работала на 200 МГц, а на ПК на 667 МГц. На старом 1С висла постоянно (именно сервер 1С), а на ПК летала. При этом загрузка процессоров на обоих не превышала 50%, на страом была даже меньше. Отсюда сделали логичный вывод что серверу 1С важнее всего скорость обмена с оперативной памятью, потом процессор, объем памяти, диски (для кэшей и логов).
|
|||
23
a_alenkin
10.04.13
✎
17:52
|
Что такое
- ОПЗС - РСВ Тут таких сокращений я не нашел - нельзя расшифровать что ли? |
|||
24
a_alenkin
10.04.13
✎
17:52
|
имел в виду тут:
http://www.forum.mista.ru/rules.php |
|||
25
Fragster
гуру
10.04.13
✎
17:54
|
(23) это из УПП... отчет производства за смену и расчет себестоимости выпуска
|
|||
26
noxxx
10.04.13
✎
17:55
|
Отчеты с сервера получил:
1. http://clip2net.com/s/4To9e5 2. http://clip2net.com/s/4ToaeJ 3. http://clip2net.com/s/4Tob7S 4. http://clip2net.com/s/4TobQT |
|||
27
noxxx
10.04.13
✎
17:57
|
Как их интерпретировать теперь? :)
|
|||
28
ssh2006
10.04.13
✎
17:57
|
(23) отчет пр-ва за смену, расчет себ-и выпуска
|
|||
29
ДенисЧ
10.04.13
✎
17:58
|
Прикольный провал на первом графике... Диск, где лежит тмпдб, просто захлёбывается...
|
|||
30
ssh2006
10.04.13
✎
18:02
|
(0) > Неужели всё дело в частоте ядра
в данном случае, думаю, дело в частоте |
|||
31
Fragster
гуру
10.04.13
✎
18:04
|
(27) ну примерно на 32 (непрерывно молотящих) пользователях у тебя скорость работы каждого пользователя такая же, как при 15 гилевских попугаях на одном компе. если код написан так, что они друг другу не мешают, конечно. максимальная - как на 40 попугаях, что неплохо весьма.
теоретическое распарралеливание РСВ даст ускорение в 10-15 раз (при тех самых 32 потоках, но я бы так не издевался и сделал 4-8 потоков, так как там нет провала на поток). (29)+1, переложи темпдб на нормальные диски |
|||
32
ssh2006
10.04.13
✎
18:16
|
+(30) плюс речь про разницу в скорости выполнения задач запущенных в одном сеансе, а не про параллельную работу.
Тупо молотилка быстрее 2.1GHz vs 3.4GHz |
|||
33
Эльниньо
10.04.13
✎
18:51
|
(22) Именно так. Частота шины в первую очередь. А уж частота проца в последнюю.
|
|||
34
opty
10.04.13
✎
19:09
|
(0) Сервер это далеко не только производительность , но надежность , горячая замена элементов RAID или БП, формфакторы для стоек , расширенные возможности управления и еще куча всяких штучек
|
|||
35
mistеr
10.04.13
✎
19:34
|
(22) А я все-таки сомневаюсь, думаю частота процессора важнее. Как проверить?
(0) Все алгоритмы в типовых однопоточные, так что в одном сеансе работает только одно ядро. РСВ можно распараллелить самостоятельно, по номенклатуре или еще как. |
|||
36
oleg_km
10.04.13
✎
22:11
|
(35) сомневайся, мне не жалко. Еще раз повторяю: запусти эверест на сравниваемых компьютерах и посмотри в чем разница. У нас разница оказалось только в скорости памяти. Логическое объяснение это есть: сервер 1С тупо перекладывает данные полученные от СУБД в сокет по которому подключен клиент. Что тебе еще надо, чтобы я кровью побожился? Направление получил, твое дело пробовать или нет.
|
|||
37
noxxx
10.04.13
✎
22:13
|
Так, погодите, я не понял.
На сервере 1С у нас молотит 4 процесса. 1 пользователь, или 200 - этих процессов один фиг 4. Зачем мерить многопоточность если все алгоритмы однопоточные и процессов 4 штуки? Также мне не понятно, почему один процесс при работе одного пользователя не занимает ядро на 100%? Сервер стоит курит, и при этом все работает медленно. Не складывается у меня картина. А ещё померили скорость чтения и записи памяти, так на сервере скл у нас скорость работы с памятью выше в два раза. Я так понимаю тормоза могут быть связаны и с этим? |
|||
38
mistеr
10.04.13
✎
22:25
|
(37) >Зачем мерить многопоточность
Это надо спросить у тех, кто советовал. :) В теории, этот тест должен показать, как молотит сервер, если его загрузить под завязку (у кого-то это могут сделать 10 пользователей, у кого-то 200). >почему один процесс при работе одного пользователя не занимает ядро на 100%? Кроме собственно исполнения 1С-ного кода, серверный процесс бывает ждет: - пока выполнится запрос (в это время работает SQL сервер) - пока вытянется из сети готовая выборка - пока выполнится четние или запись в файл (temp к примеру) - пока освободится какая-то блокировка - пока ОС разбирается с виртуальной памятью (свопинг) - пока клиент скушает очередную порцию данных - обращение к COM объекту - обращение к веб-ресурсу и т.д. и т.д. |
|||
39
mistеr
10.04.13
✎
22:30
|
(36) Я не спорю, что разница в ПСП имеет значение. Я спрашиваю, что больше влияет на общую производительность, ПСП или частота. В данном примере 2.1GHz против 3.4GHz, разница 60%. Если ПСП увеличить на те же 60%, а проц оставить 2.1, будет тот же эффект или меньше? Или больше? Я думаю, что меньше.
|
|||
40
noxxx
10.04.13
✎
22:43
|
В общем решил я попробовать сервер 1С временно перенести на скл. Посмотрю как оно будет себя чувствовать. А то сейчас вообще курят оба стоят.
Ну и с памятью сервера надо попробовать сделать что-нибудь. |
|||
41
Fragster
гуру
10.04.13
✎
23:01
|
(37) то, что процессов 4, 1, 13 или сколько-то еще - на утилизацию ресурсов оборудования не влияет, и 1 рабочий процесс может выжать процессор досуха при должном обращении.
кроме процессора есть еще задержки диска, сети, сервера СУБД и т.д. |
|||
42
Fragster
гуру
10.04.13
✎
23:02
|
(40) после этого еще раз тест выполни, вначале (1-4 потока) будет быстрее, но максимальное значение будет ниже
|
|||
43
Armando
10.04.13
✎
23:05
|
Тож заморачивался
Производительность 1C+MS SQL. Серверное железо vs домашнее железо |
|||
44
kiruha
10.04.13
✎
23:06
|
(37)>> 4 процесса<<
>>процессы существуют в операционной системе и соответствуют тому, что пользователи видят как программы или приложения. Поток, с другой стороны, существует внутри процесса. Каждый процесс состоит из одного или более потоков. Существование нескольких процессов позволяет компьютеру "одновременно" выполнять несколько задач. Существование нескольких потоков позволяет процессу разделять работу для параллельного выполнения. http://msdn.microsoft.com/ru-ru/library/ms164740.aspx |
|||
45
mistеr
10.04.13
✎
23:08
|
(41) >1 рабочий процесс может выжать процессор досуха
Процессор или ядро? |
|||
46
Fragster
гуру
10.04.13
✎
23:14
|
(45) процессор
|
|||
47
mistеr
10.04.13
✎
23:18
|
(46) Как, например? Продемонстрировать можешь?
|
|||
48
noxxx
10.04.13
✎
23:18
|
(42) получается что все эти игрища с железом бесполезны? Мириться с тем что РСВ проводится медленнее в угоду большей тракторности сервера?
|
|||
49
oleg_km
10.04.13
✎
23:21
|
(43) Вот, там я детально все разжевал
(48) Нефик мириться, на серверы 1С в конце концов можно поставить настольный компьютер. Если что его можно заменить на аналогичный. Это скулю нужен райд, полки всякие |
|||
50
Fragster
гуру
10.04.13
✎
23:28
|
(48) можно параллелить алгоритмы РСВ, разделять на неблокирующиеся участки и выполнять параллельно.
|
|||
51
Fragster
гуру
10.04.13
✎
23:28
|
можно поставить 2ядерное чудо разогнанное до 5ГГц в РИБ и проводить РСВ в ней
|
|||
52
Fragster
гуру
10.04.13
✎
23:28
|
в РИБ с основной базой
|
|||
53
IamAlexy
10.04.13
✎
23:42
|
давно заметил: на настольных машинках 1Са работает реально быстрее
а еще она очень любит мегагерцы то есть именно их количество. и какойнить там гавняненький АМД с большими мегагерцами заставит 1Ску работать быстрее чем интел с меньшей циферкой в паспорте.. |
|||
54
Fragster
гуру
11.04.13
✎
02:41
|
(47)->(9)
|
|||
55
mistеr
11.04.13
✎
08:41
|
(54) Не увидел в результатах загрузки процессора (и их количества).
|
|||
56
floody
11.04.13
✎
08:58
|
все не читал, но с чего вы взяли, что сервер должен быть быстрее? он должен быть надежнее, это да..
во вторых, под 1C вроде как AMD не рекомендуется, а сейчас и даже десктопные процессоры не рекомендуются вообще для общего круга задач в третьих, 2.1 GHz против 3.4 (при нагрузке на 1 ядро еще и разгоняется до 3.8) разницу чувствуете? |
|||
57
DGorgoN
11.04.13
✎
09:12
|
3.4GHz > 2.1 А под 1с это существенно.
Дисковая система тоже влияет сильно. Сервер он стабильнее при больших нагрузках. |
|||
58
Fragster
гуру
11.04.13
✎
09:55
|
(55) а в процессе выполнения? тоже не увидел?
|
|||
59
noxxx
11.04.13
✎
09:59
|
Что-то я в Эвересте в разделе памяти не нахожу ни слова про частоту.
|
|||
60
oleg_km
11.04.13
✎
10:05
|
(59) внизу раздел тесты там тесты памяти. Еще в разделе системная плата, есть системная плата - свойства шины памяти
|
|||
61
noxxx
11.04.13
✎
10:22
|
Скачал последнюю АИДУ
Сервер: Шина памяти 665.0 MHz Скорость чтения 8878 МБ/с Скорость записи 6768 МБ/с Скорость копирования 11731 МБ/с Задержка 73.2 ns Показатель CPU Queen 31357 ПК: Шина памяти 668.6 MHz Скорость чтения 16302 МБ/с Скорость записи 18603 МБ/с Скорость копирования 18252 МБ/с Задержка 53.3 ns Показатель CPU Queen 43964 Мой ноутбук для сравнения: Шина памяти 665.6 MHz Скорость чтения 13967 МБ/с Скорость записи 13584 МБ/с Скорость копирования 14715 МБ/с Задержка 59.9 ns Показатель CPU Queen 16867 |
|||
62
noxxx
11.04.13
✎
10:23
|
Что-то сервер наш в ПЕЖО
|
|||
63
oleg_km
11.04.13
✎
10:49
|
(62) Сервера всегда отстают в развитии. Как часто вы их обновляете? Мы по-началу 1С запустили на сервере от 2003 г. Долго не могли понять в чем дело: процессор в простое, диски тоже. Мне кажется под сервер 1С нужно брать одноюнитовый корпус и более часто обновлять его начинку: маму, процессоры и память. Ну если потребности бизнеса постоянно растут: рост числа пользователей, рост числа транзакций и т.д.
|
|||
64
floody
11.04.13
✎
11:36
|
(63) как связана одноюнитовость с частым обновлением?
старые серверы как раз загружены под 100% бывают, производительности сильно не хватает, если нормально настроено а ваши простаивающие процессор и диски - дело понятно чьих рук |
|||
65
noxxx
11.04.13
✎
13:42
|
Сервер покупали в конце прошлого года. HP.
(64) Чьих? |
|||
66
noxxx
11.04.13
✎
20:56
|
А можно ли запустить РСВ по УУ вне транзакций и одновременно с ним РСВ по БУ и НУ вне транзакции? Они же не пересекаются? Да и "многопоточный" сервер должен работать хорошо в таком случае?
|
|||
67
noxxx
11.04.13
✎
21:05
|
Вот, кстати, тест производительности с нашего ПК:
http://clip2net.com/s/4TPsxk http://clip2net.com/s/4TPu0z Я правильно понимаю, что разницы значительной нет? |
|||
68
noxxx
11.04.13
✎
21:05
|
Призываю в тему Fragster
|
|||
69
noxxx
11.04.13
✎
21:06
|
Хотя, как это нет
ПК в два раза мощнее чем сервер! |
|||
70
mistеr
11.04.13
✎
21:10
|
(58) Не выполнял.
|
|||
71
opty
11.04.13
✎
21:15
|
(62) На сервере (нормальном) память с контролем четности , это как бы не способствует её быстродействию при прочих равных , но зато , даже серьезный сбой в памяти не приведет к серьезным последствиям для системы
|
|||
72
noxxx
11.04.13
✎
21:21
|
(71) В два раза падение производительности из-за контроля четности?
|
|||
73
Славен
11.04.13
✎
21:25
|
(71)давно такое с памью было? лет 10 назад бывало, теперь нет, однако стоимо
|
|||
74
opty
11.04.13
✎
21:28
|
(71) А ты еще выборку потести , поменяй размер блока , результаты то и изменятся . Большинство прог для тестов озу рассчитаны на рабочие станции , пишут-читают линейно , большими блоками
|
|||
75
Fragster
гуру
11.04.13
✎
22:20
|
||||
76
noxxx
11.04.13
✎
22:29
|
(75) Слушай, подскажи как интерпретировать результаты теста? Я правильно понимаю, что ПК не лучше чем сервер по этому тесту?
|
|||
77
opty
11.04.13
✎
22:33
|
(76) Что значит хуже-лучше ?
Для использования в качестве буфера , игровых текстур на пару гигов , ПК явно лучше :) |
|||
78
noxxx
11.04.13
✎
22:38
|
(77) Значит что вышеупомянутый ПК выполняет операции в 2 раза быстрее чем вышеупомянутый сервер. Тест прогнал и там и там. Местные пророчили что ПК сдуется уже на 4 процессах, а он вроде как не сдулся и даже показал лучше результат чем сервер.
|
|||
79
opty
11.04.13
✎
22:42
|
(78) Некоторые типы операций - несомненно , а если в ПК видюха приличная стоит , так он по рендеру 3Д , любой сервер в ноль опустит :)
Найди прогу RightMark Memory Analyzer По экспериментируй с размером блока , количеством потоков работы с памятью , типами выборки , и прикладными пресетами . Результат будет несколько иной , хотя в целом по скорости работы ОЗУ сервер все равно уступит топовому ПК |
|||
80
Fragster
гуру
11.04.13
✎
22:54
|
(76) да, "сервер" сливает
|
|||
81
Fragster
гуру
11.04.13
✎
22:56
|
(80)+ интересно посмотреть подробную конфигурацию "сервера" 1с, а также на 1 сервере с субд он или нет. также конфигурацию "пк".
опять же непонятно, откуда такой разброс на графиках "сервера". там на нем случайно еще человек 100 не сидело? |
|||
82
Fragster
гуру
11.04.13
✎
22:58
|
(79) рендер отличается от проведения документов. в видюхах 100500 ядер, так как сам процесс рендера параллелится очень хорошо
|
|||
83
Сержант 1С
11.04.13
✎
22:59
|
осталось только эти супербыстрые ПК разместить в стойке для компактности, снабдить отказоустойчивыми системами хранения (рейдконтроллеры с корзинами) - ведь не рисковать же важнейшими процессами из-за экономии копеек? - снабдить системами удаленного управления, ведь не привязывать же к каждой стойке по сисадмину, - обзаводиться платной поддержкой, это когда час простоя сервера дает убытки в три раза большие, чем стоит этот сервер.
ну и комплектующие понадежней сделать. Чтоб ферма не вставала каждую неделю в бсоде (см. стоимость простоя), чтоб все железо было идеально подогнано и работало годами без сбоев с софтом. как ни странно, получится HP пролиант, стоимостью как пять супербыстрых компов |
|||
84
Сержант 1С
11.04.13
✎
23:01
|
сервер это не гоночный феррари, он не для быстрой езды по кварталам ласвегаса, это локомотив, который в два раза медленнее, но на скорости 60 км\ч гарантированно доставит все двадцать вагонов в точно назначенное время.
|
|||
85
Fragster
гуру
11.04.13
✎
23:03
|
(84) интересно, что i7 показал замечательную тракторность: http://clip2net.com/s/4TPsxk график на большом количестве потоков вниз не загибается. правда тут, еще, наверное, от ОС зависеть может
|
|||
86
Сержант 1С
11.04.13
✎
23:03
|
(85) да ради бога. Ставь на пролиант и7 )
|
|||
87
noxxx
11.04.13
✎
23:05
|
(81) Попробую в субботу запустить тест на сервере еще раз, когда на нем гарантировано никого не будет.
(84) Я всегда думал что сервер "дотащит" один вагон намного быстрее чем 100 вагонов. |
|||
88
Fragster
гуру
11.04.13
✎
23:05
|
(86) у меня там ксеоны какие-то, http://infostart.ru/upload/iblock/e58/3.png
|
|||
89
Fragster
гуру
11.04.13
✎
23:06
|
и мистец, в 10 раз медленнее
|
|||
90
Fragster
гуру
11.04.13
✎
23:06
|
правда им лет 5 уже
|
|||
91
NS
11.04.13
✎
23:09
|
(83) забыл про ecc.
|
|||
92
opty
11.04.13
✎
23:09
|
(82) дык о чем и базар . ПК заточен на определенный круг задач , серверные системы на другой . Для обработки графики в играх , высокая линейная пропускная скорость ОЗУ ПК (не видюхи) является узким местом , там сотни мегабайт тектур буферизируются . По этому её и делают особо быстрой . Ну а если зависнет пару раз в день на игрухе из-за сбоя в памяти - не беда ,а так , неприятность :)
|
|||
93
opty
11.04.13
✎
23:23
|
Но львиная часть стоимости сервера , что в общем и определяет его как сервер по железу , это дисковая подсистема с хорошим аппаратным контроллером RAID, и корпус соответствующего формфактора и с наворотами , типа горячей смены винтов и блоков питания .
|
|||
94
NS
11.04.13
✎
23:24
|
Всё дорого. И мамка с процом и ECC памятью, и система питания с корпусом, и дисковая подсистема.
|
|||
95
opty
11.04.13
✎
23:33
|
(94) Ну да , и остальное не дешево .
Хотя крайний сервак заказывали , дисковая подсистема в 50% стоимости обошлась |
|||
96
NS
11.04.13
✎
23:35
|
Дисковая да. У нас только контроллер с батарейкой на основном серваке полташку стоит.
|
|||
97
opty
11.04.13
✎
23:45
|
(96) Не помню модель контроллера , но что то около 900 зеленых (с батарейкой) , да шесть винтов , из них пять "Чита" , из них четыре в RAID 10
На нормальном RAID контроллере XOR-процессор , уровня не хилой числодробилки должен стоять , чтобы RAID обсчитывать . На нем даже отдельный вентилятор стоит :) |
|||
98
Сержант 1С
12.04.13
✎
00:01
|
(93) Не так и дорого, если не зверствовать. HP DL380 в базе стоит 55 тысяч. Уже хорошая платформа с ILO, четырьмя гигабитами. потом уже да, доп БП 15, память встанет 30, диски по 15-20, процессоры по 30.
можно бюджетнее, ксеоны отдельно, салазки с радиаторами отдельно, кулеры так же, память обычная с ЕЦЦ (по 2к за 8г) - дольше искать, но значительно дешевле. |
|||
99
Сержант 1С
12.04.13
✎
00:03
|
мы на корзине сэкономили: взяли два ССД в рейд под систему (по 15), и PCI-E SSD от OCZ под базы. Все летает так что уши закладывает.
|
|||
100
opty
12.04.13
✎
00:14
|
Не доверяю я что то ССД пока , и мой главный сисадмин то же пока скептически относится к ним . Лучше старый добрый Seagate "Cheetah" 15k
|
|||
101
NS
12.04.13
✎
00:15
|
(100) а что с ними не так? Тем болеее в зеркале или кеше.
|
|||
102
opty
12.04.13
✎
00:23
|
(101) Все ж таки ограниченное число циклов записи , ограниченный ресурс , то се .
Хотя возможно следующий мощный сервак будет у нас уже с SSD , все таки техника идет вперед |
|||
103
Сержант 1С
12.04.13
✎
00:29
|
(100) а чо там не доверять-то, запасной диск в сейфе лежит, если что и отвалится, то всегда можно решить. Хотя говорят что нифига не отваливается уже давно. Ретрограды )
|
|||
104
opty
12.04.13
✎
00:43
|
(103) До определенной степени ретрограды :)
"Лучшее враг хорошего" (с) |
|||
105
ansh15
12.04.13
✎
00:51
|
Заинтересовали... в смысле SSD.
http://market.yandex.ru/guru.xml?CMD=-RR=0,0,0,0-PF=1801946~EQ~sel~9731779-PF=2142356603~EQ~sel~x2041624181-PF=2141208602~TR~sel~select-VIS=70-CAT_ID=686672-EXC=1-PG=10&hid=91033 Цены привлекательные, как раз для любителей спросить совета по конфигурации сервера на мисте. |
|||
106
NS
12.04.13
✎
00:55
|
(105) С чего ты взял что эта фирма делает лучшие серверные SSD?
|
|||
107
ansh15
12.04.13
✎
01:03
|
(106) Я и не сказал, что лучшие, просто ткнул в первое попавшееся...Просвети, если не очень затруднительно.
|
|||
108
NS
12.04.13
✎
01:10
|
производителей серверных SSD море.
Интел выглядит всяко надежней OCZ. |
|||
109
NS
12.04.13
✎
01:11
|
Причем галку "северные" лучше на яндексе не включать, ибо например у Интела серверные линейки начинаются с пятой серии.
|
|||
110
ansh15
12.04.13
✎
01:25
|
(109) Понятно
|
Форум | Правила | Описание | Объявления | Секции | Поиск | Книга знаний | Вики-миста |