Сказ про сервер с aliexpress

Хочу поделиться сегодня тем как выглядит мой домашний сервер с aliexpress и как я пришел к такой конфигурации во время карантина 2020-го. Если быть полностью честным, то комплектующих с aliexpress в сервере больше, чем из других магазинов, но также встречаются noctua, thermaltake и другие более привычные для розничных магазинов бренды

Я почти всю свою сознательную жизнь держал дома круглосуточно включенный компьютер. В студенческие годы это был мой основной и единственный компьютер. Позже, когда широкое распространение получили «энергоэффективные» Intel Atom и AMD Athlon II Neo я стал счастливым обладателем пары HP MicroServer G7, которые прослужили много лет. Именно на них, например, жил Foreman.

Однако, в один прекрасный день мир начали захватывать процессоры на архитектуре ARM и одноплатные компьютеры. Во главе их легионов конечно же стоял Raspberry Pi. Как можно догадаться у меня тоже есть несколько устройств Raspberry Pi и даже Orange Pi. Появление Raspberry Pi 4B с 4 ГБ ОЗУ (недавно в продаже появились модели с 8 Гб) стало настоящим подарком для всех ИТ-энтузиастов, ведь эта плата обладает достаточными вычислительными ресурсами, например, чтобы развернуть полноценный кластер kubernetes. Да и в целом на текущий момент архитектура ARM стала настолько популярна, что вы можете купить VPS c ARM-процессоров на платформе AWS.

Именно со времени появления Raspberry Pi 4B у меня появился свой полноценный kubernetes кластер дома, где работало несколько десятков приложений, включая этот блог (но это уже совсем другая история). Однако ресурсов Raspberry не хватало, хотелось большего, а именно распределенного сетевого хранилища. Поэтому было принято решение использовать нечто другое.

Мой новый сервер с aliexpress

Анализа рынка комплектующих весной этого года показал, что наиболее оптимальным по соотношению цена/производительность является платформа Intel Haswell широко представленная на площадках ebay/aliexpress. Мой выбор пал на следующую конфигурацию, примерная цена приведена в рублях на момент покупки:

Тип Наименование Характеристики Цена
Материнская плата Huananzhi X99-F8 LGA 2011-3, чипсет X99 (C612), 8 х DDR4 DIMM (ECC и non-ECC), 3 x PCI-e x16, 2 x PCI-e X1, 8 x SATA 3.0, 2 x M2 Nvme 6000
Процессор Intel Xeon E5-2680 v3 12/24 ядер/потоков, 2.5 GHz тактовая частота, 30 MB кэш, 120 W TDP 7000
ОЗУ KLLISRE DDR4 16 Гб 2400 МГц, ECC REG 3000
Сеть Mellanox ConnectX-3 PCI-e x8 (3.0), Dual SFP+ ports 10 Gb/s Ethernet 3500
Контроллер h1111z JMB585 PCI-e x4 (3.0), 5 x SATA 3.0 1200
NVMe KingSpec NE-256 M.2 PCI-e NVME x4 (3.0), Read/Write 2400/1700 MB/s 2000
SSD KingSpec P3-1TB SATA 3.0, Read/Write 570/540 MB/s 5500

сервер с aliexpressВсе это великолепие замечательно уместилось в уже имеющемся у меня корпусе Procase EB306S (высотой 3U, глубиной 480 мм) и было дополнено HDD дисками Seagate SV35, а так же корзинами для дисков из личных запасов.

Две таких машины стали основными рабочими лошадками моего текущего домашнего кластера, они совмещают в себе роли узлов kubernetes и хранилища ceph. Метаданные ceph размещены на NVMe, а данные на SSD и HDD. Используется фактор репликации 2, не делаете так в продакшене :-)

Управляющими узлами кластера (kubernetes masters и ceph mons) выступает гетерогенная коалиция Raspberry Pi 4B и виртуальные машины esxi. Ceph позволяет использовать persistent volumes в kubernetes, а значит и stateful-приложения.

Послесловие

Вот уже почти месяц два сервера с aliexpress работают без каких-либо проблем и больше всего мне интересно как поведут себя под нагрузкой диски (и как отработает заявленная на них трехлетняя гарантия). В продолжительности жизни остальных компонентов я уверен на 99.9%, тем более что CPU и RAM на самом деле оригинальные, просто Б/У.

Я буду обновлять этот пост в случае каких-либо проблем с железом.

2 комментария “Сказ про сервер с aliexpress”

Комментирование закрыто.