Хочу поделиться сегодня тем как выглядит мой домашний сервер с aliexpress и как я пришел к такой конфигурации во время карантина 2020-го. Если быть полностью честным, то комплектующих с aliexpress в сервере больше, чем из других магазинов, но также встречаются noctua, thermaltake и другие более привычные для розничных магазинов бренды
Я почти всю свою сознательную жизнь держал дома круглосуточно включенный компьютер. В студенческие годы это был мой основной и единственный компьютер. Позже, когда широкое распространение получили «энергоэффективные» Intel Atom и AMD Athlon II Neo я стал счастливым обладателем пары HP MicroServer G7, которые прослужили много лет. Именно на них, например, жил Foreman.
Однако, в один прекрасный день мир начали захватывать процессоры на архитектуре ARM и одноплатные компьютеры. Во главе их легионов конечно же стоял Raspberry Pi. Как можно догадаться у меня тоже есть несколько устройств Raspberry Pi и даже Orange Pi. Появление Raspberry Pi 4B с 4 ГБ ОЗУ (недавно в продаже появились модели с 8 Гб) стало настоящим подарком для всех ИТ-энтузиастов, ведь эта плата обладает достаточными вычислительными ресурсами, например, чтобы развернуть полноценный кластер kubernetes. Да и в целом на текущий момент архитектура ARM стала настолько популярна, что вы можете купить VPS c ARM-процессоров на платформе AWS.
Именно со времени появления Raspberry Pi 4B у меня появился свой полноценный kubernetes кластер дома, где работало несколько десятков приложений, включая этот блог (но это уже совсем другая история). Однако ресурсов Raspberry не хватало, хотелось большего, а именно распределенного сетевого хранилища. Поэтому было принято решение использовать нечто другое.
Мой новый сервер с aliexpress
Анализа рынка комплектующих весной этого года показал, что наиболее оптимальным по соотношению цена/производительность является платформа Intel Haswell широко представленная на площадках ebay/aliexpress. Мой выбор пал на следующую конфигурацию, примерная цена приведена в рублях на момент покупки:
Тип | Наименование | Характеристики | Цена |
---|---|---|---|
Материнская плата | Huananzhi X99-F8 | LGA 2011-3, чипсет X99 (C612), 8 х DDR4 DIMM (ECC и non-ECC), 3 x PCI-e x16, 2 x PCI-e X1, 8 x SATA 3.0, 2 x M2 Nvme | 6000 |
Процессор | Intel Xeon E5-2680 v3 | 12/24 ядер/потоков, 2.5 GHz тактовая частота, 30 MB кэш, 120 W TDP | 7000 |
ОЗУ | KLLISRE DDR4 16 Гб | 2400 МГц, ECC REG | 3000 |
Сеть | Mellanox ConnectX-3 | PCI-e x8 (3.0), Dual SFP+ ports 10 Gb/s Ethernet | 3500 |
Контроллер | h1111z JMB585 | PCI-e x4 (3.0), 5 x SATA 3.0 | 1200 |
NVMe | KingSpec NE-256 | M.2 PCI-e NVME x4 (3.0), Read/Write 2400/1700 MB/s | 2000 |
SSD | KingSpec P3-1TB | SATA 3.0, Read/Write 570/540 MB/s | 5500 |
Все это великолепие замечательно уместилось в уже имеющемся у меня корпусе Procase EB306S (высотой 3U, глубиной 480 мм) и было дополнено HDD дисками Seagate SV35, а так же корзинами для дисков из личных запасов.
Две таких машины стали основными рабочими лошадками моего текущего домашнего кластера, они совмещают в себе роли узлов kubernetes и хранилища ceph. Метаданные ceph размещены на NVMe, а данные на SSD и HDD. Используется фактор репликации 2, не делаете так в продакшене :-)
Управляющими узлами кластера (kubernetes masters и ceph mons) выступает гетерогенная коалиция Raspberry Pi 4B и виртуальные машины esxi. Ceph позволяет использовать persistent volumes в kubernetes, а значит и stateful-приложения.
Послесловие
Вот уже почти месяц два сервера с aliexpress работают без каких-либо проблем и больше всего мне интересно как поведут себя под нагрузкой диски (и как отработает заявленная на них трехлетняя гарантия). В продолжительности жизни остальных компонентов я уверен на 99.9%, тем более что CPU и RAM на самом деле оригинальные, просто Б/У.
Я буду обновлять этот пост в случае каких-либо проблем с железом.
2 комментария “Сказ про сервер с aliexpress”
Добрый день, а какой switch используйте для 10G? Спасибо
У меня сейчас стоит MikroTik CRS326-24S+2Q+RM, хотя изначально я хотел обойтись CRS305-1G-4S+IN. Было бы в последнем хотя бы 5 портов, но увы