Home Sign Up Sign In
yongw520
V2EX  ›  服务器

想搭建一台 homelab server 跑 ESXi，有一些疑问

  •   
  •   yongw520 · Jan 24, 2017 · 15196 views
    This topic created in 3424 days ago, the information mentioned may be changed or developed.
    最近内心长草 all in one ，想把路由， nas ，各种 server 全部虚拟化。因为本人硬件小白，又没玩过 ESXi ，有两个问题，不知道各位大神能否解答, 先谢谢各位了:

    一, 我看中了 ASRock Rack E3C236D4M-4L 这款板子，板载 4*Lan 和 8*sata3, 这样我可否省掉网卡和 raid 卡，然后用板载接口实现安装 Zfs 和 OpenWrt ？(8sata 目前足够我使用， 4 个 lan 正好让我接入双 Isp+交换机和 AP)

    二, 因为家中 Android 盒子 xbox 等设备众多，所以不准备做 HTPC ，就不想上独立显卡了。但是还是希望能跑跑 windows server 什么的，这样我可以正常进入图形化界面么？还是需要上带核显的 cpu(比如 E3 1235l V5)?
  • Server
  • esxi
  • LAN
  • 带核显
    51 replies  •  2017-03-30 15:41:19 +08:00
    Showfom
        1
    Showfom  
    PRO
       Jan 24, 2017 via iPhone
    第一个不知道 第二个显然没问题
    mhycy
        2
    mhycy  
       Jan 24, 2017
    ESXI 不支持核显（如果有成功案例求教程）
    E3C236D4M-4L 板子略显奇葩，但没问题
    ZFS 请备好足量的内存
    需要图形界面请自备 A 卡，并做好折腾的准备

    最后提示： All in one 对于喜欢折腾的人来说不是一个好选择
    Showfom
        3
    Showfom  
    PRO
       Jan 24, 2017 via iPhone
    自己家用软 raid 就行了
    mhycy
        4
    mhycy  
       Jan 24, 2017
    @Showfom
    最近上了硬卡，发现有件事比软阵列好太多：方便（不用敲命令了）
    所以看上去家用上硬卡也没啥问题
    Showfom
        5
    Showfom  
    PRO
       Jan 24, 2017 via iPhone
    @mhycy 是没啥问题 就是家用没必要花那个钱 不过我推荐 ups 得有 服务器最怕断电了
    mhycy
        6
    mhycy  
       Jan 24, 2017
    @Showfom
    最近上了个不知道啥货源的 LSI 9286CV-8eCC ，算上线材 1300 。
    价格感觉相比 ZFS 所需的多出来的的内存、处理器需求，还算可以接受。
    除了没 ZFS 的块级校验特性，其他还好，能动态扩容这点很不错。

    另： UPS 求推荐，寻找许久，在线式 UPS 似乎没有相对廉价的选择。
    Showfom
        7
    Showfom  
    PRO
       Jan 24, 2017 via iPhone
    @mhycy 不带 bbu 吧 到了价格就会贵点 不过家用的话也是可以了

    zfs 主要太激进 我们也内部用用 不然遇到什么 bug 都不知道

    ups 我也没啥推荐的 可以问问 lty
    mhycy
        8
    mhycy  
       Jan 24, 2017
    @Showfom
    带 BBU （当然也有电池）， CV 后缀是那个超级电容做后备的技术缩写
    掉电以后以来电容的电量把缓存的数据写入闪存持久存储
    价格是挺划算的，就是不知道是啥货源，看成色不像是拆机品

    ZFS 貌似 SUN 当年是有单柜 PB 级的存储设备在卖了，不知道和现在开源的那个 ZFS 是不是一回事。

    UPS 如果买在线式其实还有个问题是效率。。毕竟两头 90%效率最终只剩下 81%了。。。。
    后背式在老化以后切换时间会变长，电源扛不住就停机了，就怕这事。
    CupTools
        9
    CupTools  
       Jan 24, 2017 via Android
    @Showfom 🌚 ZFS 不知道多稳定 我那阵列跑了两年了 一年 uptime 完全没问题 100 多台 VM 每天轰炸
    CupTools
        10
    CupTools  
       Jan 24, 2017 via Android
    U-NAS NSC 800 + Xeon-D 版 是我的标配
    Showfom
        11
    Showfom  
    PRO
       Jan 24, 2017 via iPhone
    @CupTools 家里放的话 散热和隔音怎么解决
    xspoco
        12
    xspoco  
       Jan 24, 2017
    我觉得 LZ 可以考虑下 小马 V5
    xspoco
        13
    xspoco  
       Jan 24, 2017
    https://item.taobao.com/item.htm?id=543308020602

    这个是链接
    yongw520
        14
    yongw520  
    OP
       Jan 24, 2017
    @Showfom 感谢回复，那就是说不需要带核显的 u 了？
    yongw520
        15
    yongw520  
    OP
       Jan 24, 2017
    @mhycy 非常感谢！ E3C236D4M-4L 是奇葩了点， amazon 没有人评论, 也 google 不到什么信息，但是性价比和需求恰好满足，所以比较担心。。另外为什么说 all in one 对于喜欢折腾的人来说不是一个好选择呢？我理解不正好适合折腾么哈哈
    yongw520
        16
    yongw520  
    OP
       Jan 24, 2017
    @CupTools 我需求完全家用，所以尽量省电点儿和空间:)
    yongw520
        17
    yongw520  
    OP
       Jan 24, 2017
    @xspoco 感谢推荐，不过这台性能对我来说貌似有点儿捉急，倒也是个免折腾的路子
    yongw520
        18
    yongw520  
    OP
       Jan 24, 2017
    @mhycy 另外就是说核显的问题基本就不用纠结，果断选择无核显的 u 就可以了对吗？如果有需求就有去折腾独显了。。
    xenme
        19
    xenme  
       Jan 24, 2017 via iPhone
    1. 基本显示无所谓都是模拟的，如果需要显卡穿透，投资有点大，还不如直接台式机
    2. 阵列卡一般没啥必要，换块 ssd 跑系统，剩下当数据盘就好，数据安全性要求高，备份或者上个垃圾兼容的阵列卡就行。
    yongw520
        20
    yongw520  
    OP
       Jan 24, 2017
    @xenme 非常感谢回复
    担心就是很多 os 都至少有 gpu 才能启动，不知道玩 ESXi 没有任何显卡会不会有什么问题？
    我也是不想上阵列卡，预算有限哈哈
    aru
        21
    aru  
       Jan 24, 2017
    这块主板板载独立显卡的，虽然这个显卡比核显性能还差太多。不过用来装系统，查看日志什么还是足够了
    1 和 2 都没问题
    xenme
        22
    xenme  
       Jan 24, 2017 via iPhone
    @yongw520 目前自用垃圾 c6100 ， 200 块的垃圾 CPU ，无核显，无独显。跑 windows ， centos ， solaris ， ubuntu 图形界面都没问题，直接 console 放放一般视频都没啥问题，模拟显卡足以

    openwrt 专门去广告用。 nas 有单独的没虚拟，不过无非就是磁盘和网络 IO 而已， CPU 家用几乎没啥压力。
    内存够大就行。

    你这配置比我好上天了。
    mhycy
        23
    mhycy  
       Jan 25, 2017   ❤️ 1
    @yongw520
    CPU 不带核显即可
    服务器主板自带的显卡也就仅仅够让你用来看个日志，那玩意大多是 ATI 的 32M 闪存走 PCI 总线的亮机卡
    另外 楼上有人提到了小马的 V5 ，其实还有一个选择是带外壳的 3215U ，性能不咋地，但是做软路由很合适。
    （小马的 CPU 是 ES ，务必注意）

    我说 ESXI 不适合折腾也和软路由有关，因为折腾的过程中必然会频繁的重装系统 /修改配置。
    如果是 ESXI+显卡直通的结构，配置会增加不少复杂度，略显麻烦与复杂
    倒不如设备分区那么在折腾的时候不会导致全屋网络中断

    我现在比较倾向于一个高可用的结构 EdgeRouter X + 3215U （需要地址我去淘宝找 699 标价）组合成双路由
    （路由架构： ERX 提供 NAT ， 3215u 配置 ESXI ，上层虚拟机使用 VyOS 做软路由，两个路由使用 VRRP 保持可用）
    （ ERX 提供多线 NAT ，毕竟支持硬件 offload ， VyOS 提供基于 IP 的策略路由与负载均衡）
    这时候，如果需要额外的虚拟化可以在 PC 平台上完成(毕竟新平台都有 VT-D ，而且内存便宜不少)
    NAS 需求看情况直接使用阵列卡 /独立组建存储柜，避开性能瓶颈并提高可靠性（耗电应该差不多）

    另：如果能接受老平台，淘宝有个 1150 平台的万兆神板可供考虑
    CupTools
        24
    CupTools  
       Jan 25, 2017
    1 x http://www.u-nas.com/xcart/product.php?productid=17617

    1 x http://www.superbiiz.com/detail.php?name=MB-X10D6C

    2 x https://www.superbiiz.com/detail.php?name=D42116G4S

    1 x https://www.newegg.com/Product/Product.aspx?Item=9SIA67S46V3429

    1 x https://www.newegg.com/Product/Product.aspx?Item=N82E16817338059

    Then 8 x HDD of your choice.

    This configuration should last for a least 4 years. If you want to future-proof it even further, get a Xeon-D 154x board and 64 GB of RAM.
    CupTools
        25
    CupTools  
       Jan 25, 2017
    s/a least/at least/g
    gamexg
        26
    gamexg  
       Jan 25, 2017 via Android
    1 、没问题，我这里是 u 盘安装 esxi ， esxi 上面运行 freenas ，磁盘控制器直通 freenas 。然后双网卡做的汇聚，配合 vlan 交换机通过 vlan 划分的网络。

    2 、如果 windows 是远程访问无所谓，我这里虚拟显卡播放视频没问题。如果需要 esxi 接显示器，那么建议上个独立显卡做直通，集成显卡可能不能直通。
    prondtoo
        27
    prondtoo  
       Jan 25, 2017
    要想阵列必须上阵列卡。现在所有板载的半软阵列卡完全不能认。显卡直通只能用 A 卡， N 卡除非你硬改电路成专业卡，否则不认。
    除非买 UNraid ，不装 esxi 可解决以上问题，不贵。
    mandymak
        28
    mandymak  
       Jan 25, 2017
    @yongw520 esxi 不支持 ZFS 。
    mhycy
        29
    mhycy  
       Jan 25, 2017
    @mandymak
    估计他想折腾的是 ESXI+磁盘直通跑 ZFS
    gamexg
        30
    gamexg  
       Jan 25, 2017 via Android
    @gamexg 另外 esxi6.5 不支持 u 盘放虚拟机了，需要用 6.0 。
    除了 freenas 其他的全部通过 nfs 放到 freenas 虚拟机。
    Showfom
        31
    Showfom  
    PRO
       Jan 25, 2017 via iPhone
    @yongw520 不需要 rdp 直接远程管理
    yongw520
        32
    yongw520  
    OP
       Jan 26, 2017 via iPhone
    @aru 🙏那就妥妥省下显卡钱了
    yongw520
        33
    yongw520  
    OP
       Jan 26, 2017 via iPhone
    @xenme 那就放心把这部分预算省下了 谢谢回复～
    yongw520
        34
    yongw520  
    OP
       Jan 26, 2017 via iPhone
    @xenme 我也在考虑是否配置过剩了，考虑下减减配
    yongw520
        35
    yongw520  
    OP
       Jan 26, 2017 via iPhone
    @mhycy 非常感谢仔细的回复！这么多选择我需要消化一下。。
    yongw520
        36
    yongw520  
    OP
       Jan 26, 2017 via iPhone
    @gamexg 那网络问题就放心了，那如果我不用 u 盘，上 ssd 放系统没问题吧应该？
    yongw520
        37
    yongw520  
    OP
       Jan 26, 2017 via iPhone
    @prondtoo @mhycy @mandymak
    感谢各位回复。是的，我是想 ESXi 直通跑 ZFS 。板载 sata 无法实现直通吗？那就必须上阵列卡了。。预算啊
    yongw520
        38
    yongw520  
    OP
       Jan 26, 2017 via iPhone
    @CupTools 感谢回复，慢慢筛选这几个板子
    gamexg
        39
    gamexg  
       Jan 26, 2017
    @yongw520 我就没上阵列卡，但是缺陷是只能用 esxi6.0 的版本， freenas 安装在 u 盘，把板载 sata 控制器直通给了 freenas 。
    ssd 需要 sata 控制器，如果 sata 控制器直通给了 freenas ， esxi 就无法访问 ssd 了，直接挂。解决办法就是上阵列卡再提供一个 sata 控制器，两个控制器一个给 esxi 一个给 freenas 。
    kennylam777
        40
    kennylam777  
       Jan 26, 2017
    家中有 ESXi 的握個爪。

    ESXi 內打算作 NAS 的話, 我是比較建議 HBA 卡的, 因為可以用 VT-d 丟進 VM Guest 內, 讓 VM Guest 可以直接看到每個 HDD 的狀態, 也不用每次換 HDD 就非得要改 RAW Disk Mapping, 我想你的 ZFS 不是跑在 VMFS 的 Virtual Disk image 吧?

    我是用 OpenMediaVault + mdadm (軟 RAID) + HBA 卡的配罝。

    VM 軟路由我直接用 pfSense 的, VMXNet3 在 FreeBSD 還好, 就是沒有 VirtIO 在 Linux 快, 但 4Gbps 吞吐量夠用了。而且 ESXi 帶 VLAN Trunk support, VM 做的 VLAN 直接穿出實體網絡。

    另外還有一堆 Linux VM 及一個 Windows Server, 但沒有把顯示卡穿透進去, 我的板子也只有 BMC VGA 。
    kennylam777
        41
    kennylam777  
       Jan 27, 2017
    秀一下配置.... CPU 及 RAM 都是超便宜, RAID/HBA 卡都是二手款色......
    CPU: Xeon E5 2650 *2
    MB: Intel S2600CP4
    RAM: 8GB RDIMM x4
    機箱: 4U 650
    硬 RAID: LSI 8704EM2, 帶 128GB SSD RAID1, 主要開機 ESXi+VMFS 區
    HBA 卡: Dell PERC 300 (LSI 9240-8i HBA)., 帶 3TB HDD 陣, 直通 NAS
    板載 SATA: 接 SSD 及 HDD, 次要 VMFS 區
    yongw520
        42
    yongw520  
    OP
       Jan 29, 2017 via iPhone
    @gamexg 明白了，找到一块多了 m.2 走 pci 的板子，这样问题是不是就解决了？
    yongw520
        43
    yongw520  
    OP
       Jan 29, 2017 via iPhone
    @kennylam777 pfSense 没玩过，双 ISP 加$$能否满足需求？另你的配置不知功耗和噪音如何？
    frostfall
        44
    frostfall  
       Jan 30, 2017
    这款主板的网卡比较新，安装 ESXI 可能需要额外的网卡驱动，或者最新的 ESXI6.5 应该原生带驱动，虚拟机的桌面环境不需要显卡，我的机器也是板载 ASPEED 显卡，放心用没有问题，不过如果玩游戏的话推荐 A 卡直通
    组 raid 可以软 raid 或者上 raid 卡，看你需求
    zfs 吃内存，所以内存要大些
    综上，两个问题都没有问题只不过网络配置这块要多考虑一下
    yongw520
        45
    yongw520  
    OP
       Jan 30, 2017
    @frostfall 感谢回复！明白，网络这部分确实脑中概念比较模糊，再探索探索。
    又找到一款 超微的 X11SSH-LN4F 好像更适合我， matx 版型，价格还便宜一点，没意外就上它了~
    thank243
        46
    thank243  
       Jan 31, 2017 via iPhone
    选个低功耗的 cpu ，可以省很多电费。 N3700 应该就够了
    frostfall
        47
    frostfall  
       Jan 31, 2017
    @frostfall 另外提醒一下最好买个阵列卡或者 HBA 卡用来直通，网上说的 ESXI 硬盘直通其实是 RDS 映射，虚拟机不能查看 s.m.a.r.t 信息，要坏了也不知道
    netfee
        48
    netfee  
       Feb 1, 2017 via Android
    楼主祝你成功，不过更多的可能是，到后来，你会发现 all in one 并不是想象中的那么美好。比如，显卡直通需要 nvidia 专业级支持虚拟化的显卡才能成功。 A 卡相对好一些，可能低端显卡都可以成功，但是很多专业软件是禁止在虚拟机中运行或者需要专门购买授权。出现故障排除时也是一个头疼的事。
    kennylam777
        49
    kennylam777  
       Feb 1, 2017
    @yongw520 都是擱在獨立的一角, 但其實還好, 4U 機箱能用 12cm 慢速(1500rpm 下)的靜音扇, 已經有不錯的效果
    q15993050176
        50
    q15993050176  
       Feb 17, 2017 via iPhone
    谁自己搭建的服务器，我想有偿合用，原来用的阿里云，阿里云活动也快到期了，所家里没有公网 IP ，架设不了。可以联系我， qq935001679
    siyiye
        51
    siyiye  
       Mar 30, 2017
    《 ESXI 也能很好玩---分配过剩机能，实现家庭虚拟化》
    http://bbs.vmsky.com/forum.php?mod=viewthread&tid=42019
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5421 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 116ms · UTC 07:28 · PVG 15:28 · LAX 00:28 · JFK 03:28
    ♥ Do have faith in what you're doing.