10G/40G 網路學習筆記 (更新中)

Mellanox mcx354a card 筆記

查詢 mellanox card 版本.

http://www.mellanox.com/page/firmware_HCA_FW_identification


安裝 winMFT 程式 (使用 windows pc)


c:\>mst status
MST devices:
------------
mt4099_pci_cr0
mt4099_pciconf0

c:\>flint -d /dev/mst/mt4099_pci_cr0 query
Image type: FS2
FW Version: 2.33.5000
FW Release Date: 13.1.2015
Device ID: 4099
Description: Node Port1 Port2 Sys image
GUIDs: e41d2d03001db080 e41d2d03001db081 e41d2d03001db082 e41d2d03001db083
MACs: e41d2d1db081 e41d2d1db082
VSD:
PSID: MT_1090110018





c:\Program Files\Mellanox\WinMFT>mst status
MST devices:
------------
mt4099_pci_cr0
mt4099_pciconf0

c:\Program Files\Mellanox\WinMFT>flint -d mt4099_pci_cr0 query
Image type: FS2
FW Version: 2.42.5000
FW Release Date: 5.9.2017
Product Version: 02.42.50.00
Rom Info: type=PXE version=3.4.752
Device ID: 4099
Description: Node Port1 Port2 Sys image
GUIDs: e41d2d03001db080 e41d2d03001db081 e41d2d03001db082 e41d2d03001db083
MACs: e41d2d1db081 e41d2d1db082
VSD:
PSID: MT_1090120019

c:\Program Files\Mellanox\WinMFT>mlxfwmanager --query
Querying Mellanox devices firmware ...

Device #1:
----------

Device Type: ConnectX3
Part Number: MCX354A-FCB_A2-A5
Description: ConnectX-3 VPI adapter card; dual-port QSFP; FDR IB (56Gb/s) and 40GigE; PCIe3.0 x8 8GT/s; RoHS R6
PSID: MT_1090120019
PCI Device Name: mt4099_pci_cr0
Port1 MAC: e41d2d1db081
Port2 MAC: e41d2d1db082
Versions: Current Available
FW 2.42.5000 N/A
PXE 3.4.0752 N/A

Status: No matching image found


c:\Program Files\Mellanox\WinMFT>mlxconfig -d mt4099_pci_cr0 query

Device #1:
----------

Device type: ConnectX3
Device: mt4099_pci_cr0

Configurations: Next Boot
SRIOV_EN False(0)
NUM_OF_VFS 8
LINK_TYPE_P1 VPI(3)
LINK_TYPE_P2 VPI(3)
LOG_BAR_SIZE 3
BOOT_PKEY_P1 0
BOOT_PKEY_P2 0
BOOT_OPTION_ROM_EN_P1 True(1)
BOOT_VLAN_EN_P1 False(0)
BOOT_RETRY_CNT_P1 0
LEGACY_BOOT_PROTOCOL_P1 PXE(1)
BOOT_VLAN_P1 1
BOOT_OPTION_ROM_EN_P2 True(1)
BOOT_VLAN_EN_P2 False(0)
BOOT_RETRY_CNT_P2 0
LEGACY_BOOT_PROTOCOL_P2 PXE(1)
BOOT_VLAN_P2 1
IP_VER_P1 IPv4(0)
IP_VER_P2 IPv4(0)
CQ_TIMESTAMP True(1)


FB: Pctine
Mellanox ConnectX-2

之前 taobao 購買的此卡, 安裝在 Synology NAS 無法偵測到, 但有網友提到其使用 ok, 不確定是否因手上此卡是 HP OEM 版的關係.


>mlxup
Querying Mellanox devices firmware ...

Device #1:
----------

Device Type: ConnectX2
Part Number: 666172-001
Description: HP ConnectX-2 Lx EN network interface card; single-port SFP+; PCIe2.0 5.0GT/s; mem-free; RoHS R6
PSID: HP_0F60000010
PCI Device Name: mt26448_pci_cr0
Port1 MAC: 0002c95186b0
Port2 MAC: 0002c95186b1
Versions: Current Available
FW 2.9.1000 N/A
PXE 3.3.0500 N/A

Status: No matching image found
FB: Pctine
Synology E10G17-F2 10G NIC

這張經查詢, 應是 Mellanox 原廠卡.
Mellanox MCX312B-XCCT ConnectX-3 Pro EN Network Interface Card 10GbE Dual-Port SFP+ PCIe3.0 x8 8GT/s RoHS R6





難怪在 mcx312b-xcbt 的卡較少, 因為它是 pro 版本, 在 taobao 上較常見的是 mcx311a & mcx312c, 非 pro 版本都比較便宜.

Mellanox Adapters - 比較表
FB: Pctine
Mellanox 原廠卡及 oem card

在 ebay or taobao 上可以找到非常多的 mellanox 網卡, 如何分辨那些是 oem card? 這是自已觀察, 或許有其他的特例.

這兩張都是 mcx354a.
這張序號 IL 開頭的, 上面是 oem 版本 firmware. (PSID 不同)


而序號 MT 開頭的, 裡面就是 mellanox 原廠的 firmware. (附註:後來發覺有些 EMC 10g card, 也是 MT開頭)


至於 card firmware 的替換, 可以 google 一下, 大多能找到刷回 mellanox stock firmware 的方法.

---------------------------------------------------------------------------
例如這張 ConnectX-2 是 HP brand. 改刷回 Mellanox 版本.

#查詢 mellanox card type
c:\Program Files\Mellanox\WinMFT>mst status
MST devices:
------------
mt26448_pci_cr0
mt26448_pciconf0

c:\Program Files\Mellanox\WinMFT>flint -d mt26448_pci_cr0 query
Image type: FS2
FW Version: 2.9.1000
Rom Info: type=PXE version=3.3.500 proto=VPI
Device ID: 26448
Description: Port1 Port2
MACs: 0002c95186b0 0002c95186b1
VSD:
PSID: HP_0F60000010


#flash firmware (使用 -i for *.bin file), 這次因 psid 不對, 不給更新
c:\Program Files\Mellanox\WinMFT>mlxburn.exe -dev mt26448_pci_cr0 -i fw-ConnectX2-rel-2_9_1200-MNPA19_A1-A3-FlexBoot-3.3.400.bin

Note: Both the image file and the flash contain a ROM image.
Select "yes" to use the ROM from the given image file.
Select "no" to keep the existing ROM in the flash
Current ROM info on flash: type=PXE version=3.3.500 proto=VPI
ROM info from image file : type=PXE version=3.3.400 proto=VPI

Use the ROM from the image file ? (y/n) [n] : y

Current FW version on flash: 2.9.1000
New FW version: 2.9.1200


-E- PSID mismatch. The PSID on flash (HP_0F60000010) differs from the PSID in the given image (MT_0F60110010).
-E- Image burn failed: child process exited abnormally


#allow_psid_change 強制更新
c:\Program Files\Mellanox\WinMFT>mlxburn.exe -dev mt26448_pci_cr0 -i fw-ConnectX2-rel-2_9_1200-MNPA19_A1-A3-FlexBoot-3.3.400.bin -allow_psid_change

Note: Both the image file and the flash contain a ROM image.
Select "yes" to use the ROM from the given image file.
Select "no" to keep the existing ROM in the flash
Current ROM info on flash: type=PXE version=3.3.500 proto=VPI
ROM info from image file : type=PXE version=3.3.400 proto=VPI

Use the ROM from the image file ? (y/n) [n] : y

Current FW version on flash: 2.9.1000
New FW version: 2.9.1200


You are about to replace current PSID on flash - "HP_0F60000010" with a different PSID - "MT_0F60110010".
Note: It is highly recommended not to change the PSID.

Do you want to continue ? (y/n) [n] : y
Burning FS2 FW image without signatures - OK
Restoring signature - OK
-I- Image burn completed successfully.

FB: Pctine
fiber比twisted pair好,只有優點,latency,抗干擾都較好

twisted pair只有價格取勝,

以前唸的書,怎現在反過來了,

那這樣直接用fiber不就好了,沒必要用twisted pair了

hikaruu wrote:
fiber比twisted pair好,只有優點,latency,抗干擾都較好
twisted pair只有價格取勝,
以前唸的書,怎現在反過來了,
那這樣直接用fiber不就好了,沒必要用twisted pair了..(恕刪)


不曉得大大指的是那一段?
FB: Pctine
沒有那一段,因為教科書上fiber都是比twisted pair好,

因為你列出來都是fiber便宜,所以我只是想這樣還不如家中用fiber就好,

不過我最後查了,switch中port還是以twisted pair為主,fiber都是uplink,

光還是要轉成電訊號,不如來的方便,switch中port用fiber來作應該是成本較高,

所以fiber這些應該都還是拆機才會如此宜才對,twisted pair還是有成本差異

pctine wrote:
不曉得大大指的是那...(恕刪)

hikaruu wrote:
沒有那一段,因為教科書上fiber都是比twisted pair好,
因為你列出來都是fiber便宜,所以我只是想這樣還不如家中用fiber就好,...(恕刪)


文中有提到了, 這些光纖 module 或是網卡之所以這麼便宜, 是因為 taobao or ebay 上面很多二手品或是拆機品.
FB: Pctine
Mellanox mcx311a firmware 更新

這張是 single sfp+ port 10G 網卡. 可直接用 mlxup 程式更新 firmware.



這卡可於 windows 10 中隨插即用, 不需另外安裝 driver, 但 Mellanox 官網提供的 Winodws driver (WinOF), 安裝之後提供更多細項功能可調整.









Synology NAS 也能正常使用.
FB: Pctine
上週訂的幾件 Mellanox 40G 網卡及配件

原本打算購買 10G 網卡, 但後來發覺 ebay & taobao 上不少 40G 網卡也相當便宜. 便直上 40G.

Mellanox mcx354a-qcbt 網卡, rmb$400, 收到近全新. 規格上是 10GbE, 但據說可以刷成 mcx354a-fcbt 40GbE
Brand: Mellanox Technologies
Model: MCX354A-QCBT
Product Name: Connect-3 Vpi Adapter Card-Dual Port QSFP QDR Ib
Product Line: ConnectX-3
Product Type: 10Gigabit Ethernet Card
Host Interface: PCI Express x8
Expansion Slot Type: QSFP
Network Technology: 10GBase-X




加買了一些長短擋板, 以替換用.


Mellanox QSFP/SFP+ adapter, 可以轉接為 sfp+, 以適用在現手上的 10G switch. 一顆 rmb$48


qsfp/sfp+ 轉接器插上卡片.


Mellanox qsfp+ 40G 對接 cable, 初期沒有搭 switch, 可以用於 40G 對接. 這條 3米長, rmb$120





將 mcx354a-qcbt 刷成 mcx354a-fcbt 後, 利用 qsfp+ cable 將 mcx354a dual port 做 loopback. 顯示為 40G 無誤.


實測的部份還要等另一批從 ebay 買的 40G 網卡到手才能進行測試
FB: Pctine
關閉廣告
文章分享
評分
評分
複製連結
請輸入您要前往的頁數(1 ~ 7)

今日熱門文章 網友點擊推薦!