10G/40G 網路學習筆記 (更新中)


Pepsi wrote:
想請教各位已經入坑40G...(恕刪)


我也認為很難,實務上我認為跑到10Gbps 都已經很夠用了

(雖然我這裡有100Gbps 的設備,但那是給骨幹使用)
Allen Yeh

Charles0568 wrote:
有耶~我這2天才看這篇買了一台 730~740RMB~~淘寶有賣~~大都在北京那帶...(恕刪)


不曉得你預計搭的 transceiver 是那顆?
FB: Pctine
跟您一樣用華為的光模塊10G-1310nm-1.4KM-SM-SFP+ ~~網卡搭的是Mellanox MCX311A-XCAT~都是比照您買的~~我只是用來接NAS和我電腦間的傳輸速度~覺得NAS和電腦間傳輸速度真的太慢了~有必要升級10G 剛好看到您的文章受益良多~就比照您的配置去購買了~因為40G現在還沒需要~所以就只買了10G的就己經很夠用了~
今天我的S1700-28GR-4X 到貨了~但連接上我的Mellanox MCX311A-XCAT 卻連接不上 起初我還以為是線斷了~去問了賣家 因我還有再買一台Mikrotik CRS305-1G-4S ~~連接上卻完全沒問題~所以 我的S1700-28GR-4X的SPF+ 口 應該是有問題的..請問 S1700-28GR-4X 還需要設置什麼才能用呢? 我的光模塊是10G-1310nm-1.4KM-SM-SFP+

目前發現原因是10G-1310nm-1.4KM-SM-SFP+ 和 S1700-28GR-4X 不相容~ 因為我試了RJ45 模塊(其他牌子的是OK的) 很讓我納悶的是華為的光模塊和華為的switch居然不相容~真的是百思不得其解~
Mellanox mcx354a 10g/40g 網卡 on Synology NAS

這張網卡之前有分享過, 原規格為:
Mellanox MCX354A-QCBT ConnectX-3 VPI Adapter Card Dual-Port QSFP QDR IB and 10GbE PCIe3.0 x8 8GT/s RoHS R6

後來 firmware 刷成:
Mellanox MCX354A-FCBT ConnectX-3 VPI Adapter Card Dual-Port QSFP FDR IB and 40/56GbE PCIe3.0 x8 8GT/s RoHS R6


差別在 10GbE -> 40GbE, 自己其實也沒有那麼高速的需求, 當初有裝上 synology ds1618+ 測試確實可以偵測到及使用 (以 10GbE 測試), 這卡原本是 dual port, 在 ds1618+ 僅偵測成 port5 單一 port, 另一 port 未偵測到, 但既然也能使用就直接略過. 實際上後來一直在 ds1618+ 上面使用的是 mcx312c dusl sfp+ 10g NIC.

**********************************************************************************************
昨天在檢視 Synology 網卡相容列表時發現一有趣之處. 如下圖, 有些 40GbE 網卡, 確實不支持 ds1618+, 但卻支持其他如 ds3018xs 更高階的機種. 但以 ds1618+ 及 ds3018xs 為例, 這兩台都是 PCIe Gen3*8 slot.


所以就直接將 mcx354a 40GbE 網卡插在 ds3018xs 開機實測看看, 果然可以正常偵測到 dual port, 且使用正常. 小弟猜測應該是 CPU 所支援的 PCIe lanes 數目不同所致. 在 ds3018xs D1508 CPU 可支援到 32 Lanes, 而 ds1618+ C3538 cpu 只到 12 Lanes. (純猜測)


在 ds3018xs 上面可正常看到 port 5 & port 6, 這有個小插曲, 原本 port 6 和 pc 是以 mcx354a & 40GbE DAC 對接, 但速度一直顯示 10Gbps, 後來才發覺在 pc 側的卡是 qcbt 10g firmware, 忘了刷成 fcbt firmware, 所以只能跑到 10GbE. 重刷後就正常了



在 pc 側 windows 10 也能正常顯示 40Gbps.



用 iperf3 測試, 只跑到 25Gbits/sec 上下, 原因不詳 (會不會是 cpu 的極限了)




FB: Pctine
Finisar Transceiver.

這 Transceiver 是當初買 10G 網卡, 賣家附在上面的, 之前在 ebay or taobao 上購買的都是單模光纖模塊, 手上也沒有多模光纖就一直擺著.

今天找了一條多模光纖 patch cord 試了一下, 接上 QNap 10g switch 確定可以使用, Qnap 10g switch 非網管 switch 還真不挑食, 大多數的模塊都能用.

規格上是 8Gbps, 用 NAS 實測大約也跑到 7.xGbps.




FB: Pctine
pctine wrote:
過去陸陸續續將一些自...(恕刪)

最近購入一張mellanox mcx311a
安裝完驅動後 都會出現安全移除硬體的圖示 這樣正常嗎
https://imgur.com/VxSxcXQ
時隔樓主發文一年左右
所有的東西在淘寶不是查不到
就是「變貴了!!」而且還貴很多,幾乎都有0.75到一倍

沒想到科技產品還有保值的一天!!
10G路真是遙遠~~
http://d-s.tw
pctine wrote:
Mellanox ConnectX...(恕刪)


最近買了一張這個「Mellanox MNPA19-XTR」
還漲價....淘寶最便宜也要150RMB了
不過好消息是....DS1819+可用!

算是最便宜的好選擇!
http://d-s.tw
跟了這帖
感謝pctine 大分享

----------------------------------------------------
器材
----------------------------------------------------
1. 1819+ DSM 6.2.2
2. MCX354A-QCBT Mellanox CX354A ConnectX-3 10GigE Dual Port Adapter w/ SAS Expander (兩張含運NT2531, 有看過更便宜的)
3. Low Profile Bracket
4. HP 655874-B21 655902-001 Mellanox MAM1Q00A-QSA QSFP to SFP Adapter (兩個NT1600含運, 看過更便宜的)
5. SFP-H10GB-CU5M

----------------------------------------------------
結果
----------------------------------------------------
A. MCX354A-QCBT 刷 MCX354A-FCBT + 改LINK_TYPE=2
成功出現LAN 5 LAN 6 (10G)

B. MCX354A-QCBT + 改LINK_TYPE=2
成功出現LAN 5 LAN 6 (10G)

目前手中還沒能QSFP+ 對接
先用 SFP+ TwinAX DAC 接到 Cisco 3560CX-8XPD SFP+ 端口
另加了 Mellanox QSA 接到 MCX354

40G要等線到再更新


----------------------------------------------------
心得
----------------------------------------------------
-裝上mcx354後1819 giga 端口連不上DSM (原管理端口+IP)
拔卡後又能連
查看日誌有LAN 6 出現來認定機器能辨識
朝這方向去解
在內網的DHCP Server 看到派了哪個IP 給 mcx354
經由mcx354的IP連

Giga端的問題有空再看看如何

- e10g18-t1 換mcx354後 Port 5 最初會用回前Port 5時的設定


----------------------------------------------------
指令
----------------------------------------------------
刷韌體
0) mst status
1) mlxfwmanager
2) flint -d mt4099_pci_cr0 -i fw.bin -allow_psid_change burn

mt4099_pci_cr0 隨卡不同要看步驟0跟步驟1的顯示結果
fw.bin 是要刷的檔名

改端口
a)mlxconfig -d mt4099_pci_cr0 set LINK_TYPE_P1=2
b)mlxconfig -d mt4099_pci_cr0 set LINK_TYPE_P2=2


----------------------------------------------------
2021-01-23 增
----------------------------------------------------
甲機 - 2018 mac mini + OWC Mercury Helio 3S + Chelsio T580-LP-CR
乙機 - 1819+ MCX354A-QCBT 刷 MCX354A-FCBT + 改LINK_TYPE=2
線 - AOC

1819+ 有出 LAN 5 LAN6 並顯示 40Gbps
關閉廣告
文章分享
評分
評分
複製連結
請輸入您要前往的頁數(1 ~ 7)

今日熱門文章 網友點擊推薦!