自組密集編譯程式用主機,用AMD Ryzen

fedora wrote:
DDR4 RAM 現在不貴,還不如上 64GB 甚至 128GB,開 RamDisk 來編譯。程式碼不可能幾十GB的,RamDisk 肯定放的下,速度比 SSD猛太多了,又不傷寫入壽命。


今天統計完在Win32上面的檔案大小,有250GiBytes,Linux上面有58GiBytes。比較大的SDK,source就將近40K個檔案、3.4GiBytes大,裡面要包出不同組態的版本,至少會大個2~3倍以上。如果再加上一個新的SoC上面,產品週期到末期會增加個1/3大小。
剛才看金士頓單條32G DDR 3200 * 8的價格要25400,但這樣也不能用AM4平台,要改TR了,主機板、CPU增加的費用,夠買10條壽命300TB的M.2 PCIe SSD了,加上可以在Server等級上用的RAMDisk軟體價格也不便宜,而且不太可能買這類工具;免費像是IMDisk之前用起來極少數情況會當機,要可以連續運作一整年不關機比較難,出包還要自己修。

機殼部份按照要求在原價屋找,要找CPU散熱17cm、3000元以下、3.5"硬碟防震位置至少4個、前風扇120mm*2或140mm*1、有上方風扇,這樣幾乎只有保銳 黑魅極光(側透)可以選。Cooler Master 690 III 網孔版是更理想的選擇,但能買的賣家看起來都是個人拍賣似乎沒法打統編,除非去實體店面通路找,但不是我買就選個能用的電子花車就算了。
cs113ta wrote:
你的SoC程式編譯到底可以跑幾個threads? 或者說可以同時使用幾個核心?


如果是手動執行,單跑一個cmake編譯,可以將i5 9500 6C6T使用率到100%,但因為中間模擬了一層cygwin,實際的效率遠較Linux上差。使用VS201x這種編譯,雖然是原生的環境,但跑起來只有30% CPU使用率。有在8C16T的平台上跑,單跑一個工作也可以佔滿CPU使用率。

如果在CI/CD service環境上執行,還要透過agent代理執行,所以會多了許多與Server的I/O動作,此時CPU使用率會下降到80~90%,若是跑到VS201x這種使用率還會更低,所以一個主機會跑兩個以上agent,盡量塞滿CPU,代價就是用記憶體、磁碟空間去換時間縮短。

工作環境目前最多就6C6T,還不確定使用到12C24T或16C32T這種要跑幾個agent最有效率,但要用光CPU效能應該是很簡單,只有SSD的效率跟不上,同時要進行20~30K檔案數 * agent數增刪小檔,需要大量4K效能。
Gabriellin wrote:
如果是手動執行,單跑(恕刪)


我覺得等今年年底的5950x會比較好

4K讀寫的問題其實只要把它分到2隻以上的PCIe NVMe SSD應該就不會是問題了 不用組RAID

買有三個PCIe x16長度插槽的主機板

犧牲主機板上的1隻X16跟1隻X8插槽裝兩隻X4 SSD

2手顯示卡就插在離CPU最遠的那個PCIe x4插槽就好 反正你也不用顯示卡的效能

搭配使用主機板上的M.2插槽應該也是可以 看一下說明書怎麼分配PCIe lanes

RAM插好插滿

完美的方案是先用3990x搭配像是華碩的hyper card 兩張 + 8隻PCIe nvme m.2 SSD
這樣的缺點是5950x快出了
以及5990x頂多一年就會出 如果產值不夠多 明年心理會e04
wulinyuzan wrote:
3900X+be quiet dark rock pro 4+64G RAM+2T SSD = 38K
https://www.sinya.com.tw/diy/export_diy/?id=1603553055


感謝推薦。
硬碟部份現有資料刪減備份次數後還是逼近2TB,硬碟錢省不了,還是需要一次購買大容量預計8年的使用量。
cs113ta wrote:
我覺得等今年年底的5950x會比較好

4K讀寫的問題其實只要把它分到2隻以上的PCIe NVMe SSD應該就不會是問題了 不用組RAID

買有三個PCIe x16長度插槽的主機板

犧牲主機板上的1隻X16跟1隻X8插槽裝兩隻X4 SSD

2手顯示卡就插在離CPU最遠的那個PCIe x4插槽就好 反正你也不用顯示卡的效能

搭配使用主機板上的M.2插槽應該也是可以 看一下說明書怎麼分配PCIe lanes

RAM插好插滿

完美的方案是先用3990x搭配像是華碩的hyper card 兩張 + 8隻PCIe nvme m.2 SSD
這樣的缺點是5950x快出了
以及5990x頂多一年就會出 如果產值不夠多 明年心理會e04



應該會先以11/5上市的Ryzen 9 5900X或5950X為優先,不過現在某屋上面選不到就先選3900XT或3950X報價+50鎂。

目前有一個環境是在Kingston DC480 480G SATA SSD上運作,跑起來也算順但耗時,CPU為i5 2500,20GB的記憶體也還有10GB當快取,跑兩個agent。編譯時的記憶體需求算普通,只有用7-Zip才會再多用2G的記憶體。預估新機裝32GB RAM,應該是不會拖到效能。

大大推薦的TR平台,整個裝起來就是太貴,因為歷來都是拿記憶體較多+企業級硬碟的文書機在跑這些程式,提出這種需求幾乎被退件,應該不會過。
文章分享
評分
評分
複製連結

今日熱門文章 網友點擊推薦!