有關於NAS的權限控制及資料存取有些問題想請教

需求如下:
  1. Esxi的VM能各自登入自己的NAS帳號存取資料(有針對帳號做資料夾的權限控制)。
  2. Linux及Windows VM希望能掛載NAS當作網路磁碟機。
  3. 假設全部使用者對Public資料夾只能做唯讀,但是UserA及UserB可以寫入Public/Data1資料夾,其他部分照樣保持唯讀。
  4. 每個使用者各自寫的程式會頻繁寫入資料到NAS的ShareData資料夾內,
a. 使用SMB服務很容易導致存取權限被咬死,導致其他使用者打開網路磁碟機時會卡死無法讀取資料夾。
b. 使用NFS服務存取取反而沒辦法針對使用者控制權限。
c. 目前能頻繁讀寫加上同時有權限控制大概剩下走FTP服務。



想請教一下還有什麼更好的規劃方式可以達成這些需求呢?
我目前想到的方式有兩種:
  1. 開一台Linux的VM然後掛載一塊iSCSI空間進來,再利用Linux做權限管理,NAS部分就完全不需要開權限給使用者,只是利用他的空間而已。
  2. 每個使用者把自己的資料寫入到自己的home家目錄內,再開一台VM幫各個使用者把資料定時同步到ShareData資料夾。


現有設備如下:
  1. Dell R740 *1,裡面的VM大約20台
  2. ts-h1886xu-rp *1
  3. rs1619xs+ *1
PS. 程式頻繁寫入的情境類似同時收500檔股票報價,每一筆tick資料都各自存成CSV檔後寫入到NAS內,程式內有控制大約1~3秒左右才寫入一次檔案,不會收到就馬上寫入。
文章關鍵字
sky4188 wrote:
a. 使用SMB服務很容易導致存取權限被咬死,導致其他使用者打開網路磁碟機時會卡死無法讀取資料夾。


你要不要提供一下 smb 連線數, 同時開啟檔案有多少?

在資源監控


按照官方說法 dsm 7 SMB 同時連線數上限為 10,000 (實際上限依產品機種而異), 不清楚你的卡死是在什麼情況下發生? (權限錯亂 or 同時存取相同檔案導致 file locked or 網路磁碟無法訪問)
https://www.synology.com/zh-tw/dsm/7.0/software_spec/dsm

Have a nice day~
aru wrote:
你要不要提供一下 smb...(恕刪)


你好,之前是QNAP這台讀取會卡死
後來買了群輝這台以後也會有類似情形發生

>>不清楚你的卡死是在什麼情況下發生? (權限錯亂 or 同時存取相同檔案導致 file locked or 網路磁碟無法訪問)
ShareData是共用資料夾,開放給所有使用者
UserA會持續寫入資料到
NAS/ShareData/Data01/a01.csv
.
.
.
NAS/ShareData/Data01/a500.csv

其餘使用者可能只是在瀏覽NAS/ShareData/裡的其他子資料夾,就會呈現讀取中,基本上都會讀取到連線失敗的情況,情形可以參考這篇
當有這樣情形發生目前能改善的方式只剩兩種
1. NAS重開機
2. 把該使用者的連線中斷(從下方連線數的圖那邊的中斷連線),讓他重新連線就正常,但是沒多久可能又發生

>>你要不要提供一下 smb 連線數, 同時開啟檔案有多少?
同時開啟檔案的情形大約是某個使用者會持續寫入500個CSV檔案

後來有測試過只要使用者A不保持寫入檔案狀況,其他使用者在連線網路磁碟機就會很順暢
但是又想要保持這樣的功能,出發考量是希望檔案能直接寫入到NAS內留存一份就可以,也可以讓其他使用者抓取該資料來使用

連線數如下圖:
自己隨機查詢, 也常有上千檔案同時存取, 但網路磁碟反應都正常....


以官方說法, 同時連線數上限為 10,000? 但前不久的確自己也發生過網路磁碟反應變慢, 拷貝大檔速度也巨降, 只要把吃太多資源的軟體關閉, 又恢復順暢, 當時沒特別注意瞬間開了多少檔案, 下次再留意一下....

自己懷疑可能跟啟動資料總和檢查碼以進行進階資料保護有關, 猜測可能會影響到一些效能, 但建立後又不能直接取消該功能, 有點麻煩, 等有空閒時間再重建測試看看...


你可以先參考以下官方建議確認設置, 若還是不能排除, 再詢問官方看看... 畢竟同時檔案存取數測試, 應該很容易複製問題才對....
https://kb.synology.com/zh-tw/DSM/tutorial/What_can_I_do_when_the_file_transfer_via_Windows_SMB_CIFS_is_slow

10/16更新:
經壓力測試, 可同時開啟上萬個檔案, 看來官方算是保守估計...


如此高壓的讀寫, 發現 cpu 與 ram 利用率蠻低, 看來 啟動資料總和檢查碼 影響不大....


同時讀寫也沒斷過或反應遲緩...


用其他台 pc 測試網路磁碟速度, 在同時上萬檔案讀寫, 居然不受影響, 看來自己先前預測錯誤, 或許最近升級 dsm 7 可能有些優化, 沒看過先前發生的問題, 只好再長時間觀察是否還會再現...
Have a nice day~
sky4188 wrote:
有關於NAS的權限控(恕刪)

這是我的假設
檔案數量超過資料夾的上限
1~3秒寫入1個檔案
給他算3秒寫1個檔案
60/3=1分鐘20檔案寫入
20*60=1小時1200檔案寫入
24*1200=1天就28800檔案寫入
更何況1秒寫1個檔案就等於28800X3倍

小檔案太多也會拖垮吧!
看有沒有辦法把檔案分類成
每小時新建一個新資料夾
或是拉長時間如30秒或1分鐘再寫入
sky4188 wrote:
a. 使用SMB服務很容易導致存取權限被咬死,導致其他使用者打開網路磁碟機時會卡死無法讀取資料夾。
b. 使用NFS服務存取取反而沒辦法針對使用者控制權限。
c. 目前能頻繁讀寫加上同時有權限控制大概剩下走FTP服務。

1、請教如何界定是因為存取權限被咬死?一般存取權限並不會因為受到檔案存取頻率影響而改變。
2、使用 FTP 就沒問題了是嗎?
最近有特殊需求同時開啟三萬多檔案, 發現 SMB網路 預設對打開文件的數量有一個限制,預設值好像在 16384 左右。在編輯 smb.conf 文件時,追加了一行設置max open files = 51200,似乎已經改善了網路磁碟大量開啟檔案問題。

文章分享
評分
評分
複製連結

今日熱門文章 網友點擊推薦!