Transwarp Distributed File System
星環(huán)分布式文件系統(tǒng)
高擴(kuò)展、高可用、安全可靠
產(chǎn)品簡介
TDFS 是星環(huán)科技推出的一個云原生，兼容 Hadoop 及更多生態(tài)，支持對象存儲、文件系統(tǒng)，致力于打造高性能、強(qiáng)一致的分布式存儲系統(tǒng)，充分具備高擴(kuò)展、高可用、安全可靠等特性。通過 TDFS，用戶可以實(shí)現(xiàn)多副本分區(qū)容錯、“無限”擴(kuò)容、備份數(shù)據(jù)遷移恢復(fù)等重點(diǎn)功能，滿足用戶海量數(shù)據(jù)存儲需求的同時充分利用資源，發(fā)揮資源靈活性，降低分析資源成本。
核心能力
海量存儲
TDFS提供無上限文件元數(shù)據(jù)存儲，無單點(diǎn)瓶頸。充分滿足客戶海量大數(shù)據(jù)存儲與分析的需求的同時可以有效提高資源利用率，確保數(shù)據(jù)高可用。
安全可靠
基于分布式架構(gòu)技術(shù)，TDFS提供數(shù)據(jù)多副本冗余存儲，確保數(shù)據(jù)的持久性以及服務(wù)的可用性，不受臨時故障的影響從而實(shí)現(xiàn)異地容災(zāi)、資源隔離。
數(shù)據(jù)管理
TDFS提供文件目錄結(jié)構(gòu)，支持?jǐn)?shù)據(jù)批量導(dǎo)入和導(dǎo)出的時候以文件形式進(jìn)行數(shù)據(jù)交換。
高并發(fā)
TDFS有著類似傳統(tǒng)文件系統(tǒng)的樹形目錄結(jié)構(gòu)，支持用戶快速的進(jìn)行創(chuàng)建目錄、目錄存取，檢索、查看目錄下的統(tǒng)計信息及進(jìn)行權(quán)限管理等操作。此外，TDFS有著更高的并發(fā)度，單個存儲對象的操作也更快。
兼容生態(tài)
基于分布式存儲架構(gòu)，TDFS 在通信協(xié)議上兼容 HDFS 協(xié)議，可直接替換 NameNode，融入 Hadoop 社區(qū)，0 成本對接Hadoop生態(tài)系統(tǒng)及星環(huán)自研上游組件。
選擇TDFS八大的理由
資源高度利用
TDFS實(shí)現(xiàn)對象存儲以及文件存儲結(jié)構(gòu)的雙支持，支持大多數(shù)存儲場景。后續(xù)將開發(fā)出更多新特性，全方位滿足不同業(yè)務(wù)場景需求，高效發(fā)揮資源靈活性以及利用率。
高度可控
TDFS從底層架構(gòu)到上層接口均由星環(huán)自研開發(fā)，用戶擁有更強(qiáng)的掌控力。
多組件無縫集成
依托于星環(huán)強(qiáng)大的自研能力，TDFS結(jié)合星環(huán)內(nèi)部組件將大數(shù)據(jù)存儲效率推到新高度，為業(yè)務(wù)提供低延時、高吞吐、高并發(fā)的存儲能力，并支持“實(shí)時”的業(yè)務(wù)場景使用。
彈性伸縮
結(jié)合自研 Raft，新的 TDFS NameManager，BlockManager 節(jié)點(diǎn)加入集群時，其 Raft 節(jié)點(diǎn)自動成組，自動同步歷史數(shù)據(jù)，退役的節(jié)點(diǎn)自動踢出 Raft 組，從而實(shí)現(xiàn)無感知的集群擴(kuò)容縮容。
優(yōu)秀性能
TDFS摒棄 QJM 高可用方案，結(jié)合Raft，使 TDFS 在節(jié)點(diǎn)宕機(jī)的情況下重新選主，繼續(xù)服務(wù)，低成本切換主備。其共識機(jī)制保證各節(jié)點(diǎn)數(shù)據(jù)強(qiáng)一致性，多副本分區(qū)容錯。TDFS 的 BlockManager 節(jié)點(diǎn)將塊信息維護(hù)在了內(nèi)嵌數(shù)據(jù)庫當(dāng)中，每次啟動無需全量進(jìn)行 block report，有效解決了block report storm等問題。
輕量緩存
TDFS將元數(shù)據(jù)存在輕量級內(nèi)嵌數(shù)據(jù)庫中，僅使用部分內(nèi)存緩存，有效解決了大量小文件存儲引發(fā)的內(nèi)存瓶頸問題。
輕松運(yùn)維
不同于傳統(tǒng)的 HDFS + Zookeeper, 自研 Raft 作為 TDFS 核心部分，它不需要單獨(dú)啟動服務(wù)進(jìn)程，減輕了運(yùn)維成本，使 TDFS 更加內(nèi)聚，也避免了外部服務(wù)的不穩(wěn)定性。
底層語言開發(fā)
TDFS 依托于 Rust 語言獨(dú)特的內(nèi)存管理機(jī)制，無需進(jìn)行垃圾回收，更不會造成因 GC 帶來的“卡頓。其提供編譯器檢查，可以有效減少各類異常以及并發(fā)問題，并且無需額外分配堆內(nèi)存，內(nèi)存用完即釋放，無動態(tài)回收，有效減少成本。
應(yīng)用場景
數(shù)據(jù)湖
統(tǒng)一的存儲池，存儲任意規(guī)模的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)。
數(shù)據(jù)倉庫
為數(shù)倉提供高性能、高可靠、低時延、低成本的海量存儲系統(tǒng)。
湖倉一體化
結(jié)合分布式文件及對象存儲系統(tǒng)兩個系統(tǒng)的特性，支持大多數(shù)存儲場景。
數(shù)據(jù)遷移
數(shù)據(jù)快速、平滑、安全地遷移數(shù)據(jù)及對象存儲至TDFS。
星環(huán)科技,構(gòu)建明日數(shù)據(jù)世界
