Transwarp Scope
大規(guī)模分布式搜索引擎
自主可控的搜索引擎產(chǎn)品
產(chǎn)品簡(jiǎn)介
Transwarp Scope是星環(huán)第二代搜索引擎軟件，可應(yīng)用于表單、日志、視頻、圖像、文本文件等各類非結(jié)構(gòu)化數(shù)據(jù)的對(duì)象存儲(chǔ)與檢索場(chǎng)景。Scope保留了底層的Lucene框架和工具層，對(duì)上層進(jìn)行了全自主研發(fā)改造，揚(yáng)棄了開(kāi)源產(chǎn)品中的那些帶來(lái)瓶頸和限制的模型，用更貼合海量數(shù)據(jù)大集群場(chǎng)景的模型來(lái)代替，打造出了自主可控的搜索引擎產(chǎn)品。
Transwarp Scope的目標(biāo)與優(yōu)勢(shì)
高效
以提高數(shù)據(jù)流轉(zhuǎn)速率為核心目標(biāo)，提升產(chǎn)品的讀寫(xiě)等基礎(chǔ)產(chǎn)品能力，對(duì)比開(kāi)源具備更大的寫(xiě)入量。更高查詢量，更快的查詢性能。
穩(wěn)定
保證集群從規(guī)模，單機(jī)容量，吞吐等多方面提升的情況下，集群的穩(wěn)健運(yùn)行
易運(yùn)維
降低運(yùn)維門檻，以更直觀和更便捷的方式交給客戶的運(yùn)維人員
開(kāi)放
ES生態(tài)的接入，可自適應(yīng)插件的使用
選擇Transwarp Scope的理由
完備的數(shù)據(jù)庫(kù)能力支持
支持統(tǒng)計(jì)信息與基于代價(jià)的查詢優(yōu)化，提供SQL接口，降低業(yè)務(wù)開(kāi)發(fā)難度
支持跨數(shù)據(jù)中心多活部署
提供RTO與RPO約等于0的跨數(shù)據(jù)中心容災(zāi)能力。
支持三種數(shù)據(jù)接入模式
支持實(shí)時(shí)、微批、離線三種數(shù)據(jù)接入模式，兼顧數(shù)據(jù)時(shí)效性與入庫(kù)性能
單集群千級(jí)別節(jié)點(diǎn)規(guī)模
單實(shí)例百TB數(shù)據(jù)存儲(chǔ)容量，單集群千級(jí)別節(jié)點(diǎn)規(guī)模
適配現(xiàn)代大容量服務(wù)器
多進(jìn)程架構(gòu)，突破單jvm限制，適配于現(xiàn)代大容量服務(wù)器
完備的數(shù)據(jù)安全管控能力
支持多種身份驗(yàn)證方式，支持細(xì)粒度權(quán)限驗(yàn)證，支持傳輸層加密
創(chuàng)新的同時(shí)接軌開(kāi)源
支持開(kāi)源的各類常用接口，并適配開(kāi)源插件，滿足客戶的開(kāi)發(fā)需求
技術(shù)場(chǎng)景
表單
表單數(shù)據(jù)處理
日志
日志收集分析
檢索
各類數(shù)據(jù)檢索場(chǎng)景
應(yīng)用案例
客戶需求
○ 在線部分在大量入庫(kù)的場(chǎng)景下保證查詢性能，支撐海量離線數(shù)據(jù)入庫(kù)需求以滿足日增需求
○ 同時(shí)支持高性能各類檢索和多條件檢索
解決方案
○ 經(jīng)過(guò)相關(guān)調(diào)研與測(cè)試，使用星環(huán)的搜索引擎Scope可以比較好的處理該問(wèn)題，在實(shí)時(shí)入庫(kù)上，Scope可以通過(guò)微批等方式確保數(shù)據(jù)入庫(kù)時(shí)對(duì)資源的消耗量，確保查詢業(yè)務(wù)不受影響，滿足各類檢索查詢
○ 在離線入庫(kù)上，Scope特有的入庫(kù)方式可以多線程高吞吐的方式很好的將數(shù)據(jù)入庫(kù)到數(shù)據(jù)庫(kù)中
項(xiàng)目成果
入庫(kù)沒(méi)有積壓，滿足了單日幾十TB級(jí)別的入庫(kù)需求，查詢達(dá)到業(yè)務(wù)預(yù)期水準(zhǔn)
星環(huán)科技,構(gòu)建明日數(shù)據(jù)世界
