近日，Elasticsearch 的創(chuàng)始人兼首席執(zhí)行官Shay Banon 向騰訊云發(fā)出了一封“特別”的郵件，專程對騰訊團(tuán)隊(duì)為Elasticsearch開源社區(qū)做出的貢獻(xiàn)表示了感謝。

據(jù)了解，騰訊工程師通過提交代碼，成功優(yōu)化了Elasticsearch高并發(fā)寫入性能，實(shí)現(xiàn)將1000萬數(shù)據(jù)量的寫入時(shí)長從原來的18分鐘縮減至15分鐘，速率提升20%，并在Elasticsearch開源社區(qū)分享了項(xiàng)目方案。

Shay Banon 在發(fā)給騰訊副總裁、騰訊云總裁邱躍鵬的感謝信中表示：

“我們最近對Elasticsearch進(jìn)行了重大而巧妙的改進(jìn)，這是由騰訊的一位開發(fā)者提出的。這種改進(jìn)使Elasticsearch的某些類型的寫速度提高了約20%，我們非常期待后續(xù)與騰訊云繼續(xù)保持這種良好的合作關(guān)系?！?

事實(shí)上，在今年5月的騰訊全球數(shù)字生態(tài)大會上，騰訊云與Elastic簽署了戰(zhàn)略合作協(xié)議。雙方同意在產(chǎn)品、技術(shù)、生態(tài)三個(gè)維度展開合作，依托Elastic在搜索軟件領(lǐng)域的產(chǎn)品和技術(shù)優(yōu)勢，以及騰訊云在云計(jì)算大數(shù)據(jù)領(lǐng)域的技術(shù)能力和市場資源，雙方聯(lián)合推出具備高級商業(yè)特性的騰訊云Elasticsearch Service ，該版本上線了集群權(quán)限管理、SQL、機(jī)器學(xué)習(xí)、圖查詢等高級功能。并結(jié)合騰訊云全球領(lǐng)????的公有云架構(gòu)，實(shí)現(xiàn)Elasticsearch集群應(yīng)用的低成本、易開發(fā)、易管理、高可用、高安全性。

其實(shí)，這次源碼優(yōu)化的契機(jī)，源自騰訊內(nèi)部一站式智能化的大數(shù)據(jù)服務(wù)平臺全民BI的真實(shí)業(yè)務(wù)場景，其中，全民BI的統(tǒng)計(jì)功能，在底層使用了Elasticsearch的開源代碼。在實(shí)際使用中，因?yàn)榇嬖跉v史數(shù)據(jù)比對的需求，需要每天全量導(dǎo)入新的數(shù)據(jù)。數(shù)十億級的數(shù)據(jù)量，超過500個(gè)標(biāo)簽，需要盡可能的快速的導(dǎo)入到ES系統(tǒng)中，但這一塊經(jīng)過多次的參數(shù)優(yōu)化，依然需要幾個(gè)小時(shí)才能完成導(dǎo)入，是整????系統(tǒng)的一大瓶頸。

在此背景下，騰訊全民BI團(tuán)隊(duì)開始著手優(yōu)化Elasticsearch高并發(fā)場景下的寫入性能。項(xiàng)目團(tuán)隊(duì)通過分析ES的寫入機(jī)制，在多次堆棧分析取樣中，發(fā)現(xiàn)較多線程因writeLock被rollGeneration占用，在獲取鎖的等待上耗時(shí)偏長。因而將優(yōu)化的著力點(diǎn)，從參數(shù)的調(diào)優(yōu)轉(zhuǎn)移至線程的優(yōu)化。項(xiàng)目團(tuán)隊(duì)最終在實(shí)驗(yàn)理論值的基礎(chǔ)上，通過優(yōu)化rollGeneration，實(shí)現(xiàn)將1000萬數(shù)據(jù)量的寫入時(shí)長從原來的18分鐘縮減至15分鐘???????速率提升20%。

“非常感謝Elastic公司創(chuàng)始人之一和技術(shù)負(fù)責(zé)人Simon Willnauer的支持和建議，本次優(yōu)化大幅度提升全民BI系統(tǒng)的數(shù)據(jù)分析效率，接下來，這些領(lǐng)先的特性都能夠在騰訊云Elasticsearch Service上獲取。” 主要負(fù)責(zé)人表示。

更加值得期待的是，這次優(yōu)化只是一個(gè)開端，未來仍存在較多優(yōu)化空間，騰訊云目前正在積極與開源社區(qū)溝通中。

值得注意的是，這次社區(qū)代碼貢獻(xiàn)并不是騰訊的個(gè)別案例。從2010年開始，騰訊就開始通過“三步走”的開源計(jì)劃，積極推動代碼開放和社區(qū)參與，從封閉孤立向協(xié)同開放和社區(qū)開放治理的縱深方向發(fā)展。

“我們將通過內(nèi)外部開放源代碼的方式，積極參與全球科技共同體的構(gòu)建。”騰訊公司董事會主席兼首席執(zhí)行官馬化騰在八月底重慶召開的2019智博會高峰論壇上表示。

如今，騰訊正以發(fā)起者、貢獻(xiàn)者等不同方式積極參與開源。在社區(qū)貢獻(xiàn)方面，騰訊已經(jīng)獲得 OpenStack 社區(qū)、Linux 基金會、LFAI 基金會、MariaDB 基金會、Apache 基金會等多個(gè)白金會員或白金贊助商身份。

去年，騰訊云向 KVM 內(nèi)核貢獻(xiàn)了 40 個(gè) patch，連續(xù)第二年登上 KVM 全球開源貢獻(xiàn)榜，也成為中國唯一入選云廠商。今年初，騰訊云正式發(fā)布基礎(chǔ)設(shè)施層面四大核心技術(shù)項(xiàng)目，分別涵蓋數(shù)據(jù)中心、網(wǎng)絡(luò)、服務(wù)器以及自動化平臺領(lǐng)域，并宣布將這四大技術(shù)項(xiàng)目全部貢獻(xiàn)給開源 OCP 社區(qū)。

而在自主開源方面，截至2019年8月，騰訊已在Github上發(fā)布82個(gè)開源項(xiàng)目，包含微信、騰訊云、騰訊游戲、騰訊AI、騰訊安全等相關(guān)領(lǐng)域。騰訊發(fā)起的開源項(xiàng)目累計(jì)在 Github 獲得了24W+ Star數(shù)，在國內(nèi)和國際收獲了廣泛的關(guān)注和認(rèn)可。

未來，騰訊還將進(jìn)一步拓寬開源的范圍，在開放、共享、合力開發(fā)的研發(fā)模式中，不斷夯實(shí)已有的技術(shù)能力，不斷深化與開源伙伴間相互促進(jìn)的良性關(guān)系。

編輯：夜一