云音樂“崩了”：或與網(wǎng)易Curve系統(tǒng)有關(guān)，該團(tuán)隊(duì)曾裁員

　　21獨(dú)家丨云音樂“崩了”：或與網(wǎng)易Curve系統(tǒng)有關(guān)，該團(tuán)隊(duì)曾裁員

　　賀泓源

　　網(wǎng)易云音樂崩了。

　　2024年8月19日，詞條#網(wǎng)易云音樂崩了#登上微博熱搜第一。不少網(wǎng)友表示，網(wǎng)易云音樂“一直刷新不出來”“一條評(píng)論也刷不出來”“搜歌也搜不出來”。

　　不久后，網(wǎng)易云音樂在官方微博回復(fù)，“因基礎(chǔ)設(shè)施故障，導(dǎo)致網(wǎng)易云音樂各端無法正常使用，我們正在加緊修復(fù)，非常抱歉�！�

　　另?yè)?jù)21世紀(jì)經(jīng)濟(jì)報(bào)道記者從多位有過網(wǎng)易工作經(jīng)歷的技術(shù)人員處了解到，此番網(wǎng)易云音樂出現(xiàn)技術(shù)故障， 或與Curve存儲(chǔ)系統(tǒng)有關(guān)。該系統(tǒng)由網(wǎng)易開發(fā)，團(tuán)隊(duì)曾經(jīng)歷過裁員。

　　對(duì)此，網(wǎng)易云音樂方面向21世紀(jì)經(jīng)濟(jì)報(bào)道記者回應(yīng)稱，“沒有刪庫(kù)，沒有跑路， 正在加速修復(fù)”。但對(duì)于涉及Curve團(tuán)隊(duì)問題，相關(guān)工作人員表示并不清楚。

　　隨后，網(wǎng)易云音樂官方微博表示，故障已陸續(xù)修復(fù)。同時(shí)，作為補(bǔ)償，8月20日0-24時(shí)，云音樂搜“暢聽音樂”，可領(lǐng)取7天會(huì)員權(quán)益到用戶的賬戶。

　　什么是Curve？

　　事實(shí)上，網(wǎng)易云音樂使用Curve有著歷史沿襲。

　　據(jù)網(wǎng)易云音樂技術(shù)團(tuán)隊(duì)在2022年6月對(duì)外披露，云音樂使用云盤的業(yè)務(wù)主要包括主站、UGC、曲庫(kù)等Java應(yīng)用，其中主站是云音樂核心業(yè)務(wù)，需要提供最高等級(jí)的SLA保障(年可用率>=99.99%)，面對(duì)提供上億級(jí)用戶量穩(wěn)定的云音樂體驗(yàn)，這一直以來也是該平臺(tái)的重難點(diǎn)。

　　2019年之前云音樂主要使用Ceph云盤，但Ceph在大規(guī)模場(chǎng)景下存在性能缺陷，且很難保證在各種異常(壞盤慢盤、存儲(chǔ)機(jī)宕機(jī)、存儲(chǔ)網(wǎng)絡(luò)擁塞等)場(chǎng)景下云盤IO響應(yīng)時(shí)延不受影響；Ceph云盤的IO抖動(dòng)問題，該團(tuán)隊(duì)曾嘗試花很多人力精力做優(yōu)化改造，但都只是稍微有所緩解，無法徹底解決；性能問題也投入大量人力進(jìn)行分析優(yōu)化，但仍然不能達(dá)到預(yù)期。因此網(wǎng)易云音樂才立項(xiàng)了解Curve塊存儲(chǔ)分布式存儲(chǔ)系統(tǒng)。

　　網(wǎng)易云音樂提到，Curve塊存儲(chǔ)可以良好適配主流云計(jì)算平臺(tái)，并且具備高性能、易運(yùn)維、穩(wěn)定不抖動(dòng)等優(yōu)勢(shì)。在實(shí)際應(yīng)用中，使用Curve塊存儲(chǔ)對(duì)接Cinder作為云主機(jī)云盤存儲(chǔ)后端，對(duì)接Nova作為云主機(jī)系統(tǒng)盤，對(duì)接Glance作為鏡像存儲(chǔ)后端。在創(chuàng)建云主機(jī)過程中，Nova會(huì)通過 Curve塊存儲(chǔ)提供的Python SDK克隆出新卷作為云主機(jī)系統(tǒng)盤使用。在創(chuàng)建云盤過程中，Cinder會(huì)通過Python SDK創(chuàng)建空卷或者通過已有的卷快照克隆出新卷，之后可以掛載到云主機(jī)上作為云盤使用。云主機(jī)使用Libvirt作為虛擬化管控服務(wù)，使用QEMU/KVM作為虛擬化引擎。Curve塊存儲(chǔ)為L(zhǎng)ibvirt/QEMU提供了驅(qū)動(dòng)庫(kù)，編譯后就可以直接使用Curve卷作為遠(yuǎn)端存儲(chǔ)，不需要把Curve塊存儲(chǔ)卷掛載到本地。

　　2020年，網(wǎng)易數(shù)帆宣布，開源一款名為Curve的高性能分布式存儲(chǔ)系統(tǒng)。

　　當(dāng)年的網(wǎng)易數(shù)字+大會(huì)上，網(wǎng)易副總裁、網(wǎng)易杭州研究院執(zhí)行院長(zhǎng)兼網(wǎng)易數(shù)帆總經(jīng)理汪源透露，Curve主要具有三大設(shè)計(jì)特點(diǎn)：高性能、高可用和自治。汪源公布了Curve和CephL版本的測(cè)試數(shù)據(jù)對(duì)比，在單卷的場(chǎng)景下，核心的4K隨機(jī)讀/寫的IOPS性能，Curve分別是Ceph的1.84倍和1.58倍，同時(shí)延遲相比Ceph分別降低48.39%和37.50%。

　　當(dāng)時(shí)，網(wǎng)易披露，Curve系統(tǒng)上線400多天，從未出現(xiàn)數(shù)據(jù)不一致和丟數(shù)據(jù)的情況，沒有發(fā)生過重大故障，數(shù)據(jù)可靠性達(dá)到100%，服務(wù)可用率達(dá)到4個(gè)9以上。

　　可變動(dòng)來得比想象中快，近年網(wǎng)易杭州研究院裁員傳聞不斷，汪源本人已從網(wǎng)易離職。

　　機(jī)房遷移？

　　還需注意的是，此刻網(wǎng)易云音樂本就處在機(jī)房遷移的適應(yīng)關(guān)鍵節(jié)點(diǎn)，這可能也是此番故障誘因。

　　據(jù)網(wǎng)易云音樂技術(shù)團(tuán)隊(duì)在2024年7月對(duì)外披露，2023年確定要將云音樂整體服務(wù)搬遷至貴州機(jī)房，項(xiàng)目需要在各種限制條件下，保障2000+應(yīng)用、100w+QPS的服務(wù)穩(wěn)定遷移，是云音樂歷史上規(guī)模最大、人員最多、難度最高的技術(shù)項(xiàng)目。在此過程中，解決了大量歷史技術(shù)債務(wù)，同時(shí)化解了大量新增系統(tǒng)性風(fēng)險(xiǎn)。

　　具體來看，此次需要云音樂以及旗下獨(dú)立App的服務(wù)均整體遷移至貴州。涉及2000+應(yīng)用、100w+QPS的穩(wěn)定遷移，同時(shí)涉及中間件、存儲(chǔ)、機(jī)房、三方依賴服務(wù)等整體的搬遷，搬遷規(guī)模大。

　　業(yè)務(wù)復(fù)雜度亦高。其中，場(chǎng)景復(fù)雜。遷移規(guī)模大，帶來更廣的業(yè)務(wù)場(chǎng)景覆蓋。而不同的場(chǎng)景對(duì)數(shù)據(jù)一致性要求不同、延遲敏感度不同。遷移方案需要考慮各種場(chǎng)景帶來的問題，并提供標(biāo)準(zhǔn)化的解決方案。

　　另外，服務(wù)間依賴復(fù)雜。此次帶來約2000+應(yīng)用的搬遷，各服務(wù)間的調(diào)用和依賴情況復(fù)雜，在分批遷移方案中需要協(xié)調(diào)，以及解決遷移期間跨機(jī)房30msRT上升帶來的問題。

　　此外，相關(guān)歷史積弊也多。網(wǎng)易云音樂提到，遷移貴州前，存在諸多歷史技術(shù)積弊，影響著全站整體的穩(wěn)定性。

　　此次搬遷還有新增風(fēng)險(xiǎn)。網(wǎng)易云音樂提出，遷移貴州帶來諸多新增風(fēng)險(xiǎn)，且解決難度高。部分場(chǎng)景無法做到真實(shí)環(huán)境全流程預(yù)演。在基礎(chǔ)技術(shù)建設(shè)上，也有一些不足的情況，影響整體搬遷執(zhí)行效率、遷移準(zhǔn)確性。

　　限制條件也嚴(yán)苛。云音樂有著大量的用戶基數(shù)，此次搬遷要求：不停機(jī)遷移、不產(chǎn)生P2及以上事故。除此之外還有機(jī)器、網(wǎng)絡(luò)帶寬、網(wǎng)絡(luò)穩(wěn)定性、網(wǎng)絡(luò)RT、遷移方案等限制條件。

　　總體來看，前述搬遷推進(jìn)、協(xié)調(diào)難度大�！按舜伟徇w規(guī)模大，同樣，參與人員規(guī)模大，整體協(xié)調(diào)難度大。此外帶來較多的人因風(fēng)險(xiǎn)。可能因極小的細(xì)節(jié)未執(zhí)行到位，就會(huì)造成全局事故�！本W(wǎng)易云音樂技術(shù)團(tuán)隊(duì)相關(guān)文章表態(tài)。

　　結(jié)構(gòu)調(diào)整

　　回到網(wǎng)易云音樂運(yùn)營(yíng)來看，該公司處于結(jié)構(gòu)調(diào)整期。

　　財(cái)報(bào)顯示，2023年，云音樂營(yíng)收78.67億元，同比下滑13%；經(jīng)調(diào)整凈利潤(rùn)為8.19億元，上年同期為虧損1.15億元。

　　具體到業(yè)務(wù)來看，2023年，網(wǎng)易云音樂在線音樂服務(wù)收入為43.51億元，同比增長(zhǎng)18%。其中，會(huì)員訂閱收入為36.49 億元，同比增長(zhǎng)20%，平均付費(fèi)會(huì)員數(shù)同比增長(zhǎng)15%達(dá)到4412萬(wàn)，月均ARPU值同比增長(zhǎng)5%達(dá)到6.9元。非訂閱收入為7億元，同比增長(zhǎng)6%。

　　但受政策影響，以直播為主要業(yè)務(wù)的社交娛樂業(yè)務(wù)收入在2023年同比下滑34%至35.16億元。付費(fèi)用戶為160萬(wàn)，同比提升20%，月均ARPU同比下滑45%達(dá)到179元。

　　好消息是，網(wǎng)易云音樂毛利率在提升。2023年，該公司內(nèi)容服務(wù)成本45.99億元，同比下滑31%，占收入比從2022年的75%下降至2023年的58%，主要因?yàn)橐魳钒鏅?quán)成本絕對(duì)值基本穩(wěn)定，調(diào)整了社交娛樂業(yè)務(wù)的分成比例，收入因流量分配調(diào)整等因素也有較大幅度的下滑，結(jié)合分成比例收窄，帶來內(nèi)容成本的大幅縮減。

　　2023年下半年，網(wǎng)易云音樂毛利率較上半年進(jìn)一步提升，達(dá)到28.7%。2023年整體運(yùn)營(yíng)費(fèi)用的絕對(duì)值同比小幅收窄。

　　2024年一季度，網(wǎng)易云音樂公布營(yíng)收39.6億元，同比增長(zhǎng)3.6%。

　　客觀上，結(jié)構(gòu)調(diào)整也是種行業(yè)性趨勢(shì)。

　　財(cái)報(bào)顯示，今年二季度，騰訊音樂營(yíng)收71.6億元，同比下滑2%；經(jīng)調(diào)整凈利潤(rùn)19.85億元，同比增長(zhǎng)25.7%。具體來看，在線音樂業(yè)務(wù)收入54.24億元，同比增長(zhǎng)28%；社交娛樂業(yè)務(wù)收入17.36億元，同比下滑43%。

　　其中，社交娛樂MAU在二季度同比下滑31.6%至9300萬(wàn)。付費(fèi)用戶為790萬(wàn)，同比增長(zhǎng)5%。季度ARPU為220元，同比下滑45%。

　　總體而言，隨著競(jìng)爭(zhēng)加劇，網(wǎng)易音樂每一步都需要更謹(jǐn)慎。