神譯局是36氪旗下編譯團(tuán)隊(duì)，關(guān)注科技、商業(yè)、職場、生活等領(lǐng)域，重點(diǎn)介紹國外的新技術(shù)、新觀點(diǎn)、新風(fēng)向。
編者按：決策是行動的指南。不管是個(gè)人還是企業(yè)，每天都要面臨著無數(shù)的決策。決策的好壞會對結(jié)果產(chǎn)生巨大影響，如何做好決策是每個(gè)人都要上的一門必修課。在Netflix這里，他們采用了一種以實(shí)驗(yàn)為導(dǎo)向的決策流程，先小范圍地對不同方案進(jìn)行測試，根據(jù)對比效果調(diào)整，從而摸索出普遍適用的決策。他們?yōu)榇诉€在官方技術(shù)博客推出了關(guān)于Netflix如何用A/B測試做出決策的系列文章。本文來自編譯，是系列文章的第七篇，也是最后一篇，談的是學(xué)習(xí)文化的重要性。
劃重點(diǎn)：
Netflix強(qiáng)調(diào)了從數(shù)據(jù)中學(xué)習(xí)的重要性
學(xué)習(xí)與實(shí)驗(yàn)滲透到了Netflix的各個(gè)地方
實(shí)驗(yàn)對 Netflix 來說是一種雙贏的價(jià)值主張
相關(guān)閱讀：
Netflix 是如何做決策的？（一）：介紹
Netflix是如何做決策的？（二）：什么是 A/B 測試？
Netflix是如何做決策的？（三）：誤報(bào)與統(tǒng)計(jì)顯著性
Netflix是如何做決策的？（四）：漏報(bào)與功效
Netflix是如何做決策的？（五）：樹立對決策的信心
Netflix是如何做決策的？（六）：實(shí)驗(yàn)是主要關(guān)注焦點(diǎn)
本系列的前幾篇文章介紹了A/B 測試的WHY、WHAT以及HOW，所有這些都是產(chǎn)品開發(fā)從實(shí)驗(yàn)中獲益所必需的。但是如果不加上一點(diǎn)魔法的話，光有這些還是不夠的。
怎么把實(shí)驗(yàn)的原材料轉(zhuǎn)化成渦輪增壓的產(chǎn)品創(chuàng)新？其中的秘訣在于文化。文化的發(fā)展壯大從來沒有捷徑可走，培養(yǎng)實(shí)驗(yàn)文化也不例外。要想讓領(lǐng)導(dǎo)層支持聚焦 A/B 測試的學(xué)習(xí)方法、建立起對測試結(jié)果的信任，以及形成大規(guī)模實(shí)施實(shí)驗(yàn)的技術(shù)能力，這些都需要時(shí)間——尤其是對這些想法不熟悉的組織要想做到的話更是需要時(shí)間。但是通過科學(xué)方法進(jìn)行實(shí)驗(yàn)所帶來的回報(bào)，以及讓產(chǎn)品開發(fā)形成良性循環(huán)是非常值得的。關(guān)于如何啟動實(shí)驗(yàn)飛輪以及建立實(shí)驗(yàn)文化，我們在微軟的同事分享了一些考慮周到的出版物，而他們的“從爬到走再到跑最后飛起來”（rawl, Walk, Run, Fly）的模型是評估實(shí)驗(yàn)實(shí)踐成熟度的好工具。
在 Netflix這里，我們幾十年來一直都在利用實(shí)驗(yàn)和科學(xué)方法，并且很幸運(yùn)擁有成熟的實(shí)驗(yàn)文化。實(shí)驗(yàn)文化得到了包括高層在內(nèi)的全公司的的廣泛支持，只要有可能，A/B 測試或其他因果推理方法的結(jié)果幾乎就是決策的必需。我們還對教育計(jì)劃進(jìn)行投資，從而提高公司范圍內(nèi)對我們怎么用 A/B 測試作為產(chǎn)品開發(fā)框架的理解。事實(shí)上，本系列的大部分材料都改編自我們內(nèi)部的實(shí)驗(yàn) 101 和 201 課程（面向Netflix全員開放）。
作為一家企業(yè)，Netflix有組織地強(qiáng)調(diào)了從數(shù)據(jù)中學(xué)習(xí)的重要性，這也包括了從 A/B 測試中的學(xué)習(xí)。我們的數(shù)據(jù)和洞察組織有團(tuán)隊(duì)跟公司的各個(gè)部門合作，為了解全球各地的內(nèi)容偏好，提供無縫的客戶支持體驗(yàn)提供支持。我們采用了定性與定量結(jié)合的消費(fèi)者研究、分析、實(shí)驗(yàn)、預(yù)測建模等工具來深入了解會員。我們擁有數(shù)據(jù)管道，為從面向執(zhí)行人員的儀表板到個(gè)性化系統(tǒng)提供支持，從而幫助將Netflix 會員與適當(dāng)?shù)膬?nèi)容建立關(guān)聯(lián)。這種數(shù)據(jù)驅(qū)動的思維方式已經(jīng)是滲透到公司的各個(gè)層面，就連Netflix的最高領(lǐng)導(dǎo)層也是數(shù)據(jù)和洞察力組織的體現(xiàn)。
Netflix的企業(yè)文化是用數(shù)據(jù)說話
正如第 6 部分所討論的那樣，我們有部分專注于實(shí)驗(yàn)與因果推理的數(shù)據(jù)科學(xué)家在跟Netflix 的產(chǎn)品創(chuàng)新團(tuán)隊(duì)合作。這些數(shù)據(jù)科學(xué)家會設(shè)計(jì)和執(zhí)行測試，從而為學(xué)習(xí)議程提供支持，并為決策做出貢獻(xiàn)。通過深入研究某個(gè)測試結(jié)果的細(xì)節(jié)、尋找不同測試之間的共同模式，以及探索其他的數(shù)據(jù)源，這些 Netflix 數(shù)據(jù)科學(xué)家積累了有關(guān) Netflix 體驗(yàn)各個(gè)方面的領(lǐng)域?qū)I(yè)知識，并成為產(chǎn)品經(jīng)理和工程領(lǐng)導(dǎo)者的重要合作伙伴。數(shù)據(jù)科學(xué)家通過評估機(jī)會大小以及確定適合創(chuàng)新的領(lǐng)域來幫助塑造 Netflix 產(chǎn)品的發(fā)展，并經(jīng)常會提出隨后需經(jīng)過測試的假設(shè)。
我們還投資了一個(gè)廣泛而靈活的實(shí)驗(yàn)平臺，讓我們的實(shí)驗(yàn)計(jì)劃能夠隨著公司對學(xué)習(xí)和了解的雄心壯大而擴(kuò)展。就像 Netflix 產(chǎn)品本身這些年來一直在不斷發(fā)展一樣，我們支持大規(guī)模實(shí)驗(yàn)的技術(shù)開發(fā)手段也在不斷發(fā)展。事實(shí)上，這20 多年來，我們一直致力于改進(jìn) Netflix 的實(shí)驗(yàn)平臺解決方案——我們對支持 A/B 測試的工具的第一筆投資可以追溯到 2001 年。
Netflix 的 Stan Lanning在2001年開發(fā)的早期實(shí)驗(yàn)工具。
Netflix 擁有獨(dú)特的內(nèi)部文化，這種文化強(qiáng)化了實(shí)驗(yàn)和科學(xué)方法的使用。作為一家公司，我們的目標(biāo)是保持好奇心，真正地、誠實(shí)地去了解我們在世界各地的會員，并服務(wù)好他們。我們在思想上也保持開放，知道偉大的想法可能會來自不太可能的來源。對于學(xué)習(xí)和做出大決策來說，沒有一種辦法能優(yōu)于運(yùn)用嚴(yán)格測試的力量來確認(rèn)或證偽想法。公開、坦誠地分享測試結(jié)果可以讓 Netflix 的每個(gè)人對會員形成直覺，并就我們?nèi)绾螢樗麄兲峁└玫捏w驗(yàn)提出想法——于是就啟動了一個(gè)良性循環(huán)。
事實(shí)上，Netflix隨時(shí)要跑的測試太多了，以至于某位會員可能會同時(shí)被分配到多個(gè)測試之中。其實(shí)Netflix 作為產(chǎn)品并不是一個(gè)：在任何特定時(shí)間，我們都在測試大量的產(chǎn)品變體，始終致力于尋求進(jìn)一步了解如何為現(xiàn)有會員帶來更多樂趣，同時(shí)吸引新的會員。有些測試，比方說十大排行榜，是用戶很容易就能注意到的，而其他一些測試，比方說個(gè)性化以及搜索系統(tǒng)的變更，或者流媒體視頻的編碼與提供，則不太明顯。
在 Netflix這里，我們不懼大膽的測試，不怕挑戰(zhàn)基本的或長期固有的假設(shè)。在這兩點(diǎn)上，十大排行榜都是一個(gè)很好的例子：對于在Netflix產(chǎn)品上面暴露一種新型證據(jù)來說，十大排行榜屬于巨大而顯著的改變。像這樣的大型測試可以開辟出全新的創(chuàng)新領(lǐng)域，在公司內(nèi)部也會引起積極的辯論（見下文）。而在另一方面，我們也會展開更小規(guī)模的測試，以優(yōu)化產(chǎn)品的方方面面。一個(gè)很好的例子是我們?yōu)閷ふ倚麄鳟a(chǎn)品各方面的正確文案所做的測試。就數(shù)字而言，這些更小的，不那么不引人注目的測試要多得多，我們投資于端到端的基礎(chǔ)設(shè)施，目的是簡化實(shí)驗(yàn)的執(zhí)行，讓產(chǎn)品團(tuán)隊(duì)能夠快速地從假設(shè)走到測試，最后推出成功的體驗(yàn)。比方說，莎士比亞項(xiàng)目為快速的文案測試提供了一個(gè)端到端的解決方案，并且與 Netflix 集中式的實(shí)驗(yàn)平臺集成到一起。說得更寬泛一點(diǎn)，我們一直在尋找可以從實(shí)驗(yàn)中受益的新領(lǐng)域，或者其他的方法或工具可以帶來新的或更快的學(xué)習(xí)的領(lǐng)域。
數(shù)據(jù)科學(xué)家不是數(shù)據(jù)的看門人，而是數(shù)據(jù)的向?qū)?/p>
Netflix 有一套成熟的運(yùn)營機(jī)制來對產(chǎn)品決策的辯論制訂以及社會化進(jìn)行管控。 Netflix 不會通過委員會或?qū)で蠊沧R來做出決定。取而代之的是，對于每一個(gè)重大決策，我們都有一位“見多識廣的隊(duì)長”，在消化相關(guān)數(shù)據(jù)以及同事的意見（包括不同的觀點(diǎn)）后，此人將最終負(fù)責(zé)做出判斷。在可能的情況下，A/B 測試結(jié)果或因果推理研究是該決策過程的預(yù)期輸入。
事實(shí)上，不僅產(chǎn)品決策需要測試結(jié)果，創(chuàng)新和測試的投資領(lǐng)域決策、重大創(chuàng)新的測試計(jì)劃、重大測試的結(jié)果等，這些都要總結(jié)進(jìn)備忘錄，廣泛社會化，并積極討論。進(jìn)行相關(guān)辯論的論壇大家都可以訪問，確保有人反饋關(guān)于測試設(shè)計(jì)和結(jié)果的不同觀點(diǎn)，并對決策做出權(quán)衡。進(jìn)入這些論壇的邀請對任何有興趣的人開放，入場費(fèi)只需要看備忘錄。盡管公司高管也經(jīng)常光顧這些地方，但這里很顯然沒有等級之分，因?yàn)橐磺卸家繑?shù)據(jù)說話。
Netflix 數(shù)據(jù)科學(xué)家是這些論壇的積極參與者以及有價(jià)值的參與者。數(shù)據(jù)科學(xué)家應(yīng)該為數(shù)據(jù)說話，說明從實(shí)驗(yàn)結(jié)果中可以得出以及不可以得出什么結(jié)論，不同的實(shí)驗(yàn)設(shè)計(jì)的優(yōu)缺點(diǎn)等等。盡管數(shù)據(jù)科學(xué)家不是產(chǎn)品決策的知情隊(duì)長，但作為數(shù)據(jù)的解釋者，他們是關(guān)鍵產(chǎn)品決策的積極貢獻(xiàn)者。
通過實(shí)驗(yàn)幫助產(chǎn)品進(jìn)化可以是一種讓人心生謙卑的體驗(yàn)。在 Netflix這里，我們擁有開發(fā)和演進(jìn) Netflix 服務(wù)所需的各個(gè)學(xué)科的專家（產(chǎn)品經(jīng)理、UI/UX 設(shè)計(jì)師、數(shù)據(jù)科學(xué)家、各種類型的工程師、推薦系統(tǒng)與流視頻優(yōu)化專家等等），他們會不斷提出關(guān)于如何改進(jìn) Netflix 的新假設(shè)。但在提出的想法當(dāng)中，只有一小部分最終能成為 A/B 測試的贏家。沒錯：盡管我們擁有廣泛的專業(yè)知識，但會員通過自己在 A/B 測試中的行為讓我們知道，我們的大多數(shù)想法其實(shí)并沒有改善我們的服務(wù)。我們每年開發(fā)和測試數(shù)百種的產(chǎn)品變體，但只有一小部分最終投入到生產(chǎn)并推廣給全球 2 億多的 Netflix 會員。
實(shí)驗(yàn)計(jì)劃的勝率很低既令人謙卑又令人振奮。當(dāng)公司的任何人都可以看到相關(guān)數(shù)據(jù)，知道哪些重大想法和投資并未受到效果時(shí)，你很難再挺起高傲的頭顱。但是，當(dāng)看到所有專家都看好的想法被 A/B 測試中的會員行為否決——并且看到對注冊流程的微小調(diào)整最終會帶來巨大收入時(shí)，還有比這更能證明通過實(shí)驗(yàn)進(jìn)行決策的價(jià)值嗎？
在Netflix這里，我們不會把未能帶來勝出體驗(yàn)的測試看作是“失敗”。當(dāng)我們的會員用他們的行為否決了新產(chǎn)品體驗(yàn)時(shí)，我們?nèi)匀粫私夂芏嚓P(guān)于他們的偏好、哪些對不同的會員群體有效（哪些無效！），以及哪些地方可能或者不可能存在創(chuàng)新機(jī)會的信息。將我們從特定跟創(chuàng)新領(lǐng)域（比方說移動 UI體驗(yàn)）測試中獲得的經(jīng)驗(yàn)結(jié)合起來，可以幫助我們更全面地描繪讓會員產(chǎn)生共鳴和不產(chǎn)生共鳴的體驗(yàn)類型，從而得出新的假設(shè)、新的測試，并最終，為我們的會員帶來更快樂的體驗(yàn)。隨著我們的會員群體在全球范圍內(nèi)不斷擴(kuò)大，隨著消費(fèi)者偏好與期望的不斷演進(jìn)，我們也會重新審視當(dāng)粗測試時(shí)不成功的那些想法。有時(shí)候，來自原始分析的信號表明現(xiàn)在是這個(gè)想法的更好時(shí)機(jī)，或者將會為我們的部分新會員群體提供價(jià)值。
因?yàn)?Netflix 會測試所有的創(chuàng)意，而且因?yàn)榇蠖鄶?shù)的創(chuàng)意都不是贏家，所以我們的實(shí)驗(yàn)文化鼓勵創(chuàng)意的民主化。產(chǎn)品經(jīng)理總是渴望新想法，并樂于接受來自公司任何人的創(chuàng)新建議，無論對方資歷或?qū)I(yè)知識如何都從善如流。畢竟，在推廣到會員群體之前，我們會測試任何東西，就算是專家，成功率也很低！我們在 Netflix 已經(jīng)反復(fù)看到這一點(diǎn)，即我們的工程師、數(shù)據(jù)科學(xué)家甚至高管提出的大大小小的產(chǎn)品建議可能也會帶來意想不到的勝利。
（左）成為贏家的想法很少。 （右）實(shí)驗(yàn)讓創(chuàng)意民主化。因?yàn)槲覀儠y試所有的想法，并且因?yàn)榇蠖鄶?shù)想法都不是勝利者，所以我們對來自公司各個(gè)角落的產(chǎn)品想法持開放態(tài)度：任何人都可以舉手提出建議。
實(shí)驗(yàn)文化使得更多的聲音為創(chuàng)意做出貢獻(xiàn)，而更多的聲音則可以為決策提供信息。這是從每一位個(gè)從事產(chǎn)品工作的人獲取最佳想法，并確保推出的創(chuàng)新得到會員的審查和認(rèn)可的手段。
為我們的會員提供更好的產(chǎn)品，以及謙遜、重視想法和證據(jù)的內(nèi)部文化：實(shí)驗(yàn)對 Netflix 來說是一種雙贏的價(jià)值主張。
盡管 Netflix 幾十年來一直在進(jìn)行實(shí)驗(yàn)，但相對于我們想要學(xué)習(xí)的東西以及支持這些學(xué)習(xí)上的抱負(fù)所需建立的能力，我們只觸及了一點(diǎn)皮毛。在 Netflix 這里，關(guān)于實(shí)驗(yàn)與因果推理的挑戰(zhàn)和機(jī)遇是開放的：探索和實(shí)現(xiàn)新的方法，讓我們能夠更快更好地學(xué)習(xí)；開發(fā)支持研究的軟件解決方案；不斷建設(shè)我們的內(nèi)部實(shí)驗(yàn)平臺，從而更好地服務(wù)于不斷壯大的用戶社區(qū)以及不斷擴(kuò)大的實(shí)驗(yàn)規(guī)模與吞吐量。通過內(nèi)部活動與教育計(jì)劃以及外部的貢獻(xiàn)，我們對發(fā)展壯大實(shí)驗(yàn)文化的關(guān)注是持續(xù)的。以下是我們關(guān)注的一些主題：
本系列文章側(cè)重于固定時(shí)間范圍的測試：樣本量、分配給每個(gè)治療體驗(yàn)的流量比例，還有測試的持續(xù)時(shí)間，這些都是預(yù)先確定的。原則上，數(shù)據(jù)只有在測試結(jié)束的時(shí)候才檢查一次。這確保了多次查看數(shù)據(jù)不會增加誤報(bào)率（參見第 3 部分）。在實(shí)踐上，我們希望能夠盡早安排測試，或者在我們逐漸了解哪些治療成功，哪些不成功時(shí)能夠調(diào)整入端流量的分配方式，以維系本系列前面分所描述的那些統(tǒng)計(jì)屬性。為了實(shí)現(xiàn)這些好處，Netflix 正在投資于可隨時(shí)做出有效決策的連續(xù)實(shí)驗(yàn)，而不是等到固定時(shí)間的過去。這些方法已應(yīng)用到確保安全部署 Netflix 客戶端應(yīng)用上。我們還投資于實(shí)驗(yàn)設(shè)計(jì)的支撐，實(shí)現(xiàn)在整個(gè)測試過程中流量自適應(yīng)分配給有希望的治療手段。這兩項(xiàng)努力的目標(biāo)是相同的：那就是更快速地識別出有益于會員的體驗(yàn)。
Netflix 已經(jīng)學(xué)到了很多東西，而且通過利用經(jīng)典的在線 A/B 測試或隨機(jī)對照試驗(yàn)（這也是本系列文章關(guān)注的重點(diǎn)），幾乎產(chǎn)品的每個(gè)方面都得到了顯著改善。但并不是每一個(gè)業(yè)務(wù)問題都適合用 A/B 測試，因?yàn)橛行﹩栴}沒法在個(gè)人層面上隨機(jī)化，或者存在溢出效應(yīng)等因素可能會打破有效因果推理的關(guān)鍵假設(shè)。在這些情況下，我們往往要靠對準(zhǔn)實(shí)驗(yàn)進(jìn)行嚴(yán)格評估。所謂的準(zhǔn)實(shí)驗(yàn)，是指單元不是通過隨機(jī)過程分配到實(shí)驗(yàn)組或控制組的。但“準(zhǔn)實(shí)驗(yàn)”這個(gè)詞本身涵蓋了廣泛的實(shí)驗(yàn)設(shè)計(jì)與方法論，這些與以 Netflix 數(shù)據(jù)科學(xué)社區(qū)為代表的無數(shù)學(xué)術(shù)背景之間存在著差異。那怎么才能跨不同領(lǐng)域去綜合最佳實(shí)踐，同時(shí)擴(kuò)展我們的方法，從而讓更多的同事能夠利用準(zhǔn)實(shí)驗(yàn)?zāi)兀?/p>
我們在這一領(lǐng)域的早期成功得益于對跨業(yè)務(wù)垂直領(lǐng)域的知識分享、教育以及支撐工具的投資。由于準(zhǔn)實(shí)驗(yàn)用例跨越了 Netflix 的眾多領(lǐng)域，識別出常見模式一直是建立共享庫的強(qiáng)大驅(qū)動力。通過這些共享的庫，科學(xué)家可以對準(zhǔn)實(shí)驗(yàn)做出評估。為了支撐規(guī)模的持續(xù)擴(kuò)大，我們構(gòu)建了內(nèi)部工具，將數(shù)據(jù)檢索、設(shè)計(jì)評估、分析以及可重生成的報(bào)告結(jié)合起來，旨在為我們的科學(xué)家提供支持。
我們預(yù)計(jì)，對準(zhǔn)實(shí)驗(yàn)研究、工具與教育方面的投資會隨著時(shí)間的推移而增長。這件事情做好了，科學(xué)家及其跨職能的合作伙伴就能夠了解到更多的東西，從而為當(dāng)前和未來的 Netflix 會員帶來更多快樂。
我們把 Netflix 實(shí)驗(yàn)平臺看作是一個(gè)內(nèi)部產(chǎn)品，還配備了自己的產(chǎn)品經(jīng)理，并設(shè)計(jì)了創(chuàng)新的路線圖。我們的目標(biāo)是為配置、分配、監(jiān)控、報(bào)告、存儲和分析 A/B 測試提供一條鋪好的端到端的道路，把焦點(diǎn)放在為簡單性和測試速度而優(yōu)化的實(shí)驗(yàn)用例上面。我們的目標(biāo)是讓實(shí)驗(yàn)成為產(chǎn)品生命周期當(dāng)中一個(gè)簡單的，不可分割的一部分，讓工程師、數(shù)據(jù)科學(xué)家或產(chǎn)品經(jīng)理只需很少的努力即可創(chuàng)建、分析和執(zhí)行測試，并且只要測試所有者需要，在任何地方都可以采用自動化。
但是，如果平臺的默認(rèn)路徑對特定用例不適用，實(shí)驗(yàn)者可以利用我們的大眾化貢獻(xiàn)模式，或人員重用平臺的各個(gè)部分來構(gòu)建自己的解決方案。隨著實(shí)驗(yàn)人員對測量方法、實(shí)驗(yàn)設(shè)計(jì)以及自動化的前沿進(jìn)行創(chuàng)新，在實(shí)驗(yàn)平臺團(tuán)隊(duì)的通力合作下，這些創(chuàng)新將會被商品化，并提供給更廣泛的組織。
我們的實(shí)驗(yàn)平臺的產(chǎn)品開發(fā)有以下三個(gè)核心指導(dǎo)原則：
一般要把測試的復(fù)雜性以及微妙之處（比方說分配與方法論）從跑單個(gè)測試的過程中抽象出來，重點(diǎn)應(yīng)該放在對一系列用例或測試領(lǐng)域有意義的默認(rèn)值上。 測試執(zhí)行過程中對特定步驟的人工干預(yù)一般應(yīng)該是可選的，重點(diǎn)是測試所有者能夠把注意力集中在他們認(rèn)為可增加價(jià)值的地方，同時(shí)把其他領(lǐng)域留給自動化處理。 設(shè)計(jì)、執(zhí)行、報(bào)告、決策與學(xué)習(xí)都是實(shí)驗(yàn)生命周期的不同階段，有著不同的需求與用戶，每個(gè)階段都受益于為每種用途而專門開發(fā)的工具。Netflix 擁有濃厚的實(shí)驗(yàn)文化，我們通過A/B 測試，或科學(xué)方法的其他應(yīng)用獲得的結(jié)果，往往會為如何改進(jìn)產(chǎn)品以及給會員帶來更多樂趣的相關(guān)決策提供信息。為了支撐Netflix不斷增長的會員，以及日益復(fù)雜的業(yè)務(wù)，我們當(dāng)前和未來的實(shí)驗(yàn)規(guī)模也會不斷擴(kuò)大，所以Netflix 在文化、人員、基礎(chǔ)設(shè)施以及內(nèi)部教育方面都進(jìn)行了投資，從而暴增 A/B 測試在全公司范圍內(nèi)都能得到廣泛使用。
我們會繼續(xù)發(fā)展我們的學(xué)習(xí)與實(shí)驗(yàn)文化，為全球的 Netflix 會員帶來更多樂趣。隨著我們的會員群和業(yè)務(wù)的不斷發(fā)展，實(shí)驗(yàn)與控制體驗(yàn)之間小一點(diǎn)的差異會變得非常重要。這對于會員子群體來說也是如此：隨著會員規(guī)模的增長，我們的服務(wù)可以變得更有針對性，希望能夠?yàn)榘凑盏乩韰^(qū)域、設(shè)備類型等定義的用戶群提供好的體驗(yàn)。隨著我們業(yè)務(wù)的發(fā)展壯大，我們正在尋找可以從實(shí)驗(yàn)受益的新領(lǐng)域，能進(jìn)行更多實(shí)驗(yàn)、學(xué)到更多東西，以及加快實(shí)驗(yàn)計(jì)劃的同時(shí)讓更多同事可以進(jìn)行實(shí)驗(yàn)的方法。
但最大的機(jī)會是這個(gè)：通過實(shí)驗(yàn)的良性循環(huán)，可以為我們的會員帶來更多的快樂。
譯者：boxi。
