如何訂定指標?運用 GSM 方法與 HEART 框架,選擇有意義的指標
大綱
- 什麼是指標?
- 如何訂定指標?
什麼是指標?
無論在產品企劃、結案報告或工作經驗上,常可見兩種類型的描述:結果(outcome)與成果(achievement)。結果說明的是做了什麼,成果說明的是做得如何。
指標是用「數字」衡量「成果」的方式。
這兩者之間的關鍵差異在於「指標」,指標提供我們評價基準,知道自己是否有進步,且進步了多少。
舉例|Product-Market Fit 指標-Sean Ellis Test
在推行一個新產品/服務到市場時,尤其在準備擴大規模之前,我們需要一個數字作為衡量產品/服務的標準,讓我們知道這個新產品/服務是否真的滿足市場的需求。這個衡量的目標就是 Product-Market Fit(PMF),最早由 Marc Andreessen 所提出。
Product-market fit means being in a good market with a product that can satisfy that market.
− Marc Andreessen
一個常用來衡量 PMF 的指摽是 Sean Ellis Test,Sean Ellis 對用戶提出一個關鍵的問題:
如果世界上突然沒有【產品/服務名稱】了,你會覺得:
😭 非常失望
🥺 有一點失望
😶 沒什麼感覺
😅 我已經沒有在使用【產品/服務名稱】
根據 Sean Ellis 的經驗及建議,如果有40%以上的用戶回答非常失望,那麼恭喜你,這表示你的產品/服務找到 PMF 了!
不過,Sean Ellis 也提到,他認為這項測試至少需要30份填答,100+份填答所得出的結果是比較有信心的,另外也必須確保填答的用戶是否真的體驗過這項產品(例如是否體驗過核心功能、體驗過幾次等)。
無論如何,這項測試的重點在於找到渴求這項產品/服務存在(must-have)的用戶,進而達到 PMF。關於 Sean Ellis Test 的細節,推薦閱讀 Sean Ellis 寫的這篇文章。🙂
如何訂定指標?
在團隊合作中,訂定指標是一項關鍵的工作,因為在訂定出指標前,團隊成員對於「成功」的產品/服務/專案必須有一致的認知。基於對目標的共識,團隊成員提出自己的看法,討論出有意義的指標,不斷觀察、迭代,才可能離成功更靠近。
如何訂定指標呢?我想分享的是 Google 團隊採取的方法及框架:
- Goals-Signals-Metrics Process
- The HEART Framework
Goals-Signals-Metrics Process(GSM)
Goals 目標
如果直接開始發想指標,往往會落入極為發散的窘境,我們並不想得到一堆指標而毫無頭緒!因此,我們可以從確立目標開始,再選擇可以幫助我們達成目標、評估階段性成果的指標。
作法:放遠一點看,思考我們想協助用戶什麼?我們想要解決什麼樣的問題?
的確,釐清目標並非易事,而這就是框架(framework)可以幫助我們思考的地方,稍後我們會提到 HEART 這個思考框架,現在且讓我們看下一個步驟。
Signals 信號/跡象
確立目標後,我們可以思考的是,當任務成功或失敗時,用戶在行為上或態度上會有哪些差異?這些差異就是提醒我們離成功更近或更遠的信號。
舉例來說,假設我們的目標是優化 YouTube 的使用介面,提升 YouTube 用戶的參與度,那麼,用戶在使用新版的介面時,將會:
a. 用戶看了更多支 YouTube 影片
b. 用戶花更多時間使用 YouTube
c. 用戶儲存、建立更多播放清單
⋯⋯
從上述可見,達成目標後所產生的改變可能很多,因此,在我們發想並收斂出可能的信號後,仍需要做些研究或分析,來選擇出至關重要的信號。常見的問題包括:
- 這個信號容易追蹤嗎?我們的產品/服務能夠保留足夠的軌跡(log)作為判斷嗎?
- 這個信號足夠敏銳嗎?當我們的產品/服務設計改動後,這個信號是否會呈現出明顯的差異?
Metrics 指標
當我們找到達成目標時的關鍵信號後,下一步就是將信號量化,制定出指標。以上一個段落的例子來說,產品使用時長就是一項指標,我們可以在新介面上線後,觀測每週用戶使用 YouTube 的時長是否成長。
a. 用戶看了更多支 YouTube 影片 → 影片觀看數量
b. 用戶花更多時間使用 YouTube → 產品使用時長
c. 用戶儲存、建立更多播放清單 → 影片儲存數量
The HEART Framework
面對較宏大、抽象或複雜的目標,像是「提升用戶體驗」,我們需要拆解成較小、較具體的目標來一一擊破,也助於合作上溝通。
在釐清用戶體驗的目標及指標時,Google 團隊發現,他們經常討論的目標可歸納為五個面向,且適用於廣泛多樣的產品/服務,因此他們將這五大面向統整起來,取字首縮寫稱為 HEART 框架。
- Happiness:評估用戶對於產品/服務的態度及觀感,通常藉由問卷調查取得。例如:滿意度、易用度、NPS(淨推薦分數)等。
- Engagement:用戶對於產品/服務的參與程度,常見的評估標準包含產品/服務的使用頻率、密度、深度等。例如:用戶每週造訪幾次、用戶每天上傳幾張照片等。
- Adoption:採用這項產品/服務/功能的新用戶,常稱為用戶採用率。例如:最近7天創建會員的用戶數、使用標籤功能的Gmail用戶比例。
- Retention:既有用戶的留存或回訪比例,反過來說就是用戶流失率。例如:一段時間後,多少既有用戶仍在使用產品。
- Task success:一些傳統的易用性指標都在此類,例如:效率(完成一項任務需多少時間)、效能(達成多少比例的任務)、錯誤率/容錯率(任務過程中發生錯誤的比例)。當產品/服務非常任務導向時(例如搜尋或上傳),這個象限便非常適用。
針對不同類型的產品/服務,重視的面向可能不同。舉例來說,用戶參與度(engagement)對B2B的企業產品來說可能並不重要,因為用戶基於工作需要,天天都會使用產品;在這樣的情況下,觀察用戶對於產品的態度(happiness)或產品易用性(task success)可能更具價值,因為這可能是用戶選擇是否使用產品而非競品的關鍵。
GSM × HEART
結合 GSM 及 HEART(或任何其他框架),我們可以畫出如下表格,幫助團隊更有效率地發想並收斂出關鍵指標!
領先指標與落後指標
選定指標時,必須留意信號發生的因果關係或先後順序,顧名思義,較敏銳、先顯現的指標為領先指標,耗時長、晚出現的指標為落後指標。
一般而言,領先指標常作為示警,用來追查問題的發生;另外,有時候我們非常努力,卻看不見任何具體成果,問題有可能出在指標的選擇-我們可能選到落後指標,以至於努力無法在短時間內顯現,因此,選對指標,有時比埋頭努力更重要呢!
參考資料
- Marc Andreessen
The only thing that matters(Pmarchive, 2007) - Sean Ellis
Using Product/Market Fit to Drive Sustainable Growth(Medium, 2019) - Methodology — Success Metrics & Signals(Google, Design Sprint Kit)
- Kerry Rodden
How to choose the right UX metrics for your product(Medium, 2015)
喜歡這篇文章嗎?歡迎給予讚賞及支持,或在下方留言,讓我知道你對這篇文章的想法!🙂