許多用戶體驗(yàn)專家傾向于采用定性的研究方法,原因在于他們認(rèn)為:定性的研究方法要比定量的研究方法更容易操作和節(jié)約成本。其實(shí),他們忽略了與定量分析聯(lián)系緊密的大樣本量以及數(shù)據(jù)統(tǒng)計(jì)的巨大前景。 如果你也是這樣認(rèn)為的,那你也就錯(cuò)了!定量的研究方法是任何有經(jīng)驗(yàn)的UX研究人員必須掌握的重要技能。定量用戶研究的方法允許你做以下事情:
這篇文章可以讓你清楚的知道,用戶研究的第一步是:確定要使用哪種定量的研究方法。接下來(lái),我們將會(huì)給大家介紹一些當(dāng)下最流行的定量研究方法:
以上每種方法都會(huì)產(chǎn)生有價(jià)值的定量數(shù)據(jù),但是這些方法在收集的數(shù)據(jù)類型以及所需的資源和工作量方面差別很大。 一、九種定量用戶研究方法概述本文列出了這些方法最常見的示例,并對(duì)每種方法的成本和難度進(jìn)行了評(píng)估。與其它任何研究方法一樣,這些方法中的每一種都可以適用各種不同的需求。 根據(jù)具體情況,你的成本和困難可能與我們的粗略估計(jì)有所不同。此外,你應(yīng)該意識(shí)到,這些方法中的每一種都需要不同的最小樣本量來(lái)確定統(tǒng)計(jì)的意義。 1.定量可用性測(cè)試(基本測(cè)試):
盡管不常用,但是,定量可用性測(cè)試(有時(shí)也稱為可用性基準(zhǔn)測(cè)試)與定性可用性測(cè)試其實(shí)非常相似:兩種方法都要求用戶使用產(chǎn)品去執(zhí)行實(shí)際的任務(wù)。兩者的主要區(qū)別在于:定性可用性測(cè)試優(yōu)先考慮如何觀察用戶行為,比如,識(shí)別可用性問(wèn)題。相比之下,定量可用性測(cè)試的重點(diǎn)則是收集數(shù)據(jù)指標(biāo),比如任務(wù)時(shí)間或者成功率。 一旦你收集了相對(duì)較大的樣本量(大約35個(gè)或者更多),你就可以使用它們來(lái)跟蹤產(chǎn)品的可用性,或者將其與競(jìng)爭(zhēng)對(duì)手產(chǎn)品的可用性進(jìn)行比較。 如果在產(chǎn)品的迭代過(guò)程中,你一直追蹤著一些產(chǎn)品的可用性指標(biāo),那么你就可以創(chuàng)建一張類似這樣的趨勢(shì)圖。這種類型的信息可以幫助你持續(xù)關(guān)注產(chǎn)品的用戶體驗(yàn),并確保它隨著時(shí)間的推移而逐步改進(jìn)。 你所選擇的可用性測(cè)試的類型(現(xiàn)場(chǎng)測(cè)試、遠(yuǎn)程引導(dǎo)測(cè)試或遠(yuǎn)程無(wú)引導(dǎo)測(cè)試)將對(duì)成本產(chǎn)生影響,并且難以與此方法相關(guān)聯(lián)。由于定量和定性可用性研究的目標(biāo)不同,測(cè)試的結(jié)構(gòu)和進(jìn)行的任務(wù)也需要有所不同。 2.網(wǎng)站分析(或者APP分析):
分析數(shù)據(jù),描述了用戶使用線上產(chǎn)品的各種操作行為,比如,他們?nèi)チ四睦?,點(diǎn)擊了什么,使用了什么功能,他們從哪里來(lái)以及到哪里去。這些信息可以幫助你做各種各樣的用戶體驗(yàn)活動(dòng)。特別是,它可以幫助你監(jiān)測(cè)各種內(nèi)容、UI或產(chǎn)品功能,并識(shí)別哪些不能正常運(yùn)行。 3.A/B測(cè)試或者多變量測(cè)試:
雖然,你可以使用分析指標(biāo)來(lái)監(jiān)控產(chǎn)品的性能(如上所述),但你也可以創(chuàng)建一些實(shí)驗(yàn),來(lái)檢測(cè)不同的UI設(shè)計(jì),然后,通過(guò)A/B測(cè)試或多變量測(cè)試來(lái)改變這些指標(biāo)。 在A/B測(cè)試中,團(tuán)隊(duì)需要?jiǎng)?chuàng)建同一界面的兩個(gè)不同的最新版本,然后將每個(gè)版本展示給不同的用戶,用來(lái)確定哪個(gè)版本的性能更好。 例如,你可以創(chuàng)建同一個(gè)操作按鈕標(biāo)簽的兩個(gè)版本:“獲得定價(jià)”或“學(xué)習(xí)更多”。然后,你就可以跟蹤統(tǒng)計(jì)兩個(gè)版本中按鈕的點(diǎn)擊次數(shù)。多變量測(cè)試的操作方式也是類似的,但是,它與A/B測(cè)試不同的是:多變量測(cè)試需要同時(shí)測(cè)試多個(gè)不同的設(shè)計(jì)元素(例如,測(cè)試可能涉及不同的按鈕標(biāo)簽、排版和頁(yè)面上的位置)。 這兩個(gè)基于分析的實(shí)驗(yàn),對(duì)于決定同一個(gè)設(shè)計(jì)的不同變體非常有用,并且可以結(jié)束團(tuán)隊(duì)關(guān)于哪個(gè)版本最好的爭(zhēng)論。 A/B測(cè)試是將網(wǎng)站流量(用戶)拆分為兩部分:一部分導(dǎo)入到A方案,另一部分則導(dǎo)入到B方案。 這種方法的一個(gè)主要缺點(diǎn)是:它經(jīng)常會(huì)被濫用。有些團(tuán)隊(duì)沒有盡可能長(zhǎng)時(shí)間地運(yùn)行測(cè)試,收集不到足夠的樣本,就匆忙的下了結(jié)論,這樣的結(jié)論往往失敗的風(fēng)險(xiǎn)很大。 4.卡片分類法:
在卡片分類研究中,參與者會(huì)拿到一些內(nèi)容項(xiàng)(有時(shí)是寫在索引卡上的),并要求以一種對(duì)他們有意義的方式對(duì)這些項(xiàng)目進(jìn)行分組和標(biāo)注。這個(gè)測(cè)試既可以親自進(jìn)行,也可以使用物理卡片或者使用類似于OptimalSort這樣的卡片排序平臺(tái)進(jìn)行遠(yuǎn)程測(cè)試。 當(dāng)卡片排序測(cè)試是親自進(jìn)行時(shí),用戶對(duì)物理卡片進(jìn)行排序和分類,每張卡片都包含了它所代表的內(nèi)容的描述。 這個(gè)方法可以讓你有機(jī)會(huì)了解用戶的心理模型。他們使用什么術(shù)語(yǔ)?他們是如何將這些概念組合在一起的? 對(duì)創(chuàng)建類似分組的參與者的百分比進(jìn)行定量分析,可以幫助確定哪種分類方法對(duì)大多數(shù)用戶來(lái)說(shuō)是可以理解的。 5.樹狀測(cè)試:
在樹狀測(cè)試中,會(huì)讓參與者嘗試使用網(wǎng)站的分類結(jié)構(gòu)來(lái)完成任務(wù)。這種方法本質(zhì)上是一種評(píng)估界面信息架構(gòu)的方法,通過(guò)這種方法可以將界面上的其它信息區(qū)分開來(lái)。 例如,假設(shè)你的產(chǎn)品是一個(gè)寵物用品網(wǎng)站,而這是它頂層的層次結(jié)構(gòu)。 網(wǎng)站信息層次結(jié)構(gòu)的顯示可能看起來(lái)是這樣的,樹狀測(cè)試要求參與者在這樣的層次結(jié)構(gòu)中找到一個(gè)特定的條目(例如,項(xiàng)圈),他們首先看到的只是頂層的分類(例如,狗狗、貓咪、小鳥等)。一旦他們做出一個(gè)選擇(例如,狗狗),就會(huì)看到自己選擇相應(yīng)選項(xiàng)的子類別。 你可以要求你的參與者在一個(gè)任務(wù)中找到狗項(xiàng)圈。對(duì)樹狀測(cè)試結(jié)果的定量分析將顯示人們是否能夠在信息層次結(jié)構(gòu)中找到該項(xiàng)的正確路徑,以及可以確定有多少參與者選擇了錯(cuò)誤的類別。 這種方法有助于確定界面信息架構(gòu)的結(jié)構(gòu)、文案以及放置的位置是否符合用戶的心理預(yù)期。 6.調(diào)研或者問(wèn)卷調(diào)查:
問(wèn)卷調(diào)查是一種靈活的用戶研究工具。你可以在不同的環(huán)境中進(jìn)行測(cè)試,比如,在一個(gè)實(shí)時(shí)網(wǎng)站、電子郵件或可用性測(cè)試之后進(jìn)行簡(jiǎn)短的攔截調(diào)查。 調(diào)研時(shí)可以同時(shí)獲得定量和定性的數(shù)據(jù),比如評(píng)分、多項(xiàng)選擇題中的答案的比例,再加上開放式問(wèn)題的答案。你甚至可以把對(duì)調(diào)查的定性回答轉(zhuǎn)化為數(shù)字?jǐn)?shù)據(jù)(參見下面的代碼質(zhì)量評(píng)論部分)。 像這樣的語(yǔ)義差別等級(jí)量表,每個(gè)單選按鈕代表一個(gè)數(shù)值。被調(diào)研的用戶可以選擇:1.容易使用;5.難以使用;或選擇介于兩者之間的選項(xiàng)。對(duì)這個(gè)問(wèn)題的平均回答來(lái)衡量你的應(yīng)用程序在使用上的難易程度。 你可以創(chuàng)建自己的自定義問(wèn)卷,也可以使用其它已經(jīng)建好的問(wèn)卷模版(例如,系統(tǒng)可用性量表或網(wǎng)絡(luò)推廣者評(píng)分)。 問(wèn)卷的一個(gè)優(yōu)點(diǎn)是:可以經(jīng)常將你的調(diào)研結(jié)果與行業(yè)或競(jìng)爭(zhēng)者的分?jǐn)?shù)進(jìn)行比較,看看你做得怎么樣。即使你創(chuàng)建了自己的自定義問(wèn)卷,也可以隨時(shí)間的推移對(duì)自己產(chǎn)品平均分?jǐn)?shù)進(jìn)行追蹤,來(lái)監(jiān)控產(chǎn)品的改進(jìn)情況。 7.聚類定性評(píng)價(jià):
這種技術(shù)不是數(shù)據(jù)收集的方法,而是定性數(shù)據(jù)的分析方法,它包括根據(jù)共同主題對(duì)定性研究(例如日記研究、調(diào)查、焦點(diǎn)小組或訪談)的觀察結(jié)果進(jìn)行分組。如果你進(jìn)行了大量的觀察,你就可以計(jì)算出一個(gè)特定主題被提及的實(shí)際數(shù)量。 例如,假設(shè)你做了一個(gè)日記本研究,讓參與者在他們的日常生活中,每周都要報(bào)告他們使用產(chǎn)品的時(shí)間,目的是理解他們使用產(chǎn)品的背景,你可以算一下用戶在工作、家中或外出的時(shí)候使用產(chǎn)品的比例。 這種方法可以識(shí)別特定主題或情況的流行程度或頻率,例如,用戶抱怨的頻率或UI問(wèn)題。 這種方法可以很好地從大量的定性信息中挖掘數(shù)值數(shù)據(jù),但它可能耗時(shí)會(huì)非常長(zhǎng)。 8.滿意度調(diào)研:
定量可用性測(cè)試試圖使用量化的方式來(lái)衡量產(chǎn)品的質(zhì)量,比如:審美情趣、品牌實(shí)力、語(yǔ)氣等。這些研究可以根據(jù)你的研究問(wèn)題進(jìn)行定制,但這些方法通常會(huì)首先讓參與者接觸到產(chǎn)品(通過(guò)向他們展示靜態(tài)圖片或者要求他們使用現(xiàn)場(chǎng)產(chǎn)品或原型)。然后,要求用戶通過(guò)從描述性的詞語(yǔ)列表中選擇一個(gè)來(lái)描述當(dāng)前設(shè)計(jì)。 如果你獲取自身目標(biāo)用戶的樣本量足夠大,那么整體趨勢(shì)就會(huì)顯示出來(lái)。例如,你可能會(huì)有84%的受訪者將此設(shè)計(jì)描述為“最新”。 9.眼動(dòng)研究:
眼球追蹤研究需要特殊設(shè)備來(lái)追蹤用戶的眼睛注意力軌跡,因?yàn)樗麄冊(cè)诮缑骈g移動(dòng)。當(dāng)許多參與者(30個(gè)或更多)在同一個(gè)界面上執(zhí)行相同的任務(wù)時(shí),有意義的趨勢(shì)就會(huì)出現(xiàn),你可以清楚地看出頁(yè)面的哪些元素會(huì)吸引用戶的注意力。 眼動(dòng)跟蹤可以幫助你確定哪些界面和內(nèi)容元素需要強(qiáng)調(diào)或者弱化,從而使用戶能夠輕松的實(shí)現(xiàn)他們的目標(biāo)。 眼球追蹤軟件可以使用聚合的凝視數(shù)據(jù)(用戶在這里查看界面,用綠點(diǎn)表示)來(lái)創(chuàng)建各種可視化效果。 進(jìn)行眼球追蹤研究的一個(gè)主要障礙是高度專業(yè)化、價(jià)格昂貴和不穩(wěn)定的設(shè)備,這些設(shè)備需要大量的培訓(xùn)才能使用。 二、選擇一種方法(九種方法概況表)上表提供了上面討論的研究方法的概況。 三、從你的研究問(wèn)題開始1.當(dāng)你要確定使用哪種定量研究的方法時(shí):首先,你得先確定你要研究的問(wèn)題:你想知道什么?以上方法中有一些非常適合一般性的研究問(wèn)題。例如:
對(duì)于這些類型的問(wèn)題,你可能需要使用:定量的可用性測(cè)試、web分析或調(diào)查問(wèn)卷。 2.當(dāng)你有一個(gè)想要回答的具體問(wèn)題時(shí):以上方法中也會(huì)有好的方法來(lái)研究以下這些問(wèn)題。例如:
對(duì)于這些研究問(wèn)題,你可能需要使用:A/B測(cè)試,卡片分類,樹狀測(cè)試,編碼定性評(píng)論法,滿意度調(diào)研,或眼球追蹤。 然而,在這些建議的方法中有一些不可控的因素。例如,由于安全或者技術(shù)原因,你的公司可能不會(huì)選擇A/B測(cè)試的方法。如果是這樣的話,你能做的就是發(fā)起一個(gè)面對(duì)面的可用性研究來(lái)對(duì)比兩個(gè)原型。 然而,這并不是定量可用性測(cè)試的典型應(yīng)用,所以我在這里就不討論它了。 四、考慮研究成本在研究問(wèn)題之后,選擇研究方法的第二大影響因素是成本。這些方法在成本上的差異很大程度上取決于你如何實(shí)現(xiàn)該研究。你使用的工具,要求的參與者數(shù)量,以及研究人員花費(fèi)的時(shí)間都將影響最終的成本。 更復(fù)雜的是,許多團(tuán)隊(duì)的研究預(yù)算也有很大差異。再者,這里的成本估計(jì)是相對(duì)的。 預(yù)算相對(duì)較低的團(tuán)隊(duì)可能需要依靠數(shù)據(jù)收集分析的方法,比如,使用遠(yuǎn)程可用性測(cè)試、在線卡片排序平臺(tái)(如OptimalSort)、A/B測(cè)試以及網(wǎng)站分析(或APP分析)的方法。根據(jù)經(jīng)驗(yàn),面對(duì)面的方法(比如面對(duì)面的可用性測(cè)試,面對(duì)面的卡片排序)往往成本比較高,因?yàn)樗鼈冃枰芏嗟难芯咳藛T和時(shí)間成本。此外,他們還要求外出和租賃專業(yè)設(shè)備。 眼動(dòng)測(cè)試應(yīng)該是這里列出的最昂貴的方法了,只有那些擁有大量預(yù)算和專門的用研團(tuán)隊(duì)才會(huì)使用它。 這張圖顯示了本文中討論的定量研究方法的位置,即它們適合于研究問(wèn)題(一般到特定)的不同維度級(jí)別。 五、總結(jié)一旦你選擇了一個(gè)方法,就要去了解和學(xué)習(xí)!結(jié)束之后,確保你能夠按照你想要的方式和計(jì)劃進(jìn)行研究,并保證能得到對(duì)自身有用的結(jié)果。 要注意的是:你不能只收集數(shù)據(jù)指標(biāo),不做任何統(tǒng)計(jì)分析就開始做決定。僅僅收集5個(gè)用戶的評(píng)級(jí)響應(yīng)是不夠的,要取一個(gè)平均值,然后再繼續(xù)。 對(duì)于這里討論的每種方法,都有不同的建議最小樣本量。為了獲得可靠的數(shù)據(jù)和確定統(tǒng)計(jì)的意義,你可能需要收集數(shù)據(jù)點(diǎn)的數(shù)量需要達(dá)到最小樣本量才行。如果不這樣做,就不能保證你的發(fā)現(xiàn)或者結(jié)論是正確的。 不管你使用哪種方法,一定要把握好需要你研究相關(guān)統(tǒng)計(jì)學(xué)概念的時(shí)間,以及獲取正確的最小樣本量的成本。你要相信,這并不像表面看起來(lái)那么困難,而你最終獲取的定量數(shù)據(jù)一定是有價(jià)值的。 原文作者:Kate Meyer |
|
來(lái)自: evenho > 《用戶研究-心理/社會(huì)》