應答負擔和問卷長度：問卷設計得越短越好嗎？

2021-07-09 18:29

來源：澎湃新聞·澎湃號·湃客

原創(chuàng) 楊家煒、董海軍定量群學

文獻名稱

Response Burden and Questionnaire Length: Is Shorter Better? A Review and Meta-analysis

作者

Sindre Rolstad, John Adler, PhLic,Anna Rydén

來源期刊

Value in health 14, (2011)

導讀背景

應答負擔，可以理解為受訪者回答問卷時需要付出的努力，它會影響問卷的應答率、完成率和問卷的質量。有人提出，問卷的長度是應答負擔的影響因素之一。為了降低應答負擔應該縮減問卷的長度，但這方面的實證證據(jù)一直不足。因此，本文對問卷應答率與問卷長度相關的研究進行了系統(tǒng)的文獻回顧和元分析，旨在梳理、分析和討論關于應答負擔和問卷長度之間相關聯(lián)的證據(jù)。本研究初步確定了32份關于應答負擔和問卷長度之間的關聯(lián)的文獻，其中20份符合元分析的條件。其中有三項研究在評估應答負擔時通過受訪者輸入相關信息作為分析來源。元分析結果發(fā)現(xiàn)，應答率和問卷長度之間存在一般聯(lián)系，較長問卷的應答率較低，但由于同質性檢驗的P值等于0.03，所以應該謹慎看待這種關聯(lián)，因為我們無法將問卷內容的影響與問卷的長度分開。

問題的提出

關于應答負擔，現(xiàn)在還沒有一個明確的定義。只知道，問卷長度、抽樣密度、完成調查所需的認知負擔以及問卷的格式、排版和界面等因素都會影響受訪者的應答負擔。與之類似的概念還有應答者負擔、應答疲勞和主體負擔等。增加應答負擔會導致問卷的應答率降低、完成率降低和數(shù)據(jù)質量降低等情況發(fā)生。應答負擔對于某些特殊群體可能尤其成問題，例如重病患者、老年人和兒童。調查問卷的長度是應答負擔的一個強影響因素，因此，降低潛在的應答負擔成為了減少調查問卷問題數(shù)目的理由，這也直接推動了研究者開發(fā)問題最少的調查問卷。有研究甚至指出，單個問題的問卷更有利于減輕應答負擔。但是，目前仍沒有強有力的實證證據(jù)來支持“相對更短的問卷更可取”這一觀點。隨著受訪者報告結果（PROs）（例如，回憶的準確性、內容效度和使用電子報告格式的偏好）的監(jiān)管需求增加，抽樣密度（測量頻率）也可能增加。因此，需要進一步了解問卷長度和應答負擔之間是否存在關聯(lián)。

數(shù)據(jù)方法

在文獻搜索方面，本研究使用PubMed和EMBASE數(shù)據(jù)庫，篩選和確定了評估問卷長度和應答率之間關聯(lián)的原始文獻。經搜索，共產生了4861個相關研究的記錄（如表1所示）。在篩選和進一步檢查后，總共發(fā)現(xiàn)21份報告、2份元分析和19篇種子性論文符合資格標準。查閱相關參考文獻后，又增加了11篇種子性論文。文獻篩選的標準如下：（1）以英語發(fā)表在同行評審的期刊上；（3）內附調查問卷；（3）主題為健康、疾病或醫(yī)學；（4）不限制發(fā)表日期，在2011年1月10日前，即最后一次文獻搜索日前發(fā)表的均可；（5）文獻中還需有測量應答負擔的措施，無論是直接測量（通常通過受訪者輸入信息），還是間接測量（如通過評估應答率）都包括在內。但是，如果應答負擔被定義為完成問卷的時間，則該文獻被排除在外，因為這不是負擔的明確表示，而是反映了較長的問卷需要更多的時間來完成這一事實。

在統(tǒng)計分析方面，本研究主要運用了元分析、CMH分層卡方檢驗和Breslow-Day檢驗。元分析中包括的所有文獻都附有由文獻的原作者定義為較短和較長的問卷。本文作者將些關于相對長度的定義被用來將文獻分成較短問卷組和較長問卷組，并用CMH卡方檢驗分析了較短問卷和較長問卷的應答率差異，以分析應答率和問卷長度之間的關聯(lián)。所有問卷組別的CMH檢驗優(yōu)勢比（odds ratio, OR）和95%置信區(qū)間，以及OR值的Breslow-Day檢驗都將給出。所有統(tǒng)計分析均使用SAS分析軟件和R語言進行。

研究結果

首先，作者分析了先前的兩篇元分析報告。對于第一篇元分析報告，根據(jù)原作者的定義，問卷被分為較短組和較長組。但其中許多調查方法已經過時，并且涉及與醫(yī)療保健無關的話題，例如市場營銷調查。因此，這些文獻幾乎沒有適用性。當僅將主題與健康相關的文獻進行元分析時，這11項研究中有4項研究發(fā)現(xiàn)：問卷較長會導致應答率下降；而在其余7項研究中，沒有證據(jù)表明應答負擔增加。但值得注意的是，這些研究并非所有都比較了同一份問卷的不同版本，有些研究比較的是完全不同的問卷。這份元分析報告中有10項研究符合納入本次元分析的條件。在另一篇元分析報告中，調查了應答率和問卷問題數(shù)量之間的關聯(lián)。在納入的125項研究中，問題數(shù)量范圍從1到361（均值28.1；SD 51）。根據(jù)原作者的分析結果，問卷問題數(shù)量和總應答率之間的相關性很弱（r=0.29）。原作者的結論是，即使問卷較長（如15~20頁），也可以獲得較高的應答率。這份元分析報告提供了前所未有的應答率和問卷長度之間存在潛在關聯(lián)的證據(jù)。

接下來，作者結合自己搜索的文獻和先前元分析報告中符合本次元分析標準的文獻進行了元分析。本次元分析結果顯示，應答率和問卷長度之間存在一般聯(lián)系（P<0.0001）；對于較長的問卷，回復率略低。CMH檢驗的OR估值為1.14，95%置信區(qū)間為1.08–1.21。Breslow-Day檢驗的P值為0.03，表明OR值的異質性，其有效性可能會受到質疑，并且應謹慎解釋該值。因此，沒有明確的跡象表明總體應答率的差異是由于問卷之間的長度差異造成的。較短和較長問卷的頁數(shù)數(shù)據(jù)未包含在分析中，但如圖1所示。

圖1

討論

以應答率衡量的應答者負擔經常被用作開發(fā)簡短問卷和縮短現(xiàn)有問卷的理由。本文獻綜述的目的是系統(tǒng)地匯編和評估問卷長度和應答者負擔之間潛在關系的證據(jù)。總共有25項研究通過應答率間接檢驗了這種關系；其中，只有六個報告說，當進行更長時間的問卷調查時，應答率顯著降低。在我們的元分析中，當患者接受相對較短的問卷調查時，有更大的應答機會。然而，同質性檢驗的結果表明，除了問卷長度之外的因素可能也同樣重要。

1.測量方式

有些研究使用完成一份問卷的時間來作為負擔的衡量標準。但僅僅依靠時間假設完成一份問卷本身就是一種負擔，并且隨著時間的推移會產生更多的負擔，而不會對任何衡量標準進行假設檢驗。時間本身并不能說明花在調查問卷上的時間是否繁重。完成問卷的時間相對較短，甚至可以反映出參與所提問題的努力減少。因此，完成問卷的時間越長，意味著受訪者的積極性越高，負擔越輕。大多數(shù)調查受訪者負擔的研究都假設較高的回應率意味著負擔減輕。雖然這個假設是合理的，但它充其量只是一個假設，因為回復率沒有提供任何關于為什么問卷沒有被退回的信息。涉及受訪者自己輸入負擔信息的研究將有助于澄清不返回調查問卷的原因。我們的系統(tǒng)搜索發(fā)現(xiàn)，只有三項研究通過直接詢問患者他們更喜歡哪份問卷以及為什么，觸及了應答者負擔的概念。

2.測量環(huán)境

第一，問卷涉及領域的問題。本研究發(fā)現(xiàn)，受訪者完成市場營銷調查的動機將不同于評估其健康狀況時情況。通常來說，與大多數(shù)營銷研究相比，流行病學調查的主題可能與受訪者更相關。問卷研究不僅基于與應答者潛在的至關重要的相關主題，而且受訪者也可能認為返回問卷可能會影響他們的治療結果。第二，調查人群的問題。經常被提起的一點是，嚴重疾病患者、老年人、兒童和一些特殊群體的應答負擔可能更大。因此，我們需要在感興趣的人群中進行驗證，因為一些研究未能發(fā)現(xiàn)依從性和人群特征之間的任何一致關系。例如，68名預期壽命不到2個月的絕癥患者中，有51人報告說沒有與完成大量問卷調查相關的負擔。

3.數(shù)據(jù)質量

問卷縮短的一個普遍問題是有效性和可靠性降低。一般來說，只有單個問題的問卷，其心理測量屬性很差。例如，問卷問題數(shù)量的減少可能導致測量維度有限，這可能導致問卷對數(shù)據(jù)變化不敏感。

4.長度和內容的比較

比較問卷長度的一個固有問題是研究對象的相關性。在所討論的研究中，問卷頁數(shù)是最常見的衡量標準。“短”的含義從1個問題到16頁不等，而“長”可以是2到36頁。不僅不同研究之間存在差異，而且研究內部也存在差異。雖然用百分比表示的比較一頁和兩頁的研究的增量等于比較16頁和36頁的研究的增量，但在后一種情況下，完成問卷所花費的額外時間明顯更多。因此，頁數(shù)可能不是衡量完成問卷所需努力的最理想標準。此外，構成一份問卷的問題在復雜性上可能有很大差異，例如在問題選項的數(shù)量方面。當受訪者完成一份較短的問卷，其中包含復雜的選項，而不是一份較長的問卷，其中包含更直接的選項時，應答負擔可能會更明顯。另一個復雜因素是，在大多數(shù)情況下，在比較同一份問卷的兩個版本時，無法將增加的長度與增加或刪除的內容分開。同質性檢驗的重要結果證實了這一觀點。還應該指出的是，并非所有研究都比較了同一份問卷的不同版本，還有些包括不同問卷的比較。

對應答者負擔的關注大多集中在減少問卷的問題數(shù)量上，但當患者被要求完成多個問卷時，應答者負擔可能更為嚴重。例如，當研究中包括的問卷反映類似的概念時（例如回答多個涵蓋類似或相同概念的問卷時），應答負擔可能更大。與其回答相類似的較短的問卷，減少問卷之間內容的重疊可能更有利于減輕應答負擔。此外，鑒于對使用的問卷的監(jiān)管要求增加，這可能導致抽樣密度增加，導致重復評估，這可能加大使得受訪者緊張的風險。然而，關于應答負擔與重復評估之間的關聯(lián)的研究還有限，未來的研究應該調查抽樣密度和應答負擔程度之間的潛在關系。