2009年5月22日 星期五

[課堂心得]5/20研究方法-實驗法(唐牧群教授)

tang_150
因為事發突然...當天沒有拍照
呃...就去自家網站抓了張去年國際研討會的照片
我想這是本週最合適的照片吧XD
本來想說研究方法的主題課程已經全部結束,就不打算寫日誌了
不過在唐老師精彩的講授課程今晚有許多收穫,因此就一起跟大家分享^^

-------------------------------------------------------------------------------
帥氣、會打球、個性好又聰明的唐牧群老師今天受珊如老師之邀
特地在星期三晚上留下來在編目室與大家說明「實驗法以及他的介面評估研究
不過實在是時間有限,唐老師只挑重點講
因我就根據我所能理解的部分記錄!!
首先就是解釋「實驗法」在各種使用者研究中的定位(如下圖)
由此可得知實驗法是兼具控制性、量化性的研究!
user study
接著談到「測量」的意義,簡單的說,大家都知道世界萬物的一切是充滿著未知
但是實驗研究就是要將這些未知數、不確定性降到最低,這樣才能進一步解釋與推論現象與事實
因此在討論測量時,就會不離以下三個範疇
  1. 錯誤(Error)
  2. 信、效度(很熟了吧)
  3. 量化性:相關變數的強弱
不過即使如此,我們還是不可能完全得到「真正答案(True Score)」
因為每一個事情的發生原因都夾雜了無止盡的雜訊(noise)
讓我們不容易補捉到我們想知道的事,我們只能盡可能將其排除
因此「實驗法」,就是在此背景下誕生,他就是為了「建立因果關係」而存在的
不過並不是在我們營造、控制了實驗環境後,結果推論的因果就能成立
從下圖就可以看出來,許多原因都可造成觀察到的結果,因此我們所預設的的「變數」
可能只是形成最後結果的「共變數」之一而已!共變不代表有因果關係!!
clip_image001
這樣一來,我們豈不是很難做實驗?但其實自然界本來就充滿著莫可奈何的隨機與意外事件
因此我們可以接受「隨機的錯誤」!所以決定變數、研究環境時,我們盡可能保持「隨機指派
然而實際生活中,有時連隨機指派都會很困難,則無法必須納入一些人為設定的因子
這裡可以判斷「實驗法」有無隨機指派的過程來區分為兩種
  • 古典實驗法:具有隨機指派
  • 準實驗:沒有隨機指派
一旦沒有隨機指派時,就會可能存在「系統性的偏誤(systematic error/bias)
這是研究者要盡可能避免的,將這些由人為設計的因子存在一些規律或意義時
那這個研究結果可能就會大打折扣!!
後半部唐老師則介紹他目前進行的兩個醫學資料庫介面的評估
「MAP」與「Baseline」兩個的內容是一樣的,只是介面與功能不同
老師分享了一些概念如下
  • 這是一個介面評估,與TREC不同不會計算Recall、Prcision
  • 取樣方面,除了張貼海報外還是需要動用一些私人關係XD
  • 為了避免一些使用者的學習行為、轉移行為(order effect),採取拉丁方陣的設計
  • 介面評估的要素影響: result = (Task, User, System)+ error
    其中Task影響力往往最大,因此研究者要盡可能降低此因子!
經過唐老師兩個多小時的講解,我對實驗法之前的概念有許多釐清
原以為實驗法只是控制一個變數的小規模研究
沒想到其中的奧妙是如此的精細!!!今天確實受益良多呀
------------------------------------研究方法全劇終-------------------------------------

沒有留言: