文獻處理實驗室 專案計畫

行政院國家科學委員會研究計畫案 1999年12月

系統評估規範之建置

System Evaluation of Digital Museums

Page 3 of 5

參、結果與討論

本研究旨在建立系統評估之規範,除探究系統評估準則之建置及評估流程與方法之理論外,更以「淡水河溯源系統」為評估對象,依使用者觀點進行評估之實證研究,並且在探討系統評估準則、系統評估流程與方法以及說明使用者評鑑研究之後,進一步探討系統評估機制的建立,作為其他系統與評估研究之參考,具體內容說明如下:

(一)評估準則

本研究評估準則之建置程序可分為三個步驟:文獻調查、本土調查、評估準則查核表。研究者先以文獻分析的方式調查國內外系統評估之相關研究,其次進行本土調查,了解系統設計者、中介者、使用者等不同族群對系統評估的看法,最末則綜合前兩大部分,產生評估準則查核表。

文獻調查之範圍包括搜尋引擎之評估準則、網站品質之評估準則、資訊檢索系統之評估準則、數位圖書館之評估準則等,研究者先分析國內外重要之評估研究內容後,最後再綜合文獻調查之所得彙整出一套評估準則。

除了文獻調查外,本計畫尚以開放式問卷及訪談方式調查系統設計者、中介者、使用者等三大族群對系統評估準則的看法。研究過程中,共有11位系統設計者、40位系統中介者以及4位系統使用者填答問卷與接受訪問。調查結果發現系統設計者與中介者在瀏覽系統網站時皆著重於系統內容、美工設計、使用性、搜尋及檢索功能等;對系統基本功能的看法則是同時兼顧使用者與設計者的角度;至於評鑑準則的部份,則包括系統介面、資源分類架構、美工設計、新穎性、檢索功能、輔助說明、資訊內容、互動性、連結性、整體設計、網站管理資訊、回應時間等。

至於使用者族群的部份,雖然本土調查中僅只4人接受訪問,樣本數相當有限,但由於本計畫強調以使用者觀點為導向,研究者將特別針對使用者族群進行研究,所以在本土調查的部份並不重複分析使用者對系統的看法,而將此作為使用者研究與評估部份的參考。

(二)評估方法

系統評估之設計主要包含六項要素:

  1. 評估目的:即該項評估計畫最重要之目的為何?

  2. 相關人士:影響系統發展計畫及其評估的相關人士有誰?

  3. 生命週期:適用於系統計劃不同階段的評估活動有哪些?系統在不同的發展階段應使用哪些評估方式?

  4. 評估功效:評估計畫如何整合於系統發展計劃之中?

  5. 使用者:使用者如何被納入評估中?

  6. 方法與技巧:欲提出哪些類型的評估問題?有那些評估方法較適當?

一個完善的系統評估研究在評估方法的設計上應質量兼具,研究者必須在評估之前謹慎考慮選擇欲調查的使用族群、抽樣方式以及使用的方法和技巧。在系統評估的研究設計之中,主要的評估方法與技術有下列五項:

  1. 調查法:最適於用來瞭解使用者的觀點與態度,主要技術包括訪談與問卷。

  2. 實地觀察研究:在自然情境中觀察自然發生的事件。主要技術包括在實際場景從事參與式觀察,或於精心設計的測試場景中從事行為的實驗觀察。

  3. 焦點團體法:在計畫發展的不同階段中,自母體中取樣,針對一組重點議題與相關的經驗來討論。特別適合於系統初期設計階段採用。

  4. 追蹤與監控技術:包括使用者及設計者的日誌,及電腦使用記錄,可由電腦追蹤使用者的使用模式。

  5. 其他評估技術包括:大聲思考法、言談分析及關鍵事件分析法。

(三)評估機制

系統評估可依主題計畫之發展階段與評估之目的分為「需求評估」、「形成性評估」與「總結性評估」。在評估計畫一開始時,系統應做初步調查,調查使用者需求並進行分析;而在雛形系統的建置過程中,系統管理者應進行形成性的評估,了解系統目前的問題、優缺點,作為往後持續改進的參考。一旦系統開發完成後,系統所進行的則是更全面的總結性評估。

一般的系統發展程序可分成初步調查、系統分析、系統設計、系統發展、系統設置和評估。根據不同的發展階段,系統管理者應採用不同的評估方式:在系統開發的初步調查階段,系統建置者必須了解使用者的需求,並據此進行系統分析與系統設計;待系統規劃完成且發展出一套雛形系統後,系統便應著手進行形成性評估,並隨時注意持續評估的重要性,換句話說,形成性評估不應只是在雛形系統完成後所進行的一次評估,而是在系統不斷發展與繼續更新的過程中持續進行的評估活動;至於總結性評估,則是一旦系統開發完成後,評估者所進行全面性的完整評估研究。


Page 3 of 5
上一頁

回目錄

下一頁

文獻處理實驗室