인지심리 매니아

Posted by 인지심리 매니아

애 플의 아이패드는 심플하면서도 아름다운 디자인이 특징이다. UI 역시 깔끔하면서 아름답다. 우리는 지금 아이패드의 아름다운 매력에 푹 빠져 있다. 하지만, 단순히 아름답기만 한 것은 아니다. 아이패드는 사용하기에도 편리하다. 책장을 넘길 때나 앱을 사용할 때, 문서를 작성하거나 그림을 그릴 때, 사용하기 편하다는 느낌을 계속 받게 된다. 애플은 아름다움과 사용성이라는 두 마리 토끼를 다 잡은 것 같다.

그 런데 한 가지 궁금한 게 있다. '아름다움'이라는 속성은 '사용성'이라는 속성에 영향을 미칠까? 어떤 제품이 아름답게 보이기 때문에 사용하기에도 편리하다는 인상을 받게 되는 걸까? 어쩌면 우리는 아이패드의 아름다움에 홀려서 그 제품이 사용하기 편리하다고 착각하는지도 모른다.

보기 좋은 떡은 먹기에도 좋은 것일까?

실험

Hassenzahl 은 그의 2004년 논문에서 'Beauty', 'Goodness', 'Usability'의 관계를 알아보고자 했다. 기존 연구는 아름다움과 사용성이 서로 관련있다는 입장이었다. 하지만 연구자는 조금 다른 생각을 해봤다. 아름다움은 사용성과 다른 개념이라는 것이다. 

연 구자는 기존 연구에서 제품이 가지는 속성을 hedonic/pragmatic quality로 구분지었다. hedonic attribution의 경우 다시 Identification(다른 사람들에게 자신을 표현하는 수단), Stimulation(지적인 자극이나 창의성)으로 나눌 수 있다. 반면 pragmatic quality는 목표를 성취하기 위해서 제품이 얼마나 유용하게 쓰일수 있는지를 의미한다.

연 구자는 첫번째 실험을 통해 아름다움이 Identification, Stimulation, Pragmatic quality(PQ)와 어떤 관계인지 알아보기로 했다. 우리는 세 가지 결과를 예상해 볼 수 있다. 먼저, Pragmatic quality와 상관있는 경우를 생각해 볼 수 있다. 또는, 단순히 hedonic attribution과 상관있을 수도 있다. 그것도 아니라면, hedonic/pragmatic quality와 모두 상관있을 수도 있다. 첫번째와 세번째의 경우가 발견된다면, 아름다움은 사용성과 관련이 있다고 결론내릴 수 있을 것이다

Study 1

절차

연 구자는 MP3 플레이어의 스킨을 실험자극으로 선정했다. 19명의 참가자가 여러개의 스킨을 본 다음 ugly~meauty를 7점 척도로 평정했다. 연구자는 그 중 가장 낮은 점수를 받은 스킨 2개, 가장 높은 점수를 받은 스킨 2개를 실험자극으로 선정했다.

연 구자는 본 실험에서 참가자 집단을 둘로 나눈 다음, 각 집단에게 위에서 고른 스킨 4개를 차례대로 보여줬다. 그리고 나눠준 설문지(AttracDiff 2라는 이름의 이 설문지는 hedonic quality stimulation(HQS), hedonic quality identification(HQI), pragmatic quality(PQ)를 묻는 문항으로 이루어져 있다)를 작성하게 한다. 첫번째 집단과 두번째 집단의 차이점은 스킨의 제시 순서가 달라진다는 점이다.

결과

조작점검

ANOVA 분석 결과 skin의 주효과가 나타났다. F(3, 96) = 36.80.  파일럿 테스트에서 참가자들이 아름답다고 했던 스킨은 실험1의 참가자 역시 아름답다고 평가했다.

Attribute group

그 다음 연구자는 각 스킨 별로 HQI, HQS, PQ가 어떻게 달라지는지 알아보고자 했다. 우선, 미적으로 낮은 평가를 받은 스킨끼리 분석을 해 보고, 높은 평가를 받은 스킨끼리 분석을 해 봤다.

(네모: PQ,

세모: HQS

검정 세모:HQI)

그 림을 보면 알 수 있지만, Ugly/Beautiful 조건의 스킨 간에도 HQS나 PQ의 차이가 심하게 난다. ugly 조건이라도 어떤 경우는 PQ나 HQS 점수가 높게 나오는가 하면. beauty 조건에서도 두 점수가 낮은 경우가 있다. Ugly와 Beauty를 명확하게 구분해주는 점수는 HQI밖에 없다. HQI의 경우 ugly 조건에서는 낮게, beauty 조건에서는 높게 나타났다. difference = 1.40, t(32) = 10.07,p < .01 (Bonferroni-corrected). 결국 아름다움을 가장 잘 대변하는 점수는 HQI라고 할 수 있겠다.

회귀분석 결과는 이 관계를 더욱 분명하게 보여준다. Beauty를 잘 예측하는 요인은 HQI가 유일했다. β=0.74, t=11.34, p<.001.

연구자는 beauty와 goodness가 같은 개념인지 알아보기로 했다. 둘 간의 상관분석 결과는 r=0.54였다. 또 beauty가 HQI와 관련있는 반면, goodness는 HQI, PQ와 모두 관련있는 것으로 나타났다. 

종 합해보면, 아름다움은 identification과 관련이 있고 goodness는 identification, pragmatic quality와 관련이 있다는 것이다. 즉, 사용성이라는 측면은 아름다움보다 '좋음'과 관련있는 것 같다. 이 결과는 사용성과 아름다움이 서로 연결되어 있다는 기존 연구결과와 상반되는 것이다.

Study2

그럼, 반대의 경우를 생각해 볼 수도 있을까? 즉, 제품을 사용해 보고 사용성을 높이 평가했다면, 그 제품이 아름답다고 생각할 수도 있을까? 사용자가 mp3를 직접 사용해 본 후라면, 스킨에 대한 미적 평가에도 변화가 있을까?

연 구자는 다음과 같은 가설을 세웠다. 만약 위에서 말한 내용이 사실이라면, 제품 사용 후 PQ 점수가 beauty를 잘 예측할 수 있을 것이다. 반면, 아름다움이 사용자 경험에 영향을 받지 않는다면 hedonic attribution(HQI, HQS)가 beauty 점수를 잘 예측할 것이다.

절차

실험2의 절차는 실험 1과 동일하다. 다만, 실험 1처럼 각 스킨에 대한 사전 평가를 내린 다음, 일련의 과제가 주어지는 점이 다르다. 참가자는 이 과제를 수행한 다음 다시 제품에 대한 사후 평가를 내리게 된다.

참 가자에게 주어지는 과제는 다음과 같다. 첫번째 과제의 경우 mp3로 음악을 듣는 중에 전화가 울리게 한다. 참가자는 전화를 받기 위해 mp3 볼륨을 줄여야 한다. 그 다음 다시 mp3 볼륨을 정상으로 돌려놓는다. 두번째 과제의 경우, 참가자들에게 사전에 저장되어 있는 플레이리스트를 로딩시키고, 그 리스트에서 지정된 곡들을 재생해야 한다. 이 과제를 수행한 다음에 mental effort를 측정하는 문항(SMEQ)을 작성한다. 우리는 SMEQ를 통해 어떤 제품이 조작 상 정신적 노력을 더 많이 필요로 하는지 알 수 있고, 정신적 노력이 많이 든다면 그 만큼 사용성도 떨어진다고 예상할 수 있다.

결과

beauty (ugly, beautiful), time (pre-use,post-use), and attribute group (PQ, HQI, HQS)을 독립변인, PQ, HQI, HQS의 평균 점수를 종속변인으로 ANOVA 분석한 결과 beauty와 attriute group의 주효과가 나타났다.

• ugly, beauty 조건의 HQI, HQS, PQ 결과는 실험 1과 동일하다. 즉, beauty를 온전히 반영하는 점수는 HQI, HQS같은 hedonic attribution이었다.

• PQ는 goodness와 관련있었으며, 이 둘은 사용자의 경험에 영향을 받았다. HQI와 HQS는 pre-post 점수 간 상관이 높았지만, PQ는 그렇지 않았기 때문이다(즉, 경험 이후 점수에 변동이 있었다).

연구자는 이 결과를 토대로 다음과 같은 모델을 제시했다.

제품이 '좋다'라는 평가은 '아름답다'라는 평가에 영향을 줄 수는 있지만 동일한 개념은 아니다.

'아름다움'은 제품의 사용성(PQ)와 관련이 없다. 사용성은 제품의 '좋음'과 관련있다.

제품의 사용 단계에서 경험하는 mental effort는 사용성에 영향을 받지만, 아름다움에 영향을 미치지 않는다.

결 론은, 사람들이 아이패드의 사용성을 높이 평가하는 것은 아이패드의 외관이 아름답기 때문은 아니라는 것이다. 또 아이패드를 직접 사용해 본 다음 사용성을 높이 평가한 것이 아름다움에 영향을 미치지도 않는다는 것이다. 둘은 관련 있을지 모르나 구분되는 개념같다.

 Reference

Posted by 인지심리 매니아

사 용성 평가는 HCI 분야에서 빠질 수 없는 방법론으로 여겨진다. 이제는 모든 제품을 개발할 때 사용성 평가를 거쳐야 할 것 같은 생각마저 든다. 하지만 '필수적' 절차로 생각되는 사용성 평가가 오히려 해악이 되는 경우도 있다. 어떤 것이든 한가지 방법 만을 고수하면 문제에 봉착하기 마련이다. 오늘은 사용성 평가가 만병통치약이 될 수 없는 이유를 설명한 벅스턴의 논문을 소개하기로 한다.

Buxton 은 2008년 논문에서 사용성 평가를 적용할 때 조심해야 할 점을 언급하고 있다. 저자도 서두에서 사용성 평가가 학회, 기업에서 할 것 없이 널리 쓰이고 있다는 것을 인정한다. 하지만 사용성 평가가 오히려 독이 되는 경우가 있음을 주지시키고 있다. 그러면, 어떤 상황에서 사용성 평가가 독이 되는 것일까?

Weak Science

사회과학을 포함한 과학은 가설을 검증할 때 독특한 방법을 사용한다. 연구자가 주장하는 가설을 입증하기 보다 '기각' 하는 방법을 사용하는 것이다. 예를 들어, 내가 잘 생겼다는 가설을 입증하기 위해서 나의 외모를 칭찬하는 사람을 찾는 것이 아니라, 내 외모를 욕하는 사람을 찾는다는 것이다. 만약 내 외모를 욕하는 사람이 한명이라도 있다면 '나는 잘생겼다'라는 주장은 거짓으로 드러난다. 즉, 내 가설이 참임을 보는 것이 아니라 거짓인지 여부에 초점을 맞추는 것이다.

일반인들의 눈에는 이런 검증방법이 다소 이상해 보일 수도 있다. 하지만 이런 가설 검증 방법이야말로 과학을 진짜 'Strong Science'로 만든다(도대체 왜 이런 방법이 과학적인지 이해하지 못하겠다면 칼 포퍼에 관한 글을 참고하기 바란다). 어떤 가설이 끊임없는 반박(반증)연구에도 불구하고 살아남으면 강력한 이론으로 변신한다. 수천명을 뒤져봐도 내가 못 생겼다는 사람을 발견하지 못했다면, 아직까지는 내 주장이 사실인 것이다. 난 계속 잘 생긴 사람으로 남게 된다.

사용성 테스트의 문제는 과학에서 사용하는 검증방법을 온전히 채택하지 않는다는 데 있다. 사용성 테스트는 가설을 반박하기 보다 '입증' 하는 데 초점을 맞춘다(confirmative hypothesis testing). 신제품이 기존 제품보다 뛰어나다는 가정을 검증할 때, 사용성 테스트는 이 가정을 입증하는 '최소한 한 개 이상의 증거'를 찾는다. 가정과 맞아떨어지는 사례를 하나라도 발견하면 우리 주장은 맞다는 것이다. 하지만 이건 진정한 의미의 과학적 검증이 아니다. 생각해보자. 내 얼굴이 잘 생겼다고 친구에게 주장하자 친구가 사실임을 입증해보라고 한다. 나는 길을 가던 사람 하나를 붙들고 내가 잘 생겼는지 물어본다(실제로는 이런 황당한 일은 없겠지만). 다행스럽게도 그 사람은 내가 잘생겼다고 대답한다. 나는 의기양양하게 '내가 잘 생겼다'고 주장한다. 친구는 어이가 없는 표정이다. 고작 한 사람의 의견에 근거해서 '내가 잘 생겼다'라는 주장이 참임을 알 수 있을까? 

또 다른 문제점은 이 분야갸 '반복검증가능성'을 고려하지 않는 다는 것이다. 한 연구를 통해 발견된 현상은 다른 논문에 의해서 반복적으로 발견될 때 일관성 있다고 판단될 것이다. 친구가 거리를 돌아다니며 내 사진을 보여주고 잘생겼는지 물어봤지만 결과가 매번 똑같다면, 결국 내 주장이 진리인 것이다. 또 반복검증가능성은 이론이 적용될 수 있는 범위를 찾는 데도 중요하다. 친구가 유치원생들에게 내 사진을 보여줬는데 한결같이 못 생겼다고 대답했다면, '적어도 유치원생의 눈에는 내가 잘 생겼다는 사실이 적용되지 않는다'고 판단할 수 있다.

문제는 CHI의 경우 결과가 replicate된 논문을 '예전 것과 똑같네'라고 하며 간과해 버린다는 것이다. 결국 학회에 논문을 내기 위해선 예전 것과 다른 '새로운 것'을 연구해야만 한다. 결국, 같은 내용에 대해 반복된 결과를 검증한 논문이 자취를 감추게 되는 것이다. 이런 결과는 외적 타당도를 떨어뜨릴 것이다. 내 얼굴은 20대 초반 여성에게는 매력적일지 몰라도, 우리 집 뒤에 있는 유치원의 원생들에게는 전혀 그렇지 않다.

사용성 조사의 방법은 결국 다소 약한 형태의 과학적 방법이라고 할 수 있을 것이다. 연구 결과를 통해 과학적 지식을 축적하기에는 무언가 미덥지 않은 결과들인 것이다.

사용성 조사 관행

벅스턴은 사용성 조사의 초기에 만드는 스케치와 프로토타입을 구분한다. 둘은 아래 그림처럼 양 극단의 특징을 가진다.

스케치는 비교적 초기에 만들어지는 대안이다. 이 단계에서 UX 디자이너들은 직관적인 영감을 통해 아이디어를 산출한다. 따라서 스케치를 하는 과정은 탐색적, 실험적인 단계다. 반면 프로토타입은 스케치에 살을 입혔다고 볼 수 있다. 보다 구체적인 기능이 입혀져 있고, 정제되어 있는 대안이다.

벅스턴은 사용성 조사가 문제를 일으키는 이유는 조사가 스케치 단계에서 바로 이루어지는 것과 관계있다고 설명한다. 아이디어을 생성하는 단계에서는 최대한 많은 대안을 생각할 필요가 있다. 하지만 사용성 조사는 성격상 '대안을 가지 치는' 방법론이다. 이 방법은 사용성의 '문제'에 초점을 맞추고 적합하지 않은 대안들을 지워버린다. 따라서 혁신적인 대안들이 초반에 탈락하는 문제가 생긴다.

우리는 '올바른 디자인을 만드는 것'과 '디자인을 올바르게 만드는 것' 을 구분할 필요가 있다. 사용성 조사는 후자에 도움을 줄 수 있지만, 첫번째 문제에도 그런 것은 아니다. 아이디어 중에는 사용성이 다소 떨어지지만 창의적인 대안이 있을 수 있다. 올바른 디자인을 만드는 것은 가능성 있는 소재를 생성하고 택하는 과정에서 가능하다. 가능성이 있는 소재들을 되도록 많이 모은 다음, 추후에 사용성 조사를 거쳐서 정제하는 방법을 택한다면, '올바른 디자인을 만들고, 그 디자인을 올바르게 만들 수 있다'.

Useful

사용성 조사는 Usable의 문제다. 어떻게 보면 기술적인 측면에 초점을 맞춘 조사방법일 수도 있겠다. 문제는 useful하지만 usable하지 않은 제품이 히트를 치는 경우가 종종 있다는 것이다. 대표적인 예가 바로 WWW이다. 웹은 처음에는 사용하기 까다로운 제품이었다. 하지만, 시간이 지나면서 점차 유저 프렌들리한 인터페이스를 갖추었다. useful한 제품이 나중에 Usable한 속성까지 가지게 된 것이다. 만약 우리가 90년대로 거슬러 올라가서 웹에 대한 사용성 조사를 했다면, 조사자들은 웹이 수년도 못 가서 없어질 것이라고 전망했을 것이다.

그 럼, 사용성 조사에서 usable과 함께 useful을 평가할 수는 없는 걸까? 그렇게만 할 수 있다면 장래 인기를 끌 제품을 미리 알 수 있고, 여기에 사용성 조사까지 미리 진행할 수 있어서 좋을텐데 말이다. 현재 관행상 이를 함께 알 수 있기는 힘들다고 한다. Christensen1에 의하면, 참가자들은 제품의 기술적 혁신이 useful로 이어질 수 있을지 예측할 수 없다고 한다. 결국 제품의 값어치(useful)를 초기에 발견하는 일은 사용자 조사의 몫이라기 보다조사자의 몫으로 남게 되었다.

solution

저자는 이 외에도 많은 문제점을 지적했지만, 한편으로 이 문제를 해결할 방안들을 함께 적어놨다. 그 방안들은 다음과 같다.

먼저, 형식적인 사용자 조사 기법에 전적으로 의존하지 않는 것이다. 옛말에 '선무당이 사람 잡는다'는 말이 있다. 우리는 사용성 조사에 날이 무딘 'Weak Science' 기법을 사용하고 있다. 더군다나 이런 분석 기법들이 도입된 역사가 길지도 않기 때문에 방법론이 안정적으로 발전을 시간도 없었다. 이런 불충분한 방법론을 단지 '과학적 방법'이라고 해서 단순 신봉하는 것은 문제가 있다. 우리는 사용자의 의견을 직접 들어보는 예전 방식을 적절히 활용할 줄 알아야 한다. 숫자와 통계 사이에서 진짜 놓칠 수 있는 사용자의 '니즈'를 파악하기 위함이다.

두번째로, 사용자 조사를 어느 단계에서 적용할지 고심해야 한다. 앞서 말했지만, 아이디어를 산출하는 단계에서 사용자 조사를 시행하면, 가능성 있는 대안들을 버리게 될 수 있다. 아이디어 중에는 사용성이라는 날개를 달아주면 훨훨 날아다닐 혁신적인 대안들도 존재한다. 형식적인 조사에만 의존하지 말고 재목을 찾기 위해 보다 신경쓴다면, 버려질뻔한 가능성을 찾을 수 있다.

마지막으로, 보다 엄격한 과학적 방법을 사용해야 한다는 것이다. 만약 새로운 아이디어를 탐색하는 과정이라면, 종전에 사용하던 confirmative hypothesis testing이 적합할 수도 있다. 하지만 기존의 이론을 발전시키거나 검증하는 과정에서는 risky hypothesis testing이 적합하다. 날 좋아하는 여자가 존재할 가능성을 찾을 땐 내가 잘 생겼다고 말하는 여자 한 명으로도 족하다. 하지만 내가 잘 생긴게 전우주적인 진리인지를 판단할 때는 보다 엄격한 기준을 세워야 한다. 여자 친구의 말만 들을 수는 없기 때문이다.

Reference

Saul Greenberg, Bill Buxton, Usability Evaluation Considered Harmful (Some of the Time), CHI 2008 Proceedings

사용자 경험 측정

작가

빌 알버트, 토마스 툴리스

출판

지앤선

발매

2009.07.06

리뷰보기

난이도:

대상: UX에 관심 있는 사람

        사용자 조사 방법론을 탐색, 연구하는 사람

이 책은 사용자 경험 측정, 특히 사용자 조사에서 사용하는 매트릭스를 소개한 책이다. 사용자의 반응을 측정하기 위해서 다양한 방법이 사용될 수 있다. 하지만 프로젝트의 특성에 알맞는 매트릭스를 고르는 것은 쉽지 않다. 특정 사이트의 UI를 조사해 본다고 가정하자. 우리는 어떤 매트릭스를 사용해야 할 것인가? 과제 완료에 소요된 시간? 성공률? 참가자의 주관적 느낌?

저자는 프로젝트의 특성에 적합한 매트릭스(심 리학도에게는 '종속변인'이라는 표현이 더 쉬울 지도 모르겠다)를 소개하고 있다. 유저빌리티 테스트에서 사용하는 매트릭스로는 과제 성공률, 소요 시간, 에러, 효율성, 학습성, 이슈(문제점), 자가 기록 매트릭스, 행태적/생리적 매트릭스, 결합/비교 매트릭스(심리학에서는 이를 복합 종속 변인이라고 한다) 등이 있고 그 외에 실시간 웹 사이트 매트릭스와 카드 소팅 데이터도 포함된다.

이 책에서 소개한 매트릭스는 정량적인 방법을 사용하고 있다. 현장에서 사용자 조사를 수행하는 사람들은 이 책의 방법들을 참고해서 수치적으로 명확한 결과를 얻을 수 있을 것이다. 데이터를 정량화하면 신뢰 구간이나 식스시그마, T-test, ANOVA 분석 방법을 활용할 수 있게 되어 전집의 특성을 추론할 수 있다는 장점이 있다.

이 책의 또 다른 장점은 자가 기록 매트릭스와 관련하여 기존 연구자들이 사용한 평가 도구를 소개하고 있다는 점이다. 조사를 수행할 때 조사자가 새로운 평가 척도를 만드는 것은 부담스러운 일이다. 새로 만든 평가 도구가 어느 정도의 신뢰성을 담보할지 알 수 없으며, 다른 사람들이 개발한 척도의 결과와 비슷한지, 또 표본 수의 영향을 받지는 않는지 알 수 없기 때문이다. 다행히도 이 책은 표본 수에 Robust하고 다른 측정치와의 비교를 통해 일관성 있다고 평가받은 측정 방법을 소개하고 있다. 시스템 유저빌리티 척도(SUS), 사후 시나리오 질문(After-Scenario Questionnaire, ASQ), 사용자 인터페이스 만족도에 대한 설문지(Questionnaire for User Interface Satisfaction, QUIS) 등 다양한 척도가 책에 실려 있다.

책의 마지막 부분에는 실제 사용성 조사 사례들이 실려 있다. 각 사례들은 연구 진행 절차와 참가자 수, 사용한 척도 등이 적혀 있다. 실무에서 일하는 사람이나 UX를 공부하는 학생 모두에게 도움이 될 내용이라고 생각한다.