§01 // 자동화 테스트가 통과시키는 것

자동화 테스트가 통과시키는 것

자동화 테스트는 정해 둔 조건이 지켜졌는지 빠르게 반복해서 확인합니다. 버튼이 눌리고 응답 코드가 기대한 값인지, 입력값이 저장되는지처럼 규칙으로 표현할 수 있는 일에는 매우 유용합니다. 다만 문구가 문법적으로는 맞아도 사람이 처음 읽을 때 뜻을 잘못 짚는 경우는 통과로 남습니다. 예를 들어 본인 인증 화면의 ‘계속’ 버튼이 다음 단계로 넘어가는지 검사해도, 사용자가 어떤 정보를 제출하는지 알 수 없다면 망설임은 기록되지 않습니다.

화면 크기와 브라우저를 몇 가지 정해 검사해도 모든 사용 환경을 대신하지는 못합니다. 특정 기기에서만 주소 입력란이 화면 밖으로 밀려도 기준 해상도에서는 정상으로 보일 수 있습니다. 자동화는 해당 기기를 명시해 실행하지 않은 한 그 차이를 발견하지 못합니다. 실제 사용자는 자기 기기에서 글자를 키우고, 가로 화면을 쓰고, 다른 입력기를 사용합니다. 이 조건에서 과업이 이어지는지는 별도로 보아야 합니다.

흐름이 기술적으로 끝까지 작동하는 것과 사용자가 끝까지 가는 것은 다른 일입니다. 결제 흐름의 모든 요청이 성공해도 선택 단계가 하나 더 늘어나면 중간에 닫는 사람이 생길 수 있습니다. 자동화는 각 단계가 응답했음을 남기지만, 왜 다음 버튼을 누르지 않았는지는 알려주지 않습니다. 검증은 통과 기록을 부정하지 않고, 그 기록이 답하지 못한 사용 과정의 빈칸을 확인합니다.

§02 // 왜 한 명으로는 알 수 없는가

왜 한 명으로는 알 수 없는가

한 명의 인원이 특정 기능 사용에서 막힌다면 제품 자체의 문제인지,
사람의 특성으로 인한 문제인지 명확히 알기 어렵습니다. 만약 동일한
조건에서 다른 사람이 쓸 때에도 같은 지점에서 막힌다면 그때 제품의
문제로 의심할 수 있습니다. 릴리즈가드가 12명을 기준으로 삼은 이유는
베타테스트를 위한 머릿수를 채우기 위함이 아닙니다. 한 건의 관찰은
개선점을 발견하는 출발점이고, 반복된 관찰이 판단의 근거가 됩니다.

귀사에서 테스터에게 확인이 필요한 조건이 늘어나면, 검증에 필요한
인원도 함께 늘어납니다. 응답이 필요한 질문이 많거나, 기기나 특성이
서로 다른 집단을 나누어 검증해야 한다면 각 조건별로 여러 번의 관찰이
가능해야 좋은 결론을 도출할 수 있기 때문입니다. 릴리즈가드의 검증에서
미션 수를 늘릴수록 참여자 수도 함께 연동되어 변합니다. Lite의 6명은
조건 범위가 좁아 문제가 있는지 탐색하는 데 도움이 됩니다. 다만 이
결과만으로 개선 사항이 없다고 판단하기는 어렵습니다.

릴리즈가드는 몇 퍼센트의 사용자가 같은 문제를 겪는지, 어느 가격이
최적인지 계산하는 서비스를 제공하지 않습니다. 저희가 전달하는 것은
요청하신 미션 범위에서 실제로 발생한 일과 그 근거, 그리고 기록을
바탕으로 정리한 판단입니다. 비율이 필요한 질문이라면 다른 방법을
사용하시기를 권합니다.

§03 // 왜 스크린샷만으로는 부족한가

왜 스크린샷만으로는 부족한가

스크린샷은 어떤 화면이 있었는지를 보여주지만, 그 화면에 이르기까지의 행동과 뒤이어 일어난 일을 모두 말해 주지는 않습니다. 오류 문구가 보이는 한 장의 캡처만으로는 사용자가 어떤 값을 넣었는지, 다시 시도했는지, 다른 경로로 빠져나갔는지 알 수 없습니다. 화면 하나를 발견의 출발점으로 삼되, 그것만으로 넓은 결론을 내리지 않습니다.

확인할 때는 화면 기록, 수행 중 남긴 설명, 기기와 환경 정보, 같은 과업의 다른 기록을 서로 대조합니다. 예를 들어 날짜 선택에서 멈춘 캡처가 있다면, 화면 녹화의 초점 이동과 참여자의 설명을 함께 읽습니다. 서로 맞는 부분은 확인 범위로 남기고, 한 자료에만 있는 내용은 그 한계를 표시합니다. 자료 사이가 맞지 않으면 맞추어 쓰지 않고 차이를 그대로 남깁니다.

이 절차는 더 많은 이미지를 모으기 위한 장식이 아닙니다. 수정할 사람에게 어떤 조건에서 어떤 일이 일어났는지 전달하기 위한 최소한의 맥락입니다. 같은 화면이라도 입력 방식, 기기 폭, 이전 단계의 선택에 따라 의미가 달라집니다. 스크린샷은 근거 묶음의 한 부분이며, 나머지 기록과 함께 볼 때만 다음 확인이나 수정의 출발점이 됩니다.

§04 // 모르는 것을 모른다고 적는다

모르는 것을 모른다고 적는다

리포트에서는 ○ 미확인, ◐ 단일근거, ● 확인됨의 세 상태를 함께 사용합니다. ○ 미확인은 현재 범위와 자료만으로 확인하지 못했다는 뜻입니다. 실패를 뜻하지 않으며, 그 환경이나 과업을 이번에 보지 않았다는 사실을 드러냅니다. 확인하지 않은 일을 성공이나 실패로 바꾸어 적지 않는 것이 다음 검증의 범위를 정하는 출발점입니다.

◐ 단일근거는 하나의 기록에서 현상을 보았지만 다른 기록으로 다시 확인하지 못한 상태입니다. 예를 들어 한 참여자의 화면에서 오류 안내가 입력란과 떨어져 보였으나 같은 조건의 다른 기록이 없다면, 발견 자체를 지우지 않고 단일근거로 남깁니다. ● 확인됨은 서로 독립된 기록이 같은 현상을 뒷받침할 때만 씁니다. 상태는 심각도 순서가 아니라 근거의 현재 범위를 말합니다.

세 상태를 나누면 리포트를 읽는 사람이 무엇을 바로 고치고, 무엇을 다시 살펴보고, 무엇이 아직 비어 있는지 구분할 수 있습니다. 불확실성을 감추면 문서는 단정적으로 보일 수 있지만 다음 결정에 필요한 정보는 줄어듭니다. 우리는 근거가 모자란 항목에 임의의 결론을 붙이지 않고, 필요한 추가 확인 조건을 함께 적습니다.

§05 // 조건은 협의해서 좁힌다

조건은 협의해서 좁힌다

모집 조건은 직함이나 연차를 많이 붙일수록 정확해지지 않습니다. 확인하려는 과업과 직접 관계없는 조건은 모집을 늦추고, 필요한 사용 경험을 놓치게 합니다. 처음에는 제품이 답하려는 질문을 확인하고, 그 질문을 수행할 수 있는 행동과 환경만 남깁니다. 이렇게 정리한 조건은 참여자에게도 왜 필요한지 설명할 수 있습니다.

예를 들어 ‘금융권 재직 3년’이라는 조건은 금융 업무 경험을 찾으려는 의도일 수 있습니다. 실제 확인이 송금 흐름의 이해라면 ‘금융 앱 3개 상시 사용 + 타사 송금 경험’으로 좁힐 수 있습니다. 목적은 같은데 직장 정보 대신 실제 사용 경험을 확인하므로 모집은 빨라집니다. 반대로 재직 경험 자체가 질문의 조건이라면 그 사실을 남기고 다른 조건으로 바꾸지 않습니다.

조건을 좁힌 기록은 결과를 해석하는 데도 필요합니다. 어떤 참여자가 왜 포함되었는지, 어떤 조건은 왜 제외했는지를 남기면 발견 항목의 적용 범위를 과장하지 않게 됩니다. 모집이 어려울 때는 비슷한 사람으로 조용히 바꾸지 않습니다. 대체가 필요하면 무엇이 달라졌는지와 그 차이가 질문에 미치는 영향을 리포트에 적습니다.

§06 // 목표에 못 미치면 그대로 적는다

목표에 못 미치면 그대로 적는다

모집한 세그먼트가 목표와 같지 않게 된 경우에는 결과만 전달하지 않습니다. 예를 들어 특정 기기 사용자를 찾았지만 일정 안에 조건을 모두 채우지 못해 다른 환경의 참여자가 포함되었다면, 그 대체가 발생한 사실을 리포트에 적습니다. 독자는 어떤 근거가 원래 조건에서 나왔고 어떤 근거가 바뀐 조건에서 나왔는지 구분할 수 있어야 합니다.

대체는 실패를 숨기기 위한 표현이 아닙니다. 실제 운영에서 모집 가능성, 일정, 참여자의 응답은 변합니다. 중요한 것은 변경이 일어난 뒤에도 처음 질문에 답할 수 있는 범위를 다시 정하고, 답할 수 없는 부분을 분리하는 일입니다. 목표에 못 미친 숫자를 목표처럼 쓰거나, 다른 조건의 결과를 같은 세그먼트의 결과처럼 합치지 않습니다.

이 기록 방식 자체가 상품의 사양입니다. 리포트는 발견 항목만 모은 문서가 아니라, 어떤 조건에서 무엇을 확인했고 무엇이 남았는지 읽을 수 있는 문서여야 합니다. 세그먼트 대체, 미확인 환경, 제출이 부족한 항목은 모두 숨기지 않습니다. 그래야 다음 모집, 추가 확인, 수정 우선순위를 실제 근거 위에서 정할 수 있습니다.