AI 제품 검증·데이터 수집

Tech & AI Data

소개

릴리즈가드의 테스터들이 메이커님이 만든 AI 기능을 직접 써보고, 답변이 쓸 만하다고 느꼈는지, 어느 지점에서 신뢰가 깨졌는지를 사용자의 말로 전해드립니다. 지표만으로는 잘 드러나지 않는 체감을 모아드립니다. 실제 환경에서 필요한 음성·이미지 데이터 수집도 같은 방식으로 진행합니다.

이 테스트가 유용할 메이커님과 기업

  • 챗봇이나 추천 기능을 붙였는데, 답변이 실제로 도움이 되는지 팀 안에서만 판단하고 있습니다.
  • 모델이나 프롬프트를 바꿨는데 사용자가 나아졌다고 느끼는지 확인할 방법이 마땅치 않습니다.
  • 실제 사용 환경에서 나오는 데이터가 부족해 예외 상황을 다루기 어렵습니다.

피드백 구성

  • 답변 품질 비교 — 같은 질문에 대한 두 버전의 답을 사용자가 직접 비교하고, 어느 쪽이 왜 나은지 말로 남겨드립니다.
  • 도메인 질문의 정확도 체감 — 해당 분야를 아는 테스터를 매칭해, 틀린 답이 나온 지점을 구체적으로 짚어드립니다.
  • 대기 시간과 흐름 — 응답이 늦어질 때 사용자가 어느 지점에서 기다리기를 그만두는지 기록해드립니다.
  • 실환경 데이터 수집 — 조건을 정해 음성·이미지·카메라 예외 케이스 데이터를 모아 전달해드립니다.

테스터의 제출물마다 서로 다른 답변이 있고, 리포트에 정리된 종합적으로 발견된 문제들은 심각도와 겪은 인원 수로 통계자료를 뒷받침해드립니다. 각 항목에는 근거 자료가 붙습니다.

모델 성능 점수를 산출하는 작업은 포함되지 않습니다. 사람이 써보고 느낀 바와 그 근거를 정리해 전달해드립니다.

진행 절차

  1. 메이커님이 확인하고 싶은 질문 몇 가지를 남깁니다
  2. 저희가 검증 가능한 형태로 다듬어서 미션을 설계합니다 (약속한 시간 내 회신)
  3. 메이커님이 선택한 조건에 맞는 타겟 유저를 전략적으로 매칭해드립니다 (예상 3~5일)
  4. 테스터가 미션을 수행하고, 최종적으로 릴리즈가드 팀이 제출물을 검수합니다
  5. 모집 완료 후 7영업일 내 리포트를 전달합니다

금액과 의뢰 신청

금액은 참여자 조건과 수집 분량에 따라 달라집니다.

의뢰 신청하기

02 AI & Vision Data & Voice PipelineLLM model Human Feedback

  1. 수신:

    플랫폼의 AI 모델에게 직접 궁금한 법률 질문을 물어보고 답변이 만족스러운지 확인해주세요.

  2. 발신:

    플랫폼에서 제시하는 틀이 아닌 의료법 관련 정보를 물어봤을 때 현행법과 다르게 답을 주는 현상이 발생합니다. 또한 챗봇 응답 속도가 5초를 넘어가며 체감 대기 시간이 길게 느껴집니다.

보라색 화면이 표시된 노트북 목업