정확성과 한계
Rung은 미국 노동부가 발표한 직업 데이터를 사용해, 말씀하신 내용을 바탕으로 이력서를 작성해요. 이 페이지는 Rung이 본인에 대해 하는 말과 하지 않는 말, 틀릴 수 있는 부분, 측정된 결과를 설명해요.
Rung이 본인에 대해 하지 않는 말
- 경력을 지어내지 않아요. 어떤 직업의 실제 업무는 남기거나 지울 수 있는 문장으로 제안되고, 직접 남겨두지 않는 한 어떤 것도 본인의 경력으로 이력서에 들어가지 않아요. 아직 해보지 않은 일을 목표로 하신 경우, 그 일은 절대 경력에 들어가지 않아요.
- 직업을 조용히 정하지 않아요. 입력하신 직업명이 하나의 직업과 명확히 일치하면, Rung은 그 이름을 알려드리고 언제든 바꿀 수 있게 열어둬요. 여러 직업에 해당할 수 있으면 물어봐요. 아무것도 맞지 않으면, 직접 적으신 표현으로 작성하고 아무 데이터에도 근거하지 않아요.
- 점수를 매기지 않아요. 등급도, 백분율도, 취업 가능성을 판단하는 어떤 것도 없어요.
문장의 출처
업무, 기술, 직업명은 미국 노동부가 발표하는 직업 데이터베이스인 O*NET에서 가져오며, 약 1,016개 직업을 다뤄요. 급여 범위는 노동통계국에서, 학교와 프로그램은 국립교육통계센터에서, 지역 정보는 인구조사국에서 가져와요. 어느 것도 지어낸 정보가 아니에요. 출처 페이지에 모든 출처와 그 날짜가 정리되어 있어요.
이력서의 문장은 언어 모델이 직접 답하신 내용과 이 근거 데이터를 바탕으로 작성하고, 아무것도 보관되기 전에 바꾸실 수 있는 평범한 문장으로 다시 보여드려요.
Rung이 틀릴 수 있는 부분
- 음성. 음성 인식 기술은 사람에 따라 정확도가 다를 수 있어요. 대표적인 발표 연구에 따르면 흑인 화자에게서 백인 화자보다 약 두 배 더 많은 오류가 발생했고, 억양이나 방언이 강할수록 오류는 더 늘었어요. 한계는 말씀하시는 분이 아니라 기술 자체에 있으므로, Rung은 음성 하나에만 의존하지 않아요: 말씀하신 내용은 항상 고치실 수 있는 텍스트로 다시 보여드리고, 음성이 유일한 답변 방법이 되는 일은 없어요.
- 표현. 모델이 본인이라면 쓰지 않을 방식으로 표현하거나, 실제보다 크게 들리도록 문장을 만들 수 있어요. 모든 문장은 바꾸거나 지우실 수 있게 다시 보여드리고, 실제 이력서 문장처럼 읽히지 않는 줄은 이유와 함께 표시돼요.
- 직업 매칭. 입력하신 직업명이 여러 직업에 비슷하게 가까울 수 있어요. 매칭이 명확하지 않으면, Rung은 직접 정하는 대신 물어봐요.
측정된 결과
직업 매칭은 154개 직업명으로 이루어진, 어려운 사례에 무게를 둔 라벨링 벤치마크로 측정돼요: O*NET이 예전 직업 아래 분류해둔 최신 기술 직업명, 군 특기 코드, 너무 넓어서 특정하기 어려운 직업명, 아예 직업이 아닌 항목들이요. 데이터나 매칭 로직이 바뀔 때마다 다시 실행돼요.
| 측정 항목 | 결과 |
|---|---|
| Rung이 조용히 잘못된 직업을 사용한 사례 | 154개 중 0개 |
| Rung이 물어볼 때, 맞는 직업이 선택지 안에 있던 비율 | 96% |
| 실제 직업이 아닌 항목을, 아무 데이터에도 근거하지 않고 올바르게 처리한 비율 | 89% |
아직 측정되지 않은 것
숨기지 않고 명확히 밝히는 두 가지 공백이에요. Rung은 아직 실제 대상이 되는 사용자들을 대규모로 대상으로 테스트되지 않아서, 이 설계를 뒷받침하는 근거는 Rung 자체의 현장 결과가 아니라 발표된 연구예요. 그리고 음성 정확도는 Rung에서 억양과 방언별로 직접 측정되지 않았는데, 이것이 말씀하신 모든 답변을 보관하기 전에 텍스트로 다시 보여드리는 이유 중 하나예요.
Rung이 틀린 부분이 있다면
알려주시면 고쳐드려요. hello@rung.guru로 이메일을 보내시고 무엇을 하고 계셨는지, Rung이 무엇을 만들어냈는지 알려주세요. 담당자가 답변드려요.