← 일자리 목록으로
직무 설명
실제 엔지니어링 업무를 바탕으로 평가 구축
완료된 풀 리퀘스트를 Claude Code와 Codex 같은 고도화된 코딩 에이전트의 약점을 드러내는 엔지니어링 과제로 전환합니다. 연구팀과 협력하며 내부 평가 프레임워크를 활용해 언어 모델 성능을 비교합니다.
각 평가 개발 및 테스트
- 실질적인 엔지니어링 작업이 있는 저장소를 찾고 난도 높은 과제로 만들 수 있는 완료된 풀 리퀘스트를 선택합니다.
- 저장소의 아키텍처, 테스트, 규칙과 함께 문제 및 기준 구현을 조사합니다.
- 자동화 테스트, 셸 명령, 모델 평가용 프롬프트를 사용해 작업 지침과 채점 검사를 작성합니다.
- 기준 해법과 의도적으로 잘못 만든 구현 모두로 평가를 테스트하여 누락된 검사, 부정확한 채점, 유효한 해법을 배제하는 제한을 찾습니다.
- 여러 모델과 평가 하네스에서 실행을 반복하고, 실패 원인이 에이전트의 작업, 환경, 채점 로직 중 어디에 있는지 판단합니다.
- 조사와 검토를 통해 과제를 개선하고, 발견 사항과 채점 판단의 근거를 기록합니다.
엔지니어링 경험
탄탄한 프로그래밍 기초와 규모 있는 코드베이스에서의 실무 경험이 필수입니다. 평가 업무는 TypeScript, JavaScript, Python, Java, Kotlin, Go, Ruby, PHP, C++, Rust를 다룹니다.
낯선 코드를 익히고 미묘한 동작을 추적하며 서로 다른 구현이 같은 문제를 해결하는지 판단하는 데 익숙해야 합니다. 실질적인 테스트 경험은 경계 사례와 회귀 문제를 포함해야 하며, Git, 테스트 러너, CI 도구를 자신 있게 다룰 수 있어야 합니다.
AI 코딩 도구의 실무 경험에는 출력 검토와 오류 발견이 포함되어야 합니다. 꼼꼼한 조사, 반복 개선을 위한 인내심, 유창한 문서 및 구두 의사소통, 모호한 과제를 책임지는 태도도 중요합니다.
준비 및 업무 책임
관련 경험은 공개, 비공개, 기업 저장소 어느 곳에서 쌓았어도 됩니다. 생태계 지식도 도움이 되지만, 공개 기여 이력이나 언어의 인기보다 건전한 엔지니어링 판단과 코드베이스를 익히는 능력이 더 중요합니다.
온보딩에서는 평가 프레임워크를 다루며 검토자가 지속적으로 피드백을 제공합니다. 준비가 끝나면 요구 사항이 불명확할 때 질문하면서 과제 선택, 평가 개발, 반복 개선을 독립적으로 수행해야 합니다.
Details
응용 엔지니어, 평가 담당
$100 - $120 시간당