← Kembali ke Pekerjaan
Code Evaluation
$100 - $120 per jam

Insinyur Terapan untuk Evaluasi

Lamar Sekarang →

SignalGigs dapat menerima komisi rujukan jika Anda melamar melalui tautan ini.

Deskripsi

Bangun evaluasi dari pekerjaan rekayasa nyata

Ubah pull request yang selesai menjadi tugas rekayasa yang mengungkap kelemahan agen pemrograman tingkat lanjut, termasuk Claude Code dan Codex. Anda akan bekerja sama dengan tim riset dan menggunakan kerangka evaluasi internal untuk membandingkan kinerja model bahasa.

Kembangkan dan uji setiap evaluasi

  • Temukan repositori dengan pekerjaan rekayasa yang substansial dan pilih pull request selesai yang dapat dijadikan tugas menantang.
  • Selidiki masalah dan implementasi acuan beserta arsitektur, pengujian, dan konvensi repositori.
  • Tulis petunjuk tugas dan pemeriksaan penilaian menggunakan pengujian otomatis, perintah shell, dan prompt untuk penilaian berbasis model.
  • Uji evaluasi terhadap solusi acuan maupun implementasi yang sengaja salah untuk menemukan pemeriksaan yang terlewat, nilai yang tidak akurat, atau pembatasan yang mengecualikan solusi valid.
  • Ulangi pengujian pada berbagai model dan perangkat evaluasi untuk menentukan apakah kegagalan berasal dari pekerjaan agen, lingkungan, atau logika penilaian.
  • Sempurnakan tugas melalui penyelidikan dan peninjauan, sambil mencatat temuan dan alasan keputusan penilaian.

Pengalaman rekayasa

Dasar pemrograman yang kuat dan pengalaman praktis dalam basis kode yang substansial sangat diperlukan. Pekerjaan evaluasi mencakup TypeScript, JavaScript, Python, Java, Kotlin, Go, Ruby, PHP, C++, dan Rust.

Anda perlu terbiasa mempelajari kode yang belum dikenal, menelusuri perilaku yang halus, dan menentukan kapan implementasi berbeda menyelesaikan masalah yang sama. Pengalaman pengujian yang berarti perlu mencakup kasus tepi dan regresi, didukung kemahiran menggunakan Git, alat pelaksana pengujian, dan alat CI.

Pengalaman praktis dengan alat pemrograman AI harus mencakup pemeriksaan hasilnya dan pendeteksian kesalahan. Penyelidikan yang teliti, kesabaran untuk penyempurnaan berulang, komunikasi lisan dan tertulis yang lancar, serta tanggung jawab atas tugas ambigu juga penting.

Persiapan dan tanggung jawab

Pengalaman yang relevan dapat berasal dari repositori publik, privat, atau perusahaan. Pengetahuan tentang suatu ekosistem membantu, tetapi pertimbangan rekayasa yang baik dan kemampuan mempelajari basis kode lebih penting daripada riwayat kontribusi publik atau popularitas bahasa.

Orientasi mencakup kerangka evaluasi, dan peninjau memberikan umpan balik berkelanjutan. Setelah siap, Anda diharapkan memilih tugas, mengembangkan evaluasi, dan melakukan iterasi secara mandiri sambil bertanya ketika persyaratan tidak jelas.

Details

Perusahaan perekrut

Mercor

Category

Code Evaluation

Location

Jarak Jauh

Posted

Lamar Sekarang →

SignalGigs dapat menerima komisi rujukan jika Anda melamar melalui tautan ini.

Join the job-alert list

Alerts are not being sent yet.

Pay Data

How Much Do AI Jobs Pay?

→
Guide

How to Get Started

→
Insinyur Terapan untuk Evaluasi
$100 - $120 per jam
Lamar Sekarang →