Insinyur Terapan untuk Evaluasi
Lamar Sekarang →SignalGigs dapat menerima komisi rujukan jika Anda melamar melalui tautan ini.
Deskripsi
Bangun evaluasi dari pekerjaan rekayasa nyata
Ubah pull request yang selesai menjadi tugas rekayasa yang mengungkap kelemahan agen pemrograman tingkat lanjut, termasuk Claude Code dan Codex. Anda akan bekerja sama dengan tim riset dan menggunakan kerangka evaluasi internal untuk membandingkan kinerja model bahasa.
Kembangkan dan uji setiap evaluasi
- Temukan repositori dengan pekerjaan rekayasa yang substansial dan pilih pull request selesai yang dapat dijadikan tugas menantang.
- Selidiki masalah dan implementasi acuan beserta arsitektur, pengujian, dan konvensi repositori.
- Tulis petunjuk tugas dan pemeriksaan penilaian menggunakan pengujian otomatis, perintah shell, dan prompt untuk penilaian berbasis model.
- Uji evaluasi terhadap solusi acuan maupun implementasi yang sengaja salah untuk menemukan pemeriksaan yang terlewat, nilai yang tidak akurat, atau pembatasan yang mengecualikan solusi valid.
- Ulangi pengujian pada berbagai model dan perangkat evaluasi untuk menentukan apakah kegagalan berasal dari pekerjaan agen, lingkungan, atau logika penilaian.
- Sempurnakan tugas melalui penyelidikan dan peninjauan, sambil mencatat temuan dan alasan keputusan penilaian.
Pengalaman rekayasa
Dasar pemrograman yang kuat dan pengalaman praktis dalam basis kode yang substansial sangat diperlukan. Pekerjaan evaluasi mencakup TypeScript, JavaScript, Python, Java, Kotlin, Go, Ruby, PHP, C++, dan Rust.
Anda perlu terbiasa mempelajari kode yang belum dikenal, menelusuri perilaku yang halus, dan menentukan kapan implementasi berbeda menyelesaikan masalah yang sama. Pengalaman pengujian yang berarti perlu mencakup kasus tepi dan regresi, didukung kemahiran menggunakan Git, alat pelaksana pengujian, dan alat CI.
Pengalaman praktis dengan alat pemrograman AI harus mencakup pemeriksaan hasilnya dan pendeteksian kesalahan. Penyelidikan yang teliti, kesabaran untuk penyempurnaan berulang, komunikasi lisan dan tertulis yang lancar, serta tanggung jawab atas tugas ambigu juga penting.
Persiapan dan tanggung jawab
Pengalaman yang relevan dapat berasal dari repositori publik, privat, atau perusahaan. Pengetahuan tentang suatu ekosistem membantu, tetapi pertimbangan rekayasa yang baik dan kemampuan mempelajari basis kode lebih penting daripada riwayat kontribusi publik atau popularitas bahasa.
Orientasi mencakup kerangka evaluasi, dan peninjau memberikan umpan balik berkelanjutan. Setelah siap, Anda diharapkan memilih tugas, mengembangkan evaluasi, dan melakukan iterasi secara mandiri sambil bertanya ketika persyaratan tidak jelas.
Details
SignalGigs dapat menerima komisi rujukan jika Anda melamar melalui tautan ini.
Peluang Terkait
How Much Do AI Jobs Pay?
How to Get Started