Integrasi Claude 3.5 Sonnet ke dalam GitHub Copilot telah mencetuskan perbincangan menarik dalam kalangan pembangun mengenai corak penggunaan LLM yang berkesan dan pengurusan konteks dalam aliran kerja pengkodan. Walaupun pengumuman tersebut menekankan skor penanda aras yang mengagumkan, fokus komuniti telah beralih kepada strategi pelaksanaan praktikal dan pengalaman sebenar dengan pembantu pengkodan AI.
Pengurusan Konteks: Faktor Kejayaan Kritikal
Pembangun dalam komuniti telah mengenal pasti pengurusan konteks sebagai faktor penting dalam interaksi LLM yang berjaya. Berbanding menggunakan perbualan berterusan, kebanyakan pengguna berpengalaman lebih suka memecahkan tugas pengkodan kepada unit-unit kecil yang lebih khusus. Pendekatan ini nampaknya menghasilkan output yang lebih dipercayai dan berkualiti tinggi daripada pembantu AI.
Seorang pembangun berkongsi pengoptimuman aliran kerja mereka melalui skrip tersuai yang membantu menguruskan konteks kod:
- Skrip untuk menyediakan dan membersihkan cebisan kod untuk input LLM
- Skrip pendamping untuk membandingkan dan menggabungkan output LLM dengan kod sedia ada
- Keupayaan diff/merge berasaskan AST sedang dipertimbangkan untuk penambahbaikan masa hadapan
Perbandingan Prestasi
Perbincangan komuniti mendedahkan pandangan menarik tentang pembantu pengkodan AI yang berbeza:
-
GitHub Copilot (Versi Semasa) :
- Cemerlang dalam pelengkapan baris pendek dan inferens jenis TypeScript
- Kurang dipercayai untuk penjanaan kod berbilang baris
- Menunjukkan prestasi tidak konsisten dengan tugas kompleks
-
** Cursor** :
- Dilaporkan mempunyai keupayaan AI yang lebih unggul
- Isu antara muka dan pilihan pintasan papan kekunci telah dikritik
- Pengurusan konteks dirasakan kurang intuitif bagi sesetengah pengguna
Potensi Claude 3.5 Sonnet
Menurut pengumuman rasmi, Claude 3.5 Sonnet telah mencapai penanda aras yang memberangsangkan:
- Prestasi terbaik dalam SWE-bench untuk penyelesaian isu GitHub dunia sebenar
- Skor 93.7% dalam HumanEval untuk penjanaan fungsi Python
Pandangan Ke Hadapan
Integrasi melalui Amazon Bedrock mencadangkan kebolehpercayaan yang lebih baik melalui keupayaan inferens merentas wilayah. Semasa pelancaran berterusan dalam beberapa minggu akan datang, pembangun terutamanya berminat dengan:
- Integrasi VS Code secara langsung tanpa harga bayar-ikut-penggunaan
- Keupayaan pengurusan konteks yang ditambah baik
- Pengendalian yang lebih baik untuk senario pengkodan kompleks berbilang fail
Komuniti kelihatan optimistik tentang potensi Claude 3.5 Sonnet untuk menangani limitasi semasa dalam pembantu pengkodan AI, terutamanya dalam bidang di mana penyelesaian sedia ada telah menunjukkan kelemahan dalam pengurusan konteks dan ketepatan penjanaan kod.