George Hotz , pengasas Comma.ai dan pencipta kerangka pembelajaran mesin tinygrad , telah menerbitkan kritikan pedas terhadap pendekatan perisian Tenstorrent . Komen beliau menyerlahkan kebimbangan yang semakin meningkat mengenai pengalaman pembangun syarikat cip AI ini dan lapisan abstraksi yang terlalu kompleks.
Tenstorrent , yang diketuai oleh arkitek cip legenda Jim Keller , telah meletakkan dirinya sebagai pesaing kepada NVIDIA dalam ruang pengkomputeran AI . Syarikat ini menjanjikan perkakasan yang lebih boleh diprogramkan berbanding GPU tradisional, tetapi Hotz berhujah bahawa mereka gagal mendedahkan kelebihan utama ini kepada pembangun.
Kekecewaan Pembangun dengan Pelbagai Lapisan Abstraksi
Kritikan teras tertumpu pada tumpukan perisian Tenstorrent yang mempunyai terlalu banyak lapisan abstraksi. Hotz secara khusus mengkritik pendekatan Low Level Kernel ( LLK ) mereka sebagai cacat secara asasnya, membandingkannya dengan membina istana di atas paya najis. Beliau menyokong pendekatan tiga lapisan yang lebih mudah: bahagian hadapan, pengkompil, dan masa jalan/pemacu.
Maklum balas komuniti menyokong kebimbangan ini. Pembangun berpengalaman yang sepatutnya menjadi pengguna awal yang ideal melaporkan bergelut untuk membuat kemajuan dengan alat Tenstorrent . Seorang pelajar PhD dalam pembelajaran mesin dengan pengalaman luas dalam pengaturcaraan sistem menyifatkan tidak dapat memahami semua abstraksi mereka yang pelbagai walaupun membaca dokumentasi dan menghadiri mesyuarat.
Pembangun lain cuba menjalankan Vision Language Model terkini pada perkakasan Blackhole Tenstorrent sepanjang hujung minggu tetapi membuat sedikit kemajuan, tersekat pada operasi yang tidak disokong yang merangkumi beberapa bahagian tumpukan perisian.
Struktur Tumpukan Perisian yang Disyorkan:
- Pendekatan semasa Tenstorrent: 7+ lapisan abstraksi termasuk LLK (Low Level Kernel)
- Pendekatan ringkas yang dicadangkan: 3 lapisan sahaja
- Frontend ( PyTorch , ONNX , tensor.py )
- Compiler (penempatan memori, penjadualan operasi, gabungan kernel)
- Runtime/Driver (pendedahan perkakasan, kompilasi, penghantaran, barisan gilir)
Masalah ELU sebagai Simbol Isu yang Lebih Mendalam
Hotz menggunakan fungsi pengaktifan Exponential Linear Unit ( ELU ) sebagai contoh kerumitan yang salah tempat. Beliau berhujah bahawa fungsi asas seperti ELU tidak sepatutnya memerlukan pelaksanaan khas pada tahap rendah tumpukan. Sebaliknya, ia sepatutnya disusun daripada operasi yang lebih mudah seperti fungsi ReLU dan eksponen.
Ini mencerminkan masalah organisasi yang lebih luas di mana jurutera cemerlang mungkin secara obsesif menala untuk kes penggunaan mereka sendiri tanpa mempertimbangkan pengalaman pembangun yang lebih luas. Hasilnya ialah sistem yang berfungsi untuk pasukan dalaman tetapi mencipta halangan untuk pembangun luar.
Isu Teknikal Utama yang Dikenal pasti:
- Pelaksanaan ELU: Seharusnya disusun sebagai
self.relu() - alpha*(1-self.exp()).relu()dan bukannya dikodkan secara keras pada tahap rendah - Masalah Abstraksi: LLK (Low Level Kernel) yang berada di bawah tt-metalium menghalang pendedahan perkakasan yang betul
- Halangan Pembangun: Abstraksi berbilang lapisan yang kompleks menyukarkan pembangun luar untuk melaksanakan model seperti Mixtral atau Pixtral
Kelebihan NVIDIA dan Jalan ke Hadapan
Kritikan ini datang pada masa yang genting untuk Tenstorrent . Seperti yang ditunjukkan oleh Hotz , syarikat ini tidak dapat bersaing dalam perjanjian pembuatan atau pelesenan harta intelek terhadap pemain yang sudah mantap seperti NVIDIA dan AMD . Satu-satunya kelebihan mampan mereka terletak pada mendedahkan kebolehprograman perkakasan mereka.
Tiada kepimpinan produk dalam reka bentuk API . Hanya ramai jurutera yang sangat cemerlang yang secara obsesif menala untuk kes penggunaan mereka sendiri, tidak mahu berkompromi dalam prestasi atau ekspresiviti untuk kebolehbacaan atau kebolehtulis.
Perbincangan komuniti mendedahkan bahawa platform perkakasan AI yang berjaya memerlukan lebih daripada sekadar kecemerlangan teknikal. Mereka memerlukan kepimpinan produk yang kuat yang memberi tumpuan kepada pengalaman pembangun dan disiplin untuk mengekalkan abstraksi yang bersih walaupun ia bermakna mengorbankan beberapa prestasi atau kemudahan dalaman.
Kesimpulan
Walaupun keupayaan perkakasan Tenstorrent mungkin mengagumkan, perjuangan komuniti pembangun menunjukkan syarikat ini perlu memikirkan semula pendekatan perisian mereka secara asasnya. Kritikan daripada pembangun berpengalaman yang sepatutnya menjadi penyokong semula jadi menunjukkan bahawa kecemerlangan teknikal sahaja tidak mencukupi untuk mencabar dominasi NVIDIA dalam pengkomputeran AI .
Jalan ke hadapan berkemungkinan memerlukan keputusan sukar mengenai memudahkan tumpukan perisian, walaupun ia bermakna pertukaran prestasi jangka pendek. Tanpa menangani isu pengalaman pembangun ini, Tenstorrent berisiko menjadi satu lagi syarikat cip AI yang menjanjikan tetapi gagal memperoleh daya tarikan pasaran yang bermakna.
Rujukan: tt-tiny