DeepSeek telah melancarkan Sistem Fail Fire-Flyer (3FS), sistem fail teragih berprestasi tinggi yang direka khusus untuk beban kerja latihan dan inferens AI. Sistem ini telah dalam pembangunan sejak 2019, pada asalnya dicipta untuk aplikasi perdagangan frekuensi tinggi, dan kini telah dioptimumkan untuk corak akses data yang unik bagi latihan AI berskala besar.
Prestasi Luar Biasa untuk Beban Kerja Bacaan Rawak
3FS mencapai prestasi yang luar biasa, dengan ujian penanda aras menunjukkan daya pemprosesan bacaan kira-kira 6.6 TiB/s merentasi kelompok 180 nod storan. Tahap prestasi ini jauh mengatasi sistem fail teragih tradisional seperti Ceph, yang baru-baru ini meraikan pencapaian 1 TiB/s. Sistem ini direka khusus untuk corak bacaan rawak yang biasa dalam beban kerja latihan AI, di mana mekanisme cache tradisional memberikan sedikit manfaat.
Bagi mereka yang berminat, reka bentuk ini pada asalnya diterbitkan di sini... Sistem fail ini telah dibangunkan dan digunakan oleh mereka selama beberapa tahun. Berbanding dengan sistem fail tradisional, ia lebih fokus pada latihan model yang mengandungi banyak bacaan rawak. Cache bacaan dan pra-ambilan tidak berguna dalam kes ini.
Apa yang menjadikan 3FS unik adalah pengabaian sengaja terhadap cache bacaan dan pra-ambilan—ciri yang menjadi asas dalam sistem fail konvensional tetapi tidak menawarkan kelebihan untuk beban kerja latihan AI di mana data jarang digunakan semula dalam jangka pendek. Sebaliknya, 3FS menggunakan antara muka Linux-based AIO dan io_uring dengan mod Direct I/O, memintasi cache fail sepenuhnya untuk mengelakkan penggunaan memori yang tidak perlu.
 |
|---|
| Metrik prestasi yang menunjukkan keupayaan bacaan rawak yang luar biasa daripada Sistem Fail Fire-Flyer |
Seni Bina dan Pelaksanaan Teknikal
Sistem ini menggunakan seni bina yang terpisah yang menggabungkan daya pemprosesan ribuan SSD dengan lebar jalur rangkaian beratus-ratus nod storan. Ia melaksanakan Chain Replication with Apportioned Queries (CRAQ) untuk konsistensi yang kuat dan menggunakan perkhidmatan metadata tanpa keadaan yang disokong oleh storan nilai kunci transaksional.
Walaupun 3FS menggunakan FUSE untuk pengurusan metadata, mencapai prestasi tinggi memerlukan aplikasi untuk dihubungkan secara langsung ke pustaka klien C++ untuk bacaan dan penulisan. Pilihan reka bentuk ini telah mencetuskan beberapa perbincangan dalam komuniti tentang sama ada ini mengehadkan kegunaan umum, walaupun pengikatan Python tersedia untuk meningkatkan kebolehcapaian.
Kelompok penanda aras yang mencapai daya pemprosesan 6.6 TiB/s terdiri daripada 180 nod storan, masing-masing dilengkapi dengan 2x200Gbps InfiniBand NICs dan enam belas 14TiB NVMe SSDs, dengan kira-kira 500+ nod klien untuk ujian tekanan bacaan. Konfigurasi ini menunjukkan keupayaan sistem untuk berskala dengan berkesan merentasi kelompok besar.
Sorotan Prestasi 3FS:
- Pemprosesan Puncak: 6.6 TiB/s kadar bacaan merentasi 180 nod storan
- Konfigurasi Nod: Setiap nod storan dilengkapi dengan 2x200Gbps NIC InfiniBand dan enam belas 14TiB SSD NVMe
- Prestasi GraySort: Menyusun 110.5 TiB data dalam masa 30 minit dan 14 saat (3.66 TiB/min)
- Prestasi KVCache: Kadar bacaan puncak sehingga 40 GiB/s
Perbandingan dengan Ceph:
- 3FS: 180 nod, 2x200Gbps InfiniBand, 16x 14TiB SSD NVMe setiap nod, ~500 klien, 6.6 TiB/s kadar bacaan
- Ceph: 68 nod, 2x100Gbps Mellanox, 10x 14TiB SSD NVMe setiap nod, 504 klien, 1 TiB/s kadar bacaan rawak
 |
|---|
| Metrik daya pemprosesan pelayan yang menggambarkan penskalaan dan prestasi berkesan seni bina terpisah dalam 3FS |
Kedudukan Di Kalangan Pesaing
Perbincangan komuniti menyoroti bahawa 3FS memasuki bidang yang didominasi oleh penyelesaian mapan seperti Lustre dan pilihan lebih baru seperti Weka untuk storan teragih berprestasi tinggi. Sistem storan objek tradisional seperti MinIO, Ceph, dan SeaweedFS secara umumnya dianggap terlalu perlahan untuk permintaan daya pemprosesan ekstrem latihan AI berskala besar.
Lustre kekal sebagai sistem fail selari teragih yang utama tetapi terkenal sukar untuk dipasang dan dikendalikan. 3FS bertujuan untuk menyediakan prestasi yang setanding atau lebih baik dengan seni bina yang lebih moden dan mudah diurus. Daya pemprosesan sistem 6.6 TiB/s jauh mengatasi pencapaian terbaru Ceph sebanyak 1 TiB/s, yang dicapai dengan kelompok yang lebih kecil iaitu 68 nod.
Di Luar Latihan: KVCache untuk Inferens
Selain akses data latihan, 3FS juga menawarkan fungsi KVCache, yang mengoptimumkan inferens LLM dengan menyimpan vektor kunci dan nilai dari token sebelumnya dalam lapisan decoder. Ciri ini membantu mengelakkan pengiraan berulang semasa inferens, dengan keputusan penanda aras menunjukkan daya pemprosesan bacaan puncak mencapai sehingga 40 GiB/s.
Keupayaan ini kelihatan sebagai sebahagian daripada strategi DeepSeek untuk perkhidmatan inferens yang kos efektif, berpotensi menjelaskan bagaimana mereka boleh menawarkan harga yang kompetitif pada cache prompt.
Pelancaran 3FS menambah kepada portfolio alat infrastruktur DeepSeek yang semakin berkembang, berikutan penerbitan terbaru mereka mengenai komponen lain dalam tindanan AI mereka. Seperti yang dicatatkan oleh seorang pengulas, latar belakang syarikat dalam perdagangan frekuensi tinggi, di mana prestasi diukur dalam nanosaat dan bukannya milisaat, berkemungkinan telah mempengaruhi pendekatan mereka dalam membina infrastruktur AI berprestasi tinggi.
Bagi organisasi yang bergelut dengan kos tinggi dan batasan prestasi penyelesaian sedia ada seperti AWS EFS, 3FS mungkin mewakili alternatif yang menjanjikan, walaupun sifatnya yang khusus bermakna ia paling sesuai untuk beban kerja AI tertentu dan bukannya keperluan storan tujuan umum.
Rujukan: Fire-Flyer File System