Kemunculan alat pengujian berkuasa AI sedang mengubah cara pembangun mendekati jaminan kualiti untuk aplikasi web. Magnitude, rangka kerja pengujian sumber terbuka yang memanfaatkan agen AI visual, baru-baru ini telah mencetuskan perbincangan penting dalam kalangan pembangun mengenai keseimbangan antara pengujian deterministik dan kebolehsuaian AI.
Seni Bina Dua Model: Perancangan lawan Pelaksanaan
Teras pendekatan Magnitude adalah pemisahan yang jelas antara fungsi perancangan dan pelaksanaan. Rangka kerja ini menggunakan dua model AI yang berbeza: perancang (biasanya model yang lebih besar dan lebih berkemampuan seperti Gemini 2.5 Pro) yang membangunkan strategi pengujian keseluruhan, dan pelaksana (Moondream, model parameter 2B yang lebih kecil) yang mengendalikan interaksi UI sebenar dengan ketepatan tahap piksel.
Seni bina ini menangani cabaran asas dalam pengujian berasaskan AI: bagaimana untuk menjadikan ujian boleh suai dan konsisten. Seperti yang dijelaskan oleh pasukan Magnitude dalam perbincangan komuniti, perancang membina rancangan umum yang dilaksanakan oleh pelaksana. Inovasi utama adalah rancangan ini boleh disimpan dan dijalankan semula hanya menggunakan pelaksana untuk ujian berikutnya, menjadikan ujian berulang lebih cepat, lebih murah, dan lebih konsisten.
Di sinilah ia menjadi menarik, kita boleh menyimpan rancangan pelaksanaan yang dihasilkan oleh model besar dan menjalankannya HANYA dengan Moondream jika rancangan itu cukup spesifik. Kemudian beralih kembali kepada model besar jika sesuatu laluan tindakan memerlukan pelarasan.
Apabila perubahan antara muka berlaku yang mungkin merosakkan ujian tradisional, sistem boleh secara dinamik kembali kepada model perancang untuk melaraskan strategi ujian, menyediakan gabungan konsistensi dan kebolehsuaian yang sukar dicapai oleh rangka kerja pengujian tradisional.
Seni Bina Pengujian Dua-Model Magnitude
-
Model Perancang
- Disyorkan: Gemini 2.5 Pro
- Alternatif: Model-model dari Anthropic, OpenAI, AWS Bedrock, dan lain-lain
- Fungsi: Membangunkan strategi pengujian keseluruhan dan menyesuaikan diri dengan perubahan antara muka
-
Model Pelaksana
- Kini hanya menyokong Moondream (2B parameter)
- Fungsi: Mengendalikan interaksi UI dengan ketepatan tahap piksel
- Kelebihan: Pelaksanaan yang pantas, murah, dan konsisten
- Harga: Moondream menawarkan 5,000 permintaan percuma setiap hari (versi awan)
Ciri-ciri Utama
- Penciptaan kes ujian dalam bahasa semula jadi
- Penyimpanan cache rancangan untuk pelaksanaan ujian yang konsisten
- Pengembalian dinamik kepada perancang apabila antara muka berubah
- Integrasi CI/CD serupa dengan Playwright
- Pilihan hos sendiri tersedia untuk Moondream
Perbahasan Determinisme
Salah satu kebimbangan paling menonjol yang dibangkitkan dalam perbincangan komuniti berkisar pada determinisme ujian. Ujian automatik tradisional dihargai kerana konsistensi dan kebolehramalannya, sementara pendekatan berasaskan AI secara semula jadi memperkenalkan tahap ketidakdeterminisme.
Pembangun Magnitude telah menangani kebimbangan ini dengan menjelaskan bahawa seni bina mereka direka khusus dengan determinisme dalam fikiran. Berbanding menghasilkan ujian berasaskan kod yang rapuh yang rosak apabila antara muka berubah, Magnitude menyimpan rancangan tindakan web yang diterangkan dalam bahasa semula jadi. Sebagai contoh, tindakan menaip yang disimpan mungkin termasuk penerangan bahasa semula jadi tentang sasaran dan kandungan untuk ditaip, membolehkan model pelaksana mencari sasaran dengan pasti tanpa bergantung pada pemilih DOM.
Pendekatan ini bermakna selagi antara muka kekal sebahagian besarnya tidak berubah, ujian boleh dijalankan secara konsisten menggunakan rancangan yang disimpan. Apabila perubahan antara muka yang ketara berlaku, sistem secara bijak kembali kepada model perancang untuk menyesuaikan ujian, mencipta rancangan baru yang disimpan yang boleh dilaksanakan secara konsisten sehingga perubahan besar seterusnya.
Melampaui Pengujian Tradisional: Kebolehcapaian dan Kebolehgunaan
Satu topik menarik dalam perbincangan komuniti meneroka bagaimana pengujian berasaskan AI mungkin melangkaui pengujian fungsi tradisional ke dalam penilaian kebolehcapaian dan kebolehgunaan. Seorang pengulas menunjukkan bahawa bergantung semata-mata pada pengujian visual mungkin membebaskan pembangun daripada tanggungjawab mengenai kebimbangan kebolehcapaian.
Sebagai respons, pasukan Magnitude mengakui batasan ini dan menyatakan minat dalam membangunkan ujian kebolehcapaian selari yang akan dijalankan bersama ujian visual tetapi terhad kepada penggunaan pokok kebolehcapaian sahaja. Pendekatan ini boleh membantu pembangun mengenal pasti isu kebolehcapaian dengan lebih berkesan dengan mensimulasikan pelbagai jenis kecacatan atau kekangan.
Beberapa ahli komuniti juga telah mencadangkan bahawa sifat tidak deterministik pengujian AI sebenarnya boleh dimanfaatkan sebagai kelebihan untuk pengujian kebolehgunaan. Dengan menganalisis kadar kejayaan merentasi beberapa ujian, pembangun mungkin mendapat pandangan tentang bagaimana kedua-dua agen AI dan manusia berinteraksi dengan antara muka mereka, berpotensi mendedahkan isu kebolehgunaan yang akan terlepas oleh ujian deterministik.
Pertimbangan Kos dan Prestasi
Komuniti telah menunjukkan minat khusus dalam bagaimana Magnitude mengimbangi kos dan prestasi. Pendekatan dua model menangani kebimbangan ini secara langsung: model perancang yang mahal dan berkuasa digunakan secara berhemat untuk membangun dan melaraskan strategi ujian, sementara model pelaksana yang lebih kecil dan lebih pantas mengendalikan sebahagian besar pelaksanaan ujian.
Pendekatan ini mengurangkan kos secara ketara berbanding penyelesaian yang bergantung secara eksklusif pada model besar seperti yang digunakan dalam Computer Use OpenAI atau Claude Anthropic. Moondream, yang hanya model parameter 2B, adalah lebih cepat dan lebih murah untuk dijalankan, dengan pilihan hos sendiri tersedia untuk pasukan dengan keperluan penempatan khusus.
Ketika pengujian aplikasi web terus berkembang, rangka kerja seperti Magnitude mewakili jalan tengah yang menarik antara pengujian automatik tradisional dan pendekatan yang dipacu sepenuhnya oleh AI. Dengan menggabungkan kekuatan pelbagai model AI secara bijak dan menyimpan rancangan pelaksanaan, mereka menawarkan gambaran bagaimana pengujian mungkin berkembang untuk menjadi lebih boleh suai dan lebih cekap pada masa hadapan.
Rujukan: Magnitude: The open source, Al-native testing framework for web apps