Adalah kebenaran sejagat tentang sifat manusia bahawa pembangun yang membina kod tidak seharusnya menjadi mereka yang menguji. Pertama-tama, kebanyakan daripada mereka agak benci tugas itu. Kedua, seperti protokol reviu yang baik, mereka yang melakukan kerja seharusnya bukan mereka yang mengesahkan.
Tidak menghairankan, maka, pengujian kod dalam semua bentuknya - ujian kebolehgunaan, ujian bahasa atau tugas khusus, pengujian end-to-end - telah menjadi tumpuan sebahagian besar startup AI generatif. Setiap minggu, TechCrunch meliputi yang lain seperti Antithesis (menaikkan $47 juta), CodiumAI (menaikkan $11 juta) dan QA Wolf (menaikkan $20 juta). Dan yang baru muncul setiap masa, seperti graduan baru Y Combinator Momentic.
Salah satunya adalah startup Nova AI berusia se tahun, yang merupakan grad lulusan Unusual Academy yang telah menaikkan $1 juta pra-benih. Ia cuba mengalahkan pesaingnya dengan alat pengujian end-to-endnya dengan menyusun banyak peraturan Silicon Valley tentang bagaimana startup harus beroperasi, pengasas/CEO Zach Smith memberitahu TechCrunch.
Manakala pendekatan standard Y Combinator adalah untuk memulakan dengan kecil, Nova AI bertujuan kepada perusahaan sederhana hingga besar dengan kod yang kompleks serta keperluan yang mendesak sekarang. Smith enggan menyebut sebarang pelanggan yang menggunakan atau menguji produknya kecuali untuk menerangkan mereka kebanyakannya pada peringkat akhir (Siri C atau seterusnya) startup e-dagang, fintech atau produk penggunaan, serta 'pengalaman penggunaan yang tinggi. Downtime bagi ciri-ciri tersebut adalah mahal."
Teknologi Nova AI menyaring melalui kod pelanggannya untuk membina ujian secara automatik menggunakan GenAI. Ia khasnya ditujukan kepada persekitaran integrasi berterusan dan penghantaran/pelancaran berterusan (CI/CD) di mana jurutera sentiasa menghantar serpihan-serpihan ke produksi kod mereka.
Hasil bagi Nova AI datang dari pengalaman Smith dan rakan kongsi beliau Jeffrey Shih ketika mereka bekerja sebagai jurutera untuk syarikat teknologi besar. Smith merupakan bekas pekerja Google yang bekerja dalam pasukan berkaitan awan yang membantu pelanggan menggunakan teknologi automasi yang banyak. Shih sebelum ini bekerja di Meta (juga di Unity dan Microsoft sebelum itu) dengan kejuruan AI langka yang melibatkan data sintetik. Mereka sejak itu menambah seorang pakar data saintis AI ketiga, Henry Li.
Peraturan lain Nova AI tidak mengikutinya: Sementara banyak startup AI sedang membangun di atas GPT unggul industri OpenAI, Nova AI sedikit mungkin menggunakan Chat GPT-4 OpenAI. Tiada data pelanggan yang dikirim ke OpenAI.
Walaupun OpenAI menjanjikan bahawa data orang yang berada dalam pelan perniagaan berbayar tidak digunakan untuk melatih modelnya, perusahaan masih tidak mempercayai OpenAI, kata Smith kepada kami. "Apabila kami bercakap dengan syarikat-syarikat besar, mereka berkata, 'Kami tidak mahu data kami masuk ke dalam OpenAI," kata Smith.
Pasukan kejurutera syarikat besar bukanlah satu-satunya yang merasa begitu. OpenAI sedang diuruskan oleh beberapa tuntutan mahkamah dari mereka yang tidak mahu ia menggunakan kerja mereka untuk latihan model, atau percaya kerja mereka berakhir, tanpa izin dan tanpa bayaran, dalam hasil keluarannya.
Nova AI sebaliknya bergantung secara meluas pada model sumber terbuka seperti Llama yang dibangunkan oleh Meta dan StarCoder (dari komuniti BigCoder, yang dibangunkan oleh ServiceNow dan Hugging Face), serta membina modelnya sendiri. Mereka masih belum menggunakan Gemma Google dengan pelanggan, tetapi telah mengujinya dan 'melihat hasil yang baik,' kata Smith.
Sebagai contoh, dia menjelaskan bahawa OpenAI menawarkan model untuk embedding vektor. Penggantian vektor menterjemahkan gumpalan teks menjadi nombor supaya LLM boleh melakukan pelbagai operasi, seperti mengelompokkan mereka dengan gumpalan teks yang serupa. Nova AI tidak menggunakan embedding OpenAI dan sebaliknya menggunakan sumber terbuka untuk ini pada kod sumber pelanggan. Mereka hanya menggunakan alat OpenAI untuk membantu menghasilkan beberapa kod dan melakukan beberapa tugas penandaan, dan sedang berusaha keras untuk tidak menghantar sebarang data pelanggan ke OpenAI.
"Dalam kes ini, daripada menggunakan model embedding OpenAI, kami menyediakan model embedding sumber terbuka sendiri supaya apabila kami perlu menjalankannya melalui setiap fail, kami tidak hanya menghantarnya ke OpenAI," jelas Smith.
Walaupun tidak menghantar data pelanggan ke OpenAI memuaskan perusahaan yang gelisah, model AI sumber terbuka juga lebih murah dan lebih daripada mencukupi untuk melakukan tugas tertentu yang ditarget, menurut penemuan Smith. Dalam kes ini, mereka berfungsi dengan baik untuk menulis ujian.
"Industri LLM sumber terbuka benar-benar membuktikan bahawa mereka boleh mengatasi GPT 4 dan penyedia domain besar ini, apabila anda sangat sempit," katanya. "Kami tidak perlu menyediakan model besar yang boleh memberitahu anda apa yang nenek anda mahu untuk hari lahirnya. Betul? Kami perlu menulis ujian. Itu sahaja. Jadi model kami diselaraskan khusus untuk itu."
Model sumber terbuka juga berkembang dengan cepat. Sebagai contoh, Meta baru-baru ini memperkenalkan versi baru Llama yang mendapat penghargaan dalam lingkaran teknologi dan mungkin meyakinkan lebih banyak startup AI untuk melihat alternatif OpenAI.
