--- title: "Menyampaikan trafik pembantu AI" url: https://cv.tanghoong.com/ms/work/ai-assistant-queue-architecture/ locale: ms description: "Membina semula seni bina pembantu sokongan AI ke atas baris gilir dengan tinjauan di pihak klien, supaya tiada had masa get laluan menguasai perbualan dan tiada pelanggan menunggu di belakang pelanggan lain." --- # Menyampaikan trafik pembantu AI tanpa memegang sambungan terbuka > Membina semula seni bina laluan permintaan bagi pembantu sokongan pelanggan AI supaya perbualan dibaris-gilirkan dan ditinjau, ⛔ bukan dipegang terbuka pada sambungan segerak — telah dihantar dan digabungkan. - **Peranan:** Senior Web Developer - **Keupayaan:** AI gunaan · Seni bina · Kebolehharapan - **Bidang:** Platform e-dagang beroperasi dengan pembantu sokongan AI - **Perubahan:** Laluan permintaan segerak → baris gilir dengan tinjauan di pihak klien ## Konteks Sebuah platform e-dagang yang sedang beroperasi dengan pembantu sokongan pelanggan AI yang melayani pelanggannya, di samping aliran kerja perniagaan platform itu sendiri yang sudah mantap. ## Masalah dan kekaburan Ada satu ketidakpadanan struktur di tengah-tengah setiap produk LLM: satu giliran model bahasa lazimnya mengambil puluhan saat, dan segala yang dilalui oleh permintaan web dalam perjalanan ke model itu — get laluan, tembok api, proksi — mempunyai bajet had masa yang direka untuk permintaan yang mengambil milisaat. Oleh itu reka bentuk segerak mempunyai dua mod kegagalan serentak. Yang jelas ialah jawapan yang perlahan boleh melebihi had di suatu tempat dalam laluan itu. Yang orang terlepas pandang ialah semasa ia berjalan, ia menduduki laluan itu, jadi pelanggan seterusnya menunggu di belakangnya. Kedua-duanya kelihatan sama dari luar: AI itu perlahan. ⛔ Kedua-duanya bukan masalah model. ## Peranan saya Saya bekerja pada sistem sokongan pelanggan AI syarikat itu — struktur pengetahuan, penghalaan respons, integrasi alat, pengendalian sesi, penilaian, kawalan keselamatan dan peningkatan kepada manusia — dan saya mereka serta menghantar perubahan pada laluan permintaan yang diterangkan di sini. Saya juga menyelenggara platform e-dagang yang beroperasi di sekelilingnya. ## Mengenal pasti keperluan Soalan yang berguna bukan "bagaimana kita jadikan model ini lebih laju" tetapi "apa dalam laluan ini yang menjangkakan permintaan selesai dengan cepat, dan apa yang berlaku kepada semua orang lain apabila satu permintaan tidak selesai?" Menjawabnya menukar masalah ini daripada penalaan model kepada seni bina sambungan. ## Seni bina dan pertukaran Berpindah keluar daripada pengendalian segerak. Permintaan dimasukkan ke baris gilir; pelayar meninjau setiap beberapa saat dan memaparkan jawapan apabila ia sedia. Tiada apa-apa yang memegang sambungan terbuka, jadi tiada siling had masa dalam laluan itu yang menguasai perbualan, dan pelanggan dilayan serentak, ⛔ bukan beratur di belakang satu sama lain. Kosnya ialah klien yang sedikit lebih rumit dan keadaan menunggu yang kelihatan — pertukaran yang saya akan buat sekali lagi, kerana pilihan yang satu lagi gagal secara senyap dan tidak adil. ## Pelaksanaan dan integrasi Pekerja baris gilir di atas rangka kerja sedia ada platform itu, dengan tinjauan di pihak klien, serta pengendalian cuba semula dan ralat di sekeliling panggilan model. Dua kawalan lagi datang bersamanya: sesi yang melahu akan tamat — perbualan yang sunyi akan ditegur, dan jika tiada balasan ia ditutup dan melepaskan kapasiti yang dipegangnya — dan permintaan yang lebih ringan dihalakan ke tingkat model yang lebih kecil, ⛔ bukan setiap panggilan pergi ke model terbesar. Itulah kawalan kos inferens paling mudah yang tidak menjejaskan jawapan yang benar-benar penting. ## Kawalan operasi Pengendalian cuba semula dan ralat di sekeliling panggilan model; pengurusan kitaran hayat sesi; dan pendekatan penilaian yang sedang direka ke dalam sistem, ⛔ bukan dipasang kemudian — termasuk ketepatan apabila satu balasan memerlukan beberapa maklumat dicari dan digabungkan, dan tingkah laku di bawah ujian bersifat menyerang dan kejuruteraan sosial. Penilaian itu sedang dibina, ⛔ bukan pengukuhan yang sudah dihantar — saya sedang menerangkan reka bentuk, ⛔ bukan mendakwa satu keputusan. ## Kesan Pembinaan semula seni bina itu telah siap dan digabungkan ke dalam platform. Tiada angka prestasi diterbitkan untuk kerja ini, dan tiada yang akan diterbitkan — saya tidak mempunyai keputusan operasi yang boleh saya dakwa dengan jujur. ## Pengajaran yang boleh digunakan semula Apabila sesuatu ciri AI disifatkan sebagai perlahan, ukur laluannya sebelum anda menyentuh modelnya. Pada pengalaman saya, model itu biasanya melakukan apa yang ia sentiasa lakukan, dan seni bina di sekelilingnya yang menukar pengalaman pengguna — dan penyelesaiannya hampir selalu ialah berhenti memegang sambungan terbuka. ## Bukti awam Tiada apa-apa daripada pembantu pelanggan itu diterbitkan — tidak struktur pengetahuannya, tidak gesaannya, tidak set penilaiannya, tidak juga sebarang angka prestasi. Mekanisme yang diterangkan di atas bersifat umum dan bukan hak milik pelanggan itu; pelaksanaan bebas di atas kandungan saya sendiri ialah sistem yang berlainan, dan tiada kaitan dengan perniagaan majikan tersebut.