Mengenal Computer Use di Claude 3.5 Sonnet: Fondasi AI Mengoperasikan Komputer
Meninjau pengumuman Anthropic pada 22 Oktober 2024 tentang Computer Use di Claude 3.5 Sonnet, hasil benchmark awal, serta pelajaran untuk otomasi kerja yang aman.
Pada 22 Oktober 2024, Anthropic memperkenalkan pembaruan Claude 3.5 Sonnet dengan kemampuan eksperimental computer use dalam public beta. Pengumuman tersebut menjadi salah satu langkah awal menuju AI yang dapat berinteraksi dengan antarmuka komputer: membaca layar, menggerakkan kursor, mengeklik tombol, dan mengetik teks.
Catatan waktu: Artikel ini meninjau pengumuman dan hasil pengujian pada 2024. Angka benchmark, status beta, dan perbandingan model di bawah merujuk pada waktu pengumuman tersebut, bukan pembaruan produk pada Oktober 2026 atau panduan harga dan ketersediaan saat ini.
Dari Menjawab Pertanyaan ke Mengoperasikan Antarmuka
Asisten berbasis percakapan biasanya memberikan jawaban yang kemudian dipindahkan sendiri oleh pengguna ke aplikasi lain. Dengan computer use, pengembang dapat menghubungkan model ke lingkungan komputer agar instruksi diterjemahkan menjadi tindakan pada antarmuka visual.
Dalam contoh Anthropic, pengguna dapat meminta sistem mengambil data dari komputer dan internet untuk mengisi formulir. Model memeriksa spreadsheet, membuka peramban, menavigasi halaman yang relevan, lalu mengisi kolom berdasarkan data yang ditemukan. Pelaksanaan tindakan membutuhkan integrasi yang disiapkan pengembang; model tidak otomatis memperoleh akses ke komputer pengguna.
Pada pengumuman 2024 itu, kemampuan beta disediakan melalui Anthropic API, Amazon Bedrock, dan Google Cloud Vertex AI. Anthropic juga memperkenalkan Claude 3.5 Haiku, yang menurut evaluasinya menyamai atau melampaui Claude 3 Opus pada berbagai pengujian. Informasi tersebut menggambarkan generasi produk saat itu.
Benchmark Awal: Coding, Tool Use, dan OSWorld
Menurut hasil yang dilaporkan Anthropic pada 2024, pembaruan Claude 3.5 Sonnet meningkatkan skor SWE-bench Verified dari 33,4% menjadi 49,0%. Pengujian ini menilai penyelesaian masalah rekayasa perangkat lunak. Pada TAU-bench, yang menguji interaksi agen dengan alat, skornya mencapai 69,2% pada domain ritel dan 46,0% pada domain maskapai.
Untuk penggunaan komputer, Anthropic melaporkan hasil OSWorld berikut:
- 14,9% pada kategori screenshot-only, dibandingkan 7,8% untuk sistem terbaik berikutnya dalam perbandingan yang dilaporkan saat itu.
- 22,0% ketika model diberi lebih banyak langkah untuk menyelesaikan tugas.
Angka tersebut menunjukkan kemajuan sekaligus keterbatasan. Hasil awal itu tidak berarti model dapat menyelesaikan seluruh pekerjaan komputer secara andal. Anthropic menyebut kemampuan ini masih eksperimental, dapat melakukan kesalahan, dan masih kesulitan pada tindakan seperti menggulir, menyeret, atau memperbesar tampilan.
Bagaimana Alur Computer Use Bekerja?
Secara sederhana, integrasi penggunaan komputer menjalankan siklus pengamatan dan tindakan:
- Lingkungan integrasi mengirim tangkapan layar kepada model.
- Model menafsirkan tampilan dan menentukan tindakan berikutnya, seperti mengeklik koordinat tertentu atau mengetik teks.
- Alat yang disediakan pengembang menjalankan tindakan tersebut.
- Tangkapan layar berikutnya membantu model menilai hasil dan melanjutkan tugas.
Pada peluncuran awal, Asana, Canva, Cognition, DoorDash, Replit, dan The Browser Company disebut telah mengeksplorasi kemampuan tersebut. Replit, misalnya, menggunakan navigasi antarmuka untuk mengembangkan fitur evaluasi aplikasi yang sedang dibuat dengan Replit Agent.
Keamanan: Akses Layar Membutuhkan Batas Tindakan
Kemampuan bertindak pada antarmuka memperluas dampak kesalahan AI. Instruksi berbahaya yang disisipkan ke halaman atau dokumen dapat memengaruhi tindakan agen. Karena itu, kemampuan penggunaan komputer perlu disertai pembatasan akses dan pengawasan.
Dalam pengumuman 2024, Anthropic menyatakan pengujian pra-penerapan dilakukan bersama US AI Safety Institute dan UK AI Safety Institute. Evaluasi internal terhadap risiko katastropik saat itu menempatkan model pada standar ASL-2. Klasifikasi tersebut tidak menjamin setiap integrasi atau tugas aman untuk dijalankan tanpa pengawasan.
Pelajaran praktisnya sejalan dengan pembahasan batas tindakan agen AI: mulai dari tugas berisiko rendah, gunakan lingkungan uji, batasi data yang dapat diakses, dan minta persetujuan manusia sebelum tindakan penting seperti mengirim pesan, mengubah data, atau melakukan transaksi.
Pelajaran untuk Profesional dan Bisnis di Indonesia
Konsep penggunaan antarmuka visual relevan untuk pekerjaan yang masih membutuhkan pemindahan data antar-aplikasi. Namun, manfaatnya perlu diuji pada proses nyata, bukan diasumsikan dari skor benchmark.
- Petakan satu tugas berulang. Tentukan masukan, langkah kerja, hasil yang diharapkan, serta titik yang membutuhkan pemeriksaan manusia.
- Uji dengan data yang tidak sensitif. Hindari memberi akses luas ke kredensial, informasi pelanggan, atau sistem produksi pada percobaan awal.
- Ukur keberhasilan dan kesalahan. Catat waktu penyelesaian, kebutuhan koreksi, dan kegagalan agar keputusan adopsi didasarkan pada hasil.
- Latih kemampuan supervisi. Pengguna tetap perlu memahami pekerjaan dan mengevaluasi hasil, sebagaimana dibahas dalam riset tentang AI, hasil kerja, dan keterampilan.
Pengumuman Computer Use pada 2024 membantu memperlihatkan arah perkembangan agen AI: dari penghasil teks menjadi pelaksana tindakan digital. Untuk menerapkannya, organisasi tetap perlu memeriksa dokumentasi produk terkini, menyiapkan batas wewenang, dan menguji keandalan sebelum memperluas penggunaan.
