Một tuần trước, Karpathy chia sẻ phương pháp 'long-form verbal prompts' của anh ta. Hàng trăm nghìn người reo hò. Tôi thấy một lỗ hổng khác. Không phải lỗi trong contract. Mà lỗi trong tư duy.
Hãy nhìn vào bối cảnh: AI đang được nhồi nhét vào mọi thứ, từ bot Discord cho đến cầu nối cross-chain. Karpathy, người đồng sáng lập OpenAI, nay ở Anthropic, nói rằng thay vì viết prompt tinh vi, hãy chỉ nói chuyện với AI như với một đồng nghiệp. Cho nó 10 phút audio lộn xộn. Để nó hỏi lại. Rồi nó hiểu bạn muốn gì. Nghe có vẻ hiệu quả. Trong thế giới AI, có thể. Trong thế giới blockchain? Là một cái bẫy.
Oracle lỗi. Không có gì mới dưới EVM.
Phần cốt lõi: Tôi đã kiểm toán hơn 400 contract. Tôi chưa từng thấy một lỗ hổng nghiêm trọng nào được phát hiện bằng một câu chuyện dài lê thê. Lỗi reentrancy, lỗi oracle, lỗi access control – chúng nằm trong các dòng code cụ thể. Một câu lệnh require sai. Một phép tính overflow. Không phải là một 'ý tưởng mơ hồ'. Karpathy nói 'nói cho AI nghe bạn muốn gì, nó sẽ hỏi vài câu để hiểu rõ hơn'. Nghe hay. Nhưng trong audit, sự mơ hồ giết chết bạn. Một câu hỏi của AI dựa trên dữ liệu audio lộn xộn có thể bỏ qua chính xác cái bug đang rình rập. Bởi vì AI không biết nó không biết. Nó chỉ biết những gì bạn nói. Bạn không nói đến một biến _owner được khai báo không đúng chỗ? AI sẽ không bao giờ hỏi. Nó nghĩ nó đã hiểu rồi.
Zero-day. Một nghìn lần fork. Cùng một lỗi. Đó là thực tế tôi thấy mỗi ngày. Các dự án fork Uniswap V2 rồi bị hack vì quên cập nhật oracle. Họ dùng AI để viết prompt cho test? Họ nói chuyện với Claude về 'logic thanh khoản'? Và họ nghĩ thế là đủ. Không, không đủ. Bởi vì AI không kiểm tra được bất biến của giao thức. Nó không nhìn thấy cái invariant bạn không biết là bạn cần kiểm tra. Karpathy khoe rằng phương pháp này giúp anh ta 'không cần suy nghĩ về cách nói'. Nhưng audit là tất cả về cách nói. Từng require, từng assert, từng phép tính += – bạn phải nói chính xác, không mơ hồ.
Tuy nhiên, có một phe bò. Tôi đã dùng 'dài dòng bằng giọng nói' trong một vài trường hợp: brainstorming với AI về kiến trúc một contract mới. Đổ hết ý tưởng ra. Để AI hỏi 'Có tính năng pause không?', 'Ai là owner?'. Nó giúp tôi nhìn ra các điểm mù trong giai đoạn thiết kế ban đầu. Nhưng đó là trước khi viết code. Một khi code được viết và deploy, phương pháp này vô dụng. Nó cũng giống như việc dùng miệng vẽ sơ đồ cầu – có thể hình dung đại khái, nhưng không thể tính được sức chịu tải. Và trong crypto, 'sức chịu tải' là số tiền có thể bị mất.
Takeaway: Bạn muốn một AI biết lắng nghe, hay một con bot lạnh lùng tra từng dòng bytecode? Tôi chọn cái sau. Khi bạn mất 10 triệu USD vì một lỗi mà AI 'trò chuyện' đã bỏ qua, đừng trách Karpathy. Hãy nhìn vào gương. Gương sẽ nói: 'Bạn đã dùng lời nói để kiểm toán một máy tính. Máy tính chỉ nghe thấy sự im lặng của lỗi.'