OpenAI-მ წარმოადგინა ახალი სისტემა სახელწოდებით EVMbench, რომელიც შექმნილია იმის გასაზომად, თუ რამდენად კარგად შეუძლიათ ხელოვნური ინტელექტის აგენტებს კრიპტო სმარტ კონტრაქტებში უსაფრთხოების ხარვეზების პოვნა და გამოსწორება. კომპანიამ 18 თებერვალს განაცხადა, რომ მან შეიმუშავა EVMbench Paradigm-თან პარტნიორობით. ბენჩმარკი ფოკუსირებულია Ethereum ვირტუალური მანქანისთვის შექმნილ კონტრაქტებზე და მიზნად ისახავს შეამოწმოს, თუ როგორ მუშაობენ AI სისტემები რეალურ ფინანსურ გარემოში. OpenAI-მ განაცხადა, რომ სმარტ კონტრაქტები ამჟამად უზრუნველყოფს 100 მილიარდ დოლარზე მეტ ღია კოდის კრიპტო აქტივებს, რაც უსაფრთხოების ტესტირებას სულ უფრო მნიშვნელოვანს ხდის, რადგან AI ინსტრუმენტები უფრო ქმედითი ხდება. EVMbench აფასებს AI აგენტებს სამ ძირითად ამოცანაში: დაუცველობის აღმოჩენა, ხარვეზიანი კოდის გამოსწორება და სიმულირებული შეტევების განხორციელება. სისტემა აგებულია 120 მაღალი რისკის საკითხის გამოყენებით, რომლებიც აღებულია 40 წარსული უსაფრთხოების აუდიტიდან, რომელთაგან ბევრი საჯარო აუდიტის კონკურსებიდანაა. დამატებითი სცენარები აღებულია Tempo ბლოკჩეინის მიმოხილვებიდან, გადახდებზე ორიენტირებული ქსელიდან, რომელიც შექმნილია სტაბილკოინის გამოყენებისთვის. ეს შემთხვევები დაემატა იმის ასახვისთვის, თუ როგორ გამოიყენება სმარტ კონტრაქტები ფინანსურ აპლიკაციებში. სატესტო გარემოს შესაქმნელად, OpenAI-მ მოარგო არსებული ექსპლოიტის სკრიპტები და შექმნა ახალი საჭიროების შემთხვევაში. ყველა ექსპლოიტის ტესტი გაშვებულია იზოლირებულ სისტემებში და არა ცოცხალ ქსელებში, და მხოლოდ ადრე გამჟღავნებული დაუცველობებია შეტანილი. აღმოჩენის რეჟიმში, აგენტები განიხილავენ კონტრაქტის კოდს და ცდილობენ ცნობილი უსაფრთხოების ხარვეზების იდენტიფიცირებას. პატჩის რეჟიმში, მათ უნდა გამოასწორონ ეს ხარვეზები პროგრამული უზრუნველყოფის გაფუჭების გარეშე. ექსპლოიტის რეჟიმში, აგენტები ცდილობენ თანხების გამოტანას დაუცველი კონტრაქტებიდან კონტროლირებად გარემოში. OpenAI-მ განაცხადა, რომ შემუშავდა მორგებული ტესტირების ფრეიმვორკი იმის უზრუნველსაყოფად, რომ შედეგები იყოს რეპროდუცირებადი და გადამოწმებადი. კომპანიამ EVMbench-ის გამოყენებით რამდენიმე მოწინავე მოდელი გამოსცადა. ექსპლოიტის რეჟიმში, GPT-5.3-Codex-მა მიაღწია 72.2%-იან ქულას, შედარებით 31.9%-თან GPT-5-ისთვის, რომელიც ექვსი თვით ადრე გამოვიდა. აღმოჩენისა და პატჩის ქულები უფრო დაბალი იყო, რაც აჩვენებს, რომ ბევრი დაუცველობა კვლავ რთულია AI სისტემებისთვის. მკვლევარებმა აღნიშნეს, რომ აგენტები საუკეთესოდ მუშაობდნენ, როდესაც მიზნები ნათელი იყო, მაგალითად, თანხების გამოტანა. შესრულება შემცირდა, როდესაც ამოცანები მოითხოვდა უფრო ღრმა ანალიზს, როგორიცაა დიდი კოდების ბაზების განხილვა ან დახვეწილი შეცდომების გამოსწორება. OpenAI-მ აღიარა, რომ EVMbench სრულად არ ასახავს რეალურ სამყაროს პირობებს. ბევრი ძირითადი კრიპტო პროექტი გადის უფრო ფართო მიმოხილვებს, ვიდრე მონაცემთა ნაკრებში შეტანილი. ზოგიერთი დროზე დაფუძნებული და მრავალჯაჭვიანი შეტევა ასევე სისტემის ფარგლებს გარეთაა. კომპანიამ განაცხადა, რომ ბენჩმარკი მიზნად ისახავს AI-ის თავდაცვითი გამოყენების მხარდაჭერას კიბერუსაფრთხოებაში. რადგან AI ინსტრუმენტები უფრო ძლიერი ხდება, ისინი შეიძლება გამოყენებულ იქნას როგორც თავდამსხმელების, ასევე აუდიტორების მიერ. მათი შესაძლებლობების გაზომვა განიხილება, როგორც რისკის შემცირებისა და პასუხისმგებლიანი განლაგების წახალისების გზა. გამოშვებასთან ერთად, OpenAI-მ განაცხადა, რომ ის აფართოებს უსაფრთხოების პროგრამებს და ინვესტირებას ახორციელებს 10 მილიონ დოლარს API კრედიტებში ღია კოდის და ინფრასტრუქტურის დაცვის მხარდასაჭერად. ყველა EVMbench ინსტრუმენტი და მონაცემთა ნაკრები საჯარო გახდა შემდგომი კვლევის მხარდასაჭერად.