Am 3. Juni gaben führende Blockchain- und KI-Organisationen, darunter EigenLayer, Cyber und Sentient, die Gründung der CAIBA – Crypto AI Benchmark Alliance bekannt. Ziel dieser Community-geführten Initiative ist es, transparente Standards für die Bewertung von KI-Modellen und Krypto-Agenten zu setzen.
Die Mitglieder der Allianz sind 14 Organisationen: Alchemy, Cyber, EigenLayer, Goldsky, IOSG, LazAI, Magic Newton, Metis, MyShell, OpenGradient, RootData, Sentient, Surf, Thirdweb.
Diese Unternehmen stellen Datensätze, Tools und Fachwissen zur Verfügung, um ein Benchmarking-Framework zu entwickeln. Jeder Benchmark wird offen auf Entwicklerplattformen veröffentlicht und besteht aus definierten Aufgaben, Referenzlösungen und Bewertungsskripten.
Ein Benchmark für CAIA – Crypto AI Agents – ist die erste Version der Allianz und ist bereits verfügbar. Der Benchmark bietet präzise Antworten auf Protokoll- und Tokenbezogene Fragen und beschreibt mehrstufige Aufgaben sowie Tools wie Block-Explorer und APIs zur Aufgabenerledigung. CAIA umfasst Aufgaben zu Tokenomics, On-Chain-Analyse, Projektforschung und Transaktions-Workflows.
Neue Benchmarks sind in Arbeit, und die Allianz freut sich über neue Mitwirkende. Entwickler, Forscher und Protokollführer sind herzlich eingeladen, sich zu beteiligen, indem sie Modelle zur Evaluierung einreichen oder neue Benchmark-Aufgaben vorschlagen.
Bild: CAIBA