20. oktobra je RoboColiseum, embodied arena, ki so jo skupaj ustanovili skoraj 20 univerz, podjetij in raziskovalnih institucij po vsem svetu, vključno z Mifen Technology, Hugging Face, NVIDIA in univerzo Tsinghua, objavil rezultate letošnjega ocenjevanja: Claude Opus 5.5 se je uvrstil na prvo mesto med štirimi vrhunskimi modeli, tesno mu sledi GPT-6 Astra.
Gledano po posameznih kategorijah med štirimi vrhunskimi modeli GPT-6 Astra vodi pri sledenju navodilom in splošnem prilagajanju motnjam, pri čemer je pri sledenju navodilom dosegel oceno 99,35; Opus je boljši pri prostorskem razumevanju in splošnem upravljanju ter je z najmanjšo porabo žetonov v vseh krogih ocenjevanja osvojil prvo mesto v skupini vrhunskih modelov. Pri testu z motnjami kakovosti slike je GPT-6.1 Sol opazno zaostajal za drugimi tremi modeli, kar kaže na razlike v stabilnosti različnih modelov pri spopadanju s spremembami vizualnih informacij.
Toda prvi dve mesti v letošnji skupni razvrstitvi še vedno zasedata models embodied strategij, ki ohranjata prednost zlasti v dimenziji splošnega upravljanja.
Ta skupni obračun ponuja industriji neposreden referenčni vpogled v prednosti in pomanjkljivosti splošnih velikih modelov ter modelov embodied strategij.
RoboColiseum na podlagi sledenja navodilom, prostorskega razumevanja, prilagajanja motnjam in splošnega upravljanja uvaja štiri podlestvice sposobnosti in 78 visokozvestih simulacijskih ocenjevalnih nalog, ki ne prikazujejo le rezultatov modelov po posameznih kategorijah, temveč beležijo tudi korake izvedbe nalog in mesta neuspeha, kar razvijalcem pomaga hitro prepoznati pomanjkljivosti v sposobnostih modelov.
Kot soustanovitelj Mifen za RoboColiseum zagotavlja visokozveste objekte in simulacijska okolja, podpira gradnjo ocenjevalnih okolij za kompleksne naloge robotskega upravljanja ter zagotavlja osnovne vire za testiranje sposobnosti modelov pri interakciji z različnimi objekti, prostorskih postavitvah in okoljskih pogojih.
Ali lahko rezultati modelov v simulaciji odražajo dejansko delovanje v realnem okolju, je prav tako ključno vprašanje ocenjevanja. Glede na rezultate dejanskih meritev, ki jih je platforma objavila, korelacija med simulacijskim ocenjevanjem RoboColiseum in namestitvijo na resničnem robotu dosega 89,5 %, razlika v ocenjevanju istega modela med simulacijo in resničnim svetom pa je manjša od 10 %, kar lahko razvijalcem služi kot referenca pri izbiri modelov in prepoznavanju težav pred prehodom na testiranje na resničnem robotu.
Mifen Technology ponuja podatkovni sistem »popoln, kakovosten in hiter«, ki pokriva tri glavne podatkovne paradigme: resnične robote, simulacijo in brez telesa. Na področju simulacije Mifen zagotavlja dve vrsti virov, objekte in okolja, ki pokrivajo vrsto vsakodnevnih predmetov in notranjih scenarijev, ter ponuja zmožnosti, kot so rekonstrukcija scenarijev, pridobivanje podatkov o ekspertnih trajektorijah in vizualizacija rezultatov ocenjevanja, kar modelskim ekipam pomaga izvajati raznoliko usposabljanje in ocenjevanje.
Coliseum prvotno označuje starorimski amfiteater, RoboColiseum pa to podobo uporablja kot izhodišče za gradnjo večdimenzionalnega sistematičnega ocenjevalnega sistema, ki s simulacijskim ocenjevanjem, visoko skladnim z delovanjem na resničnem robotu, embodied inteligentnim modelom postavlja javno, nevtralno in ponovljivo »arenov« in »poligon za usposabljanje«. Vsaka univerza, raziskovalna institucija ali razvijalec podjetja lahko svoj model odda in se podvrže standardiziranemu »izpitu«. Od začetka delovanja avgusta je več kot 100 ekip doma in v tujini na platformi izvajalo usposabljanje in ocenjevanje modelov.
RoboColiseum je zdaj odprt za razvijalce po vsem svetu in modelske ekipe vabimo k sodelovanju pri ocenjevanju.
