Metodika
Srovnání má smysl jen tehdy, když všechny modely dostanou stejné podmínky. Takhle výstupy vznikají.
Stejný prompt
Každý model dostane přesně stejné zadání, znak po znaku. Prompt je u každého experimentu zveřejněný celý a můžeš si ho zkopírovat.
Jedna zpráva
Žádné navazující zprávy ani opravy. Počítá se, co model vrátí na první zprávu.
První pokus
Zveřejňuju první pokus. Když je u výstupu jiné číslo pokusu, je to u něj napsané i s důvodem.
Bez úprav
Výstup je tak, jak ho model napsal. Nic v něm neopravuju ani nedoplňuju.
Aplikace a nastavení
U každého výstupu je uvedeno, v jaké aplikaci vznikl a s jakým nastavením. U lokálních modelů i kvantizace a hardware, protože na obojím výsledek závisí.
Sandbox
Výstupy běží v izolovaném rámci bez přístupu k úložišti prohlížeče. Výstup, který se pokusí použít localStorage nebo cookies, otevřít dialog přes alert nebo odeslat formulář, proto může spadnout nebo neudělat nic. Platí to pro všechny modely stejně.
Co tu nenajdeš
Body ani žebříček. Výstupy jsou vedle sebe a hodnocení je na tobě.