RWKV-X: Nieuwe Architectuur voor Lange Context
RWKV-X is een nieuwe hybride architectuur die RWKV combineert met sparse aandacht voor efficiënte lange context taalmodellering, en biedt verbeterde prestaties en snelheid.
Tag: RWKV
RWKV-7 'Goose': Nieuwe Koers voor Efficiënte Sequentiemodellen
RWKV-7 'Goose' zet nieuwe benchmarks voor recurrente architecturen. Het biedt state-of-the-art meertalige prestaties op 3B-schaal met lineaire complexiteit en constant geheugengebruik tijdens inferentie, wat de dominantie van Transformer uitdaagt. Open-source uitgebracht met modellen en data.