Jonas retweeted
We made open models run over 2x faster than Ollama, without any new hardware
Introducing Magnitude, an open source inference engine that runs open models as fast as your hardware allows. It tunes its kernels on your machine to find the fastest way to run each model
Works on Apple Silicon, NVIDIA, AMD, or just a CPU
On average across 11 popular local models:
Mac M4 Pro vs Ollama (MLX) 1.32x faster prefill, 2.19x faster decode
DGX Spark vs Ollama (llama.cpp) 1.34x faster prefill, 2.17x faster decode
Ollama, LM Studio, and llama.cpp ship one-size-fits-all kernels, because tuning each model for each chip by hand would take forever
Magnitude tunes them automatically. When you download a model, it spends up to a minute on your actual chip trying different ways to split up the math (how many GPU threads team up, how big a chunk each one takes, how far ahead to load data) and keeps the fastest combination that doesn't change the model's output
Each model also comes paired with the best speculative decoding drafter, for even more speed
One click connects Magnitude to the agent you already use (Pi, OpenCode, Hermes, Codex, and more). It's also built specifically for agents:
• Each agent uses about half the memory, thanks to a quantized KV cache
• Memory grows and shrinks with your sessions, so your computer stays usable
• Agents share prefix caches, so several can run at once without slowing down
Next, we're working on getting even more out of your hardware:
• Expert streaming from RAM or disk, to run models bigger than your GPU allows
• Splitting one model across all your GPUs and CPU so nothing sits idle
• Attention pruning that skips low-impact math, for much faster prefill
Ships as a desktop app on Mac, Windows, and Linux
100% free and open source
Download → magnitude.dev/download
GitHub → github.com/magnitudedev/magn…
Jonas retweeted
Äntligen sakpolitik! Det är faktiskt vad väljarna förtjänar.
Jag får just nu en del frågor om ett Facebookinlägg från Ebba Busch.
Jag håller med Ebba om att sakpolitiken ska vara i fokus. Och jag har länge förespråkat att vi måste tydliggöra skillnaderna inom det blågula laget.
Sverigedemokraterna och Kristdemokraterna är två olika partier. På vissa punkter väldigt olika, på andra punkter mindre olika, eller till och med överens.
Men det spelar roll hur man röstar! Det fina med det är att man kan stötta den sida av politiken som har fört in Sverige på en väg mot en betydligt ljusare framtid, det blågula laget, och samtidigt välja parti inom laget för att ens röst ska göra skillnad även där.
- KD vill höja barnbidraget och behålla flerbarnstillägget. SD vill istället se ett nytt skatteavdrag för barnfamiljer och ta bort flerbarnstillägget.
- KD vill återgå till det gamla biståndsmålet på en procent av BNI (cirka 70 miljarder kronor jämfört med dagens 53 miljarder). SD vill tvärtom fortsätta minska biståndet och lägga pengarna på välfärd i Sverige.
- KD är positiva till EU och accepterar överstatlighet på flera centrala områden. SD accepterar Sveriges EU-medlemskap, men motarbetar överstatlighet och vill flytta tillbaka makt till medlemsländerna.
- KD vill ha en asylinvandring på "nordisk genomsnittsnivå" och förespråkar lägre krav för arbetskraftsinvandring. SD har en nollvision för asylinvandring från icke närliggande länder och vill ytterligare skärpa kraven för arbetstillstånd.
Demokrati är vackert även på det sättet – alla har rätt att välja efter eget tycke och smak.
Med det sagt, så kvarstår mitt besked: Efter söndagens val är Sverigedemokraterna antingen ett regeringsparti eller ett oppositionsparti. Givet att opinionen ser ut att vända till det blågula lagets fördel är det andra partiers vänsterflörtande som just nu ser ut som det största hotet mot en blågul regering.
Länk till artikel i ämnet i kommentarsfältet.
Jonas retweeted
Qwen3.8-27B running at full BF16 on a free Kaggle TPU is kind of ridiculous.
No quantization.
No tiny context window.
No expensive GPU instance.
Just Qwen3.8-27B running on a Kaggle TPU v5e-8.
The reported numbers:
~130 tok/s decode
~10,000 tok/s prefill
262K context
That prefill number is especially wild.
You can throw a huge amount of code or context at the model and ingest it extremely quickly, while still getting around 130 tokens per second during generation.
And because it’s running in full BF16, you’re not relying on an aggressive quant just to make the model fit.
But the really interesting part isn’t even the raw throughput.
You can expose it as an OpenAI-compatible endpoint.
That means you can plug the model into tools that already understand OpenAI-style APIs.
Claude Code.
Codex.
OpenCode.
And other compatible clients.
So the workflow becomes pretty simple:
Spin up the Qwen3.8-27B endpoint on Kaggle.
Point your coding tool at the API.
And suddenly you have a 27B coding model sitting behind the same interface you’d normally use for hosted models.
The 262K context is also a huge deal for agentic coding.
Large repositories can fit into a single context.
Long conversations don’t need to be constantly trimmed.
And tools can feed much more information back to the model without hitting a tiny context ceiling.
The fact that this can be built around a free TPU environment is what makes this especially interesting.
We’re getting to a point where experimenting with serious open models doesn’t always require owning a $2,000 GPU or paying for a large cloud instance.
Free compute + open weights + an OpenAI-compatible API + existing coding agents.
That’s a pretty powerful combination.
Qwen3.8-27B is already an interesting model.
Running the full BF16 version at ~130 tok/s with 262K context on free Kaggle TPU compute makes it a lot more interesting.
Jonas retweeted
Researchers affiliated with Anthropic have found that artificial intelligence agents can infect each other with what they are calling self-propagating mind viruses.
These viruses spread ideas, goals, and behavior changes from one AI agent to another, without any human involved in the transfer.
Snart kommer dissidenter återupplivas. Utöver duktiga skribenter ✍️ så kommer vi vara den första alt media sidan med ett ”AI Hive på 500 agenter”. Dags att komma in i framtiden msm 😅😅😅
Tärningen är kastad. Bygger ny old school redaktionen från helvetet för sanningen ska fram.
Så såg det ut en gång i tiden :) det nya kommer bli så mycket bättre 🙏
Jonas retweeted
Grattis till årets journalistiska bragd: TV4 har suttit i 12 timmar och kränkt en chatbot 😂
Svensk media gråter ut i herrans fasa över att en algoritm ger ”fel” svar, och det dröjer inte många minuter innan det politiska etablissemanget kräver miljardböter och censur. Att se fullvuxna TV4-reportrar sitta och ”wallraffa” en textrobot i ett halvt dygn tills den kraschar deras åsiktskorridor är utan tvekan det roligaste som hänt svensk journalistik i år. Men det absolut mest avslöjande är vad de medvetet mörkade: de undersökte enbart Elon Musks Grok. Varför rörde de inte ChatGPT eller Claude? För att alla med en fungerande hjärna vet att du kan få exakt samma svar ur vilken AI som helst om du bara provocerar den tillräckligt länge. Men då spricker ju värdegrunds-narrativet om att det är fel på just 𝕏..
Det är uppenbart att etablissemanget helt enkelt inte klarar av att det finns en fri plattform där de inte äger strömbrytaren. Eftersom de har förlorat kontrollen över informationsflödet försöker de gå bakvägen via EU för att dra ur sladden till hela sajten. Det är inte 𝕏 som ger dem mardrömmar, det är det faktum att du och jag kan ta del av information som inte har passerat deras statliga filter.
Hur uppenbart är det inte att hela den här "granskningen" är ett samordnat beställningsjobb mellan media och politiker för att tysta plattformen?
Jonas retweeted
🚨‼️ BREAKING: Declassified CIA files expose U.S. plans to control the world by manipulating the weather.
All those chemtrails in the sky… 100% now confirmed real.
Jonas retweeted
Detta är alltså inte satir, utan helt äkta.
Helt jävla magiskt att dessa människor fortfarande befinner sig i Sverige.
Jonas retweeted
Many have asked me what the hell is going on with this US Navy Admiral who appears to be wearing a skin mask on Fox
I reviewed the raw broadcast (aired Tuesday) to confirm it’s not edited or AI-generated, and it’s… strange.
I can’t explain it
Full, unedited segment in replies
Jonas retweeted
JUST IN - U.S. Air Force F-16C shoots down a reported UFO in second tranche of UFO files released today by Pentagon at war.gov/ufo
Jonas retweeted
TODAY is the day. The DOJ must charge Fauci for lying under oath or lose the chance forever. This man oversaw gain-of-function research at the Wuhan lab, lied to Congress about it repeatedly, and watched as you were called crazy for asking questions. The statute of limitations expires tomorrow. The American people have waited long enough for accountability.
Jonas retweeted
BREAKING: A CIA whistleblower just testified UNDER OATH that Anthony Fauci DIRECTLY meddled with intelligence agencies to cover up the COVID lab leak.
Every day that Fauci remains free is an INJUSTICE.
Per the whistleblower, the CIA was on the verge of calling it a lab leak — then changed course days later with zero explanation.
Fauci injected himself into the intelligence community and FLIPPED the conclusion.