Michał Kardyś retweeted
basal inference engine 2.5 🇵🇱 już dostępny
Dwa tygodnie intensywnej pracy. Ogromne podziękowania dla kontrybutorów - 7 osób i 20 pull requestów: Miłosz Kucharski, Paweł Kiszczak, Marcin Brzeżański, Dariusz Koryto, Grzegorz Stark, Michał Kardyś, Grzegorz Brzezinka.
Bilans tej wersji: 65 obszarów zmian - 28 nowych funkcji, 28 usprawnień i 9 grup poprawek. Sporo implementacji, testów. Dajcie znać czy wszystko działa (na chwilę zatrzymam implementację kolejnej wersji by wygrzać tą, usunąć jakieś problemy jeśli się pojawią).
Co to daje Twojemu systemowi, aplikacji?
🔸 Skalowanie przez jeden endpoint. basal-router kieruje żądania dotyczące tego samego dokumentu do tej samej repliki, wykorzystując jednocześnie współdzielony cache. Dwie karty H100 osiągnęły 1,58× przepustowości jednej, przy dwukrotnie większej liczbie klientów.
🔸 Większy model wtedy, gdy mniejszy nie jest pewien. Wielopoziomowa kaskada. Mini -> ultra dało około 1,5× przepustowości samego ultra, przy różnicy trafności do 0,5 punktu procentowego na zbiorze testowym.
🔸 Kontrola niepewności. Zestawy odpowiedzi, certyfikowane progi z możliwością wstrzymania decyzji, ponowny odczyt i kontrola kolejności opcji.
🔸 Większy wybór sprzętu. Ultra mieści się na karcie 48 GB. Na MacBooku Air M4 cache dokumentu o długości 2,1 tys. tokenów skrócił czas żądania z 13,7 s do 0,9 s. Obecnie trwają też prace nad portem do GPU AMD (i optymalizacja).
🔸 Integracja z Twoim środowiskiem. Decisions API, TypeScript, Python, LM Studio, MCP oraz narzędzia dla LangChain, LlamaIndex i CrewAI. Możesz też podłączyć model czatowy i skalibrować go na oznaczonych przykładach.
Kolejna wersja to 2.5.2 - state cache dla Ultra FP8, lepsze skalowanie routera na wielu GPU, dalsze dopracowanie MLX i Strix Halo (precyzja obliczeń nie przechodzi moich bramek), grupowanie żądań multimodalnych w vLLM, dostosowanie do omni 2.0 (tutaj muszę rozszerzyć formaty odpowiedzi).
Michał Kardyś retweeted
"Projekty" w Claude AI mają przewagę nad projektami w ChatGPT.
Oferują obsługę dynamicznych treści, z której korzystam niemal codziennie.
Co to jest i po co Ci to? 🧵 ↓
Michał Kardyś retweeted
👉 creating input array itself is not measured
👉 each test ends with console.log(item) to make sure there's no dead-code JIT optimization
🚀 test #1
📦 small data set: array(50)
🔨 no operations
👉 ~400 ops (iter) vs ~400 ops (arr)
no clear winner, results are NON reproducible
Michał Kardyś retweeted
🤔 why should we all focus on #ECMAScript/#javascript iterators very much?
⚡️ and how does that impact performance?
The Ultimate Guide to PERFORMANT DATA PROCESSING (via iterators) - future #javascript - in the thread below 🧵
Michał Kardyś retweeted
“Spend each day trying to be a little wiser than you were when you woke up.” —Charlie Munger
Poor Charlie’s Almanack is out today. You can read and listen to the new edition online, for free, at stripe.press/poor-charlies-a…
Michał Kardyś retweeted
Szukasz rzetelnej wiedzy o inwestowaniu z wykorzystaniem ETF-ów. Zapraszam do odwiedzenia atlasETF.pl:
✅Katalog >3 tys. ETF
✅Dostępność ETF u brokerów
✅Rankingi ETF
✅Rankingi brokerów
✅Kilkadziesiąt artykułów edukacyjnych
Będę wdzięczny za podanie dalej. 🙂🙏
want to see more on making frontend legacy painless?
follow me: nitter.cf/kardysm
22
5/ Time for action!
How to crush Primitive Obsession?
a. Forge custom types for specific purposes.
b. Master enums for representing a finite set of values.
c. Tap into existing libraries or frameworks that provide specialized types (e.g., date and time libraries)
1
45
Michał Kardyś retweeted
"is_author_elon"
github.com/twitter/the-algor…



















