Michał Kardyś (@kardysm) header
Michał Kardyś (@kardysm) profile picture

👀

🌍
Joined March 2010
Photo by Michał Kardyś (@kardysm)Photo by Michał Kardyś (@kardysm)Photo by Michał Kardyś (@kardysm)Photo by Michał Kardyś (@kardysm)Photo by Michał Kardyś (@kardysm)Photo by Michał Kardyś (@kardysm)Photo by Michał Kardyś (@kardysm)Photo by Michał Kardyś (@kardysm)Photo by Michał Kardyś (@kardysm)Photo by Michał Kardyś (@kardysm)
Michał Kardyś retweeted
basal inference engine 2.5 🇵🇱 już dostępny Dwa tygodnie intensywnej pracy. Ogromne podziękowania dla kontrybutorów - 7 osób i 20 pull requestów: Miłosz Kucharski, Paweł Kiszczak, Marcin Brzeżański, Dariusz Koryto, Grzegorz Stark, Michał Kardyś, Grzegorz Brzezinka. Bilans tej wersji: 65 obszarów zmian - 28 nowych funkcji, 28 usprawnień i 9 grup poprawek. Sporo implementacji, testów. Dajcie znać czy wszystko działa (na chwilę zatrzymam implementację kolejnej wersji by wygrzać tą, usunąć jakieś problemy jeśli się pojawią). Co to daje Twojemu systemowi, aplikacji? 🔸 Skalowanie przez jeden endpoint. basal-router kieruje żądania dotyczące tego samego dokumentu do tej samej repliki, wykorzystując jednocześnie współdzielony cache. Dwie karty H100 osiągnęły 1,58× przepustowości jednej, przy dwukrotnie większej liczbie klientów. 🔸 Większy model wtedy, gdy mniejszy nie jest pewien. Wielopoziomowa kaskada. Mini -> ultra dało około 1,5× przepustowości samego ultra, przy różnicy trafności do 0,5 punktu procentowego na zbiorze testowym. 🔸 Kontrola niepewności. Zestawy odpowiedzi, certyfikowane progi z możliwością wstrzymania decyzji, ponowny odczyt i kontrola kolejności opcji. 🔸 Większy wybór sprzętu. Ultra mieści się na karcie 48 GB. Na MacBooku Air M4 cache dokumentu o długości 2,1 tys. tokenów skrócił czas żądania z 13,7 s do 0,9 s. Obecnie trwają też prace nad portem do GPU AMD (i optymalizacja). 🔸 Integracja z Twoim środowiskiem. Decisions API, TypeScript, Python, LM Studio, MCP oraz narzędzia dla LangChain, LlamaIndex i CrewAI. Możesz też podłączyć model czatowy i skalibrować go na oznaczonych przykładach. Kolejna wersja to 2.5.2 - state cache dla Ultra FP8, lepsze skalowanie routera na wielu GPU, dalsze dopracowanie MLX i Strix Halo (precyzja obliczeń nie przechodzi moich bramek), grupowanie żądań multimodalnych w vLLM, dostosowanie do omni 2.0 (tutaj muszę rozszerzyć formaty odpowiedzi).
8
25
200
5,956
Michał Kardyś retweeted
"Projekty" w Claude AI mają przewagę nad projektami w ChatGPT. Oferują obsługę dynamicznych treści, z której korzystam niemal codziennie. Co to jest i po co Ci to? 🧵 ↓
4
3
1
98
15,884
Michał Kardyś retweeted
👉 creating input array itself is not measured 👉 each test ends with console.log(item) to make sure there's no dead-code JIT optimization 🚀 test #1 📦 small data set: array(50) 🔨 no operations 👉 ~400 ops (iter) vs ~400 ops (arr) no clear winner, results are NON reproducible
1
1
1
3
4,209
Michał Kardyś retweeted
🤔 why should we all focus on #ECMAScript/#javascript iterators very much? ⚡️ and how does that impact performance? The Ultimate Guide to PERFORMANT DATA PROCESSING (via iterators) - future #javascript - in the thread below 🧵
6
43
1
411
96,916
Michał Kardyś retweeted
“Spend each day trying to be a little wiser than you were when you woke up.” —Charlie Munger Poor Charlie’s Almanack is out today. You can read and listen to the new edition online, for free, at stripe.press/poor-charlies-a…
53
395
120
1,629
1,179,624
Michał Kardyś retweeted
Szukasz rzetelnej wiedzy o inwestowaniu z wykorzystaniem ETF-ów. Zapraszam do odwiedzenia atlasETF.pl: ✅Katalog >3 tys. ETF ✅Dostępność ETF u brokerów ✅Rankingi ETF ✅Rankingi brokerów ✅Kilkadziesiąt artykułów edukacyjnych Będę wdzięczny za podanie dalej. 🙂🙏
1
18
1
58
7,683
How to handle breaking change as a frontend developer 3 simple steps
1
153
benefit of this approach? you can easily fall back into legacy if new code has a bug
1
30
want to see more on making frontend legacy painless? follow me: nitter.cf/kardysm
22
Fixing frontend legacy is 90% just dividing code in a new way. Simple example:
2
1
12
7,514
5/ Time for action! How to crush Primitive Obsession? a. Forge custom types for specific purposes. b. Master enums for representing a finite set of values. c. Tap into existing libraries or frameworks that provide specialized types (e.g., date and time libraries)
1
45
Michał Kardyś retweeted
80
280
90
3,302
575,857
Michał Kardyś retweeted
/1 Want to know the secret to optimizing your SQL queries? Understanding the execution order is key.
93
1,794
46
9,783
827,995