엥? retweeted
광주 전주 망했다고 거기사는 사람들 볼때마다 두려움..익산-군산은 전주로 출퇴근하기위해 개썩은 중고차를 사거나 통장잔고와 가족버리고 이민간다. 서울가서 온가족 돈 합쳐 버티며 경력쌓고 돌아올수밖에없음
엥? retweeted
또 하나의 문제는 정부 및 공공기관의 데이터들이 제대로 정리되고 정형화 되지 않아서, AI가 쓸 수 있는 형태의 데이터가 아니라는 것임. 그러니 AI 아니라 AI 할배가 와도 방법이 없음.
本地跑大模型和做推理引擎的人都知道,最近两年 W4A4 低精度量化最爱玩基底变换(Hadamard 旋转 + 通道缩放)来压异常值。但主流方案为了省掉推理时的在线旋转,非要把激活变换矩阵沿着计算图往前传、吸收进前序层和残差分支——结果每出一个新模型架构(MoE、GQA、混合注意力、DiT)就得重新痛苦适配一遍,量化大尺寸模型时显存更是直接爆表。
华为苏黎世计算系统实验室刚发的 MACaQ 把这个死结一刀解开了:放弃跨层吸收,直接把轻量的逐通道缩放和分块 Hadamard 变换留在每个线性层入口在线执行,逆变换离线吸收进本层权重,再配一套 Hessian 感知的 Flip-Refinement 逐码位翻转精修。
用这笔看似退一步的设计,换来了四个实打实的工程暴击:
1. 32.5GB 显存 64 分钟量化完 122B 模型
因为层与层之间零耦合,量化过程彻底变成流式流水线——GPU 显存里永远只需要加载当前这一层。以前得凑一机八卡才能跑动的百亿级校准量化,现在一张 32G 级显卡一小时收工。
2. 在线开销仅 2.3%,量化速度快 11 倍
线性层越大,矩阵乘耗时占比越高,入口处 O(N log N) 的分块 Hadamard 开销就被彻底摊薄了。在 vLLM 上跑 Qwen3-32B MXFP4 W4A4,端到端解码仅慢 2.3%;而在 Llama-3-8B 上,花 1/11 的量化时间 就追平了 DuQuant++ 和 MR-GPTQ 的最高精度。
3. 社区 GGUF 实测反超 Unsloth 23.5%
论文刚出,LocalLLaMA 社区已经有人把它搬进了 llama.cpp 做成 IQ4_XS GGUF:在模型文件体积比主流版本略小的前提下,实测输出分布的 平均 KL 散度比 Unsloth 低 23.5%,比 Bartowski 低 18.6%。
4. 零代码魔改通吃 LLM 与文生图扩散模型
不挑架构意味着是个 Linear 层就能直接上。原封不动套在 FLUX.2-klein-4B 图像生成模型上跑 MXFP4 W4A4,PSNR/SSIM 与画面纹理细节直接压过了官方发布的 NVFP4 权重。
엥? retweeted
「あなたがいなければ鉄道もない」
"당신이 없으면 철도도 없다"
フルバージョン作りました
放送当時の環境に合わせ、アスペクト比を4:3にしています
Suicaペンギン同志よ、永遠なれ!
엥? retweeted
맞긴함 수능에 왜 샤프 주게 됐는지 앎?펜에 초소형카메라 달아서 진동기로 신호받는 컨닝해서 나는 1n년전에도 자기 친구가 토익 대리 쳐주면서 돈번다소리 심심찮게 들엇음 수능은 대리시험 없었을까?완벽한 공정이란 세상에 존재하지 않고 보통의 사람은 그냥 떳떳하게 살면서 최선을 다하는거임


















































