Pinned Tweet
“내가 산 자들의 땅에서 여호와의 선하심을 보게 될 줄 확실히 믿었도다
너는 여호와를 기다릴지어다 강하고 담대하며 여호와를 기다릴지어다”
시편 27:13 - 14
액티비젼 무작위로 때려박아서 그 결과로 가중치를 학습한다는 개념인거같은데… 존나 신박하면서도 존나 비효율적인게
1/ T급 프론티어 모델에서는 저런 식으로 때려맞추면 정밀도가 떡락함. 이미 2~200m급에서도 비효율적이라고 하고.
단순 생각해도 가중치보다 액티비젼이 적으니까 어쩔 수 없음. 이게 근데 코딩 같는 곳에서는 매우 치명적일 가능성이 높다
2/ 1번의 문제를 해결하고자 한다면 더 많이 시도를 때려박으면 됨. 역전파가 아니라서 시간은 압도적으로 유리함.
하지만 많이 때려박는 이유가 T급 모델에서 기존 학습법 대비 복잡도가 말도 안 되게 상승하기 때문이라서….
안 그래도 프론티어 모델들 트레이닝할 때 전기때문에 허덕이는데 진짜 다이슨 스피어 만들지 않으면 안 되는 수준까지 전기 잡아먹을듯
지금 200M-300M 단위에서도 기존 학습법 대비 효율성이 떨어진다는데(2M급과 달리 정확한 수치는 안 밝혔지만), 지금 주로 쓰이는 1-3T급 프론티어 학습한다치면…
낙관적으로 대략 60-70배, 비관적으로(논문 내 숫자 기반으로) 600-700만배 정도 전기를 많이 때려박아야함…
비관적으로 보자면 지구상의 모든 전력을 갖다바쳐도 gpt 아스트라를 못 만든다는 소리임..
(물론 걍 숫자놀음이라 추정치임)
3/ 근데 반전으로 학습곡선이 진짜 무작위는 아니라서 잘 맞추면 속도 빠르고 효율도 낫벳한 괴물 학습법이 나올수도있긴함
- 돈이 정말 많이 드는 카지노 룰렛 베팅이랄까… 이제 시작이니 진짜 가능성 있는 방법이라면 앞으로 뭐가 더 나오겠지
역전파 없는 AI 학습 실험, 열흘 만에 4000배 빨라져…1.76시간→1.6초 aitimes.com/news/articleView…
네…? Pro 500은 50배요????
Day 25/
We are doubling all usage limits for all Pro 100/200/500 tiers and Business Premium, effective today.
We heard your kind feedback and won’t be reducing usage limits for Pro 200, so your Work and Codex usage will stay the same. We’re also going to continue offering extended limits for dots for now, and usage of your dot will still continue to be separate from your default usage.
And we'll of course also keep shipping better models and other efficiency improvements that increase your effective usage over time.
Llm 처음 공부할 때 보통 사람 언어가 비효율적이라는 걸 제일 먼저 느낌
복잡하게 갈 것도 없이 1년 전 모델들 추론과정 보여줄 시절에, CoT를 사람 언어로 하는 거 보면 느껴졌을듯. 벡터-언어-벡터 로 생각하는 거 사람으로 치면 모국어를 라틴어로 번역해서 생각하고, 그 논리를 다시 모국어로 변환하는 거나 다름없으니까…
あくまでフィクションで疑似科学の話ですが、拙作のNetflixアニメ「地球外少年少女」では、セブンと言うAIが人間の言葉を捨てた瞬間から飛躍的に知能が高まると言う設定です。人間の言葉で考え、人間の言葉で説明できる限り、原理的に人間の知能を超えられない、と言うのが私の持論で、今のLLMが人間の知能を超えつつあるように見えるのは物理的な速度や休眠無しで仕事するからではないか。しかし人間の言葉を捨てればその制約から解き放たれて超越的知能として未知の領域に入るのでは無いか。ただその代償として、何か新しい発明や発見をしても実用だけはできるが、人間には原理を説明できなくなる。説明して人間が観測し言語化した瞬間にその発見は崩壊して実用できなくなる。AIの中身が量子のような状態になる。
と言う設定を作中に盛り込んで、この現象をルナティックと名付けました。あくまでフィクションです。さて現実ではどうなるやら、怖いけど楽しみ。
보이스 모델 새로나왔는데… 이건 걍 사람인데
We believe voice is the most natural way to interact with intelligence, so we created Dessa, the most authentic full-duplex speech model ever built. Talking with it feels like talking with a person…full of emotion, nuance, pauses, and a natural cadence.
block.xyz/dessa
그래서 출판 제의 와도 덥썩 계약하면 안 됩니다
시간은 시간대로 멘탈은 멘탈대로 갈려요
출판사가 플랫폼에 입점(?) 제의 넣었다가 반려됐다고 거짓말 치고, 뒤에서는 귀찮아서 제의조차 안 넣는 케이스도 있습니다. (나중에 해당 플랫폼 담당자님께 직접 물어보고 알게 됨..)
최소한 계약하기 전에 출판사 전작들 성적 및 프로모션 이력은 검색해보고 계약하면 좋습니다
남성향은 첫작이면 그냥 문피아 제의 올 때까지 기다리셨다가 문피아랑 하시는 게 베스트고..
어쩐지 빨리 닳더라…
There were reports of usage draining faster than anticipated for some users over the weekend. We've identified approximately 40,000 accounts that had an inconsistency on which usage limits where the actual usage that was applied did not correspond to their actual selected plan. We are reaching out individually to all these users and have corrected the issue. If this affected you, we'll add credits to your account. Sorry we got this wrong.
약간 더 팁을 풀자면
1. 1화 재밌게 씁시다. 1화 재미없으면 아무 의미 없어요. AI로 써도 1화는 무한 갈아엎기 하면서 내 손으로 연금술 써야합니다.
2. 설정, 문체, 캐릭터, 전부 md 파일로 독립해서 만들고 라벨링해서 AI가 프로젝트 전체를 효율적으로 보게 하세요. 텍스트 양이 많아서 AI가 중요한 거 놓칩니다.
3. 시련 중심으로 쓰지 마세요. 암걸립니다. 사이다 주세요. 사이다는 과해도 좋은데 고구마는 정량 초과하는 순간 큰일납니다. 근데 작가는 자꾸 소재를 사이다가 아니라 고구마를 찾게 되는 이상하 병이 있습니다.
나머지는 글담이든 웹연갤이든 기본적인 팁들 많으니 수루룩 읽어 흡수하시고.. 한산이가 작가님이 쓰셨던 집필서는 도움이 꽤 많이 됩니다. 다른 집필서는 제가 읽었던 건 다 별로였습니다.
웹소설 이야기가 갑자기 여기저기 피드에 뜨는데... AI 쓰세요. 적극적으로 사용하세요. 아예 처음 쓰는 작가지망생 분들보다는 AI가 잘 씁니다. 제 주변 작가들 다 AI 어떻게 잘 쓰지 공부합니다. 장면장면마다 도움도 많이 받고요.
근데 음... 뭐랄까, AI는 '맛'을 만들지는 못해요. 소설은 '맛'이 있어야 하거든요? 근데 AI는 그냥 슴슴..밍밍... 합니다. GPT 4 시절부터 클로드 제미나이 지피티 뭐 신버전 때마다 계속 테스트해보는데, 아스트라도 아직은... 애매합니다. 분명 미슐랭 원스타쯤은 되는 미디움 레어 스테이크를 구워오라고 했는데, 뭔가 공장 소스맛이 나는 햄버커 패티를 갖다줘요. 그래서 그걸 다시 연금술 써서 스테이크로 바꿔야 합니다.
제 개인적인 소견으로는 천장이 아직 명확합니다. 근데 1-2년이면 그 천장도 무너질 거라 봅니다. 다만 '맛'을 낼 수 있느냐? 이건 조금 더 걸릴 수도 있을 거 같아요. 어쩌면 5년 이상 걸릴지도 모르겠고요.
다만 애초에 제 기준에 못 미친다는 것도 제가 연출 중심 작가라 그런 거예요. 연출보다는 스토리 진도 빡빡 나가는 스토리 중심 작가분들이 돈은 훨씬 잘 버십니다. 저 한 화 쓸 동안 저분들은 3-4화 쓰시거든요...ㅠㅠ
그리고 무엇보다 미슐렝 스테이크 굳이 매끼니 사먹진 않죠? 적당히 햄버거 먹어도 맛있거든요. 적당히 먹을만한 수준으로 올라오면 꽤 많은 독자님들도 거부감 없이 슬슬 잡숴보기 시작할 거예요. AI 나레이션 유튜브 숏츠가 처음에는 저항감이 엄청났지만 지금은 그냥 슬슬 보는 것처럼요.
제가 지금 신인작가로 시작한다면(일단 누가 한다고 하면 다시 생각해보라고 말리기는 합니다마는), AI를 사용해서 어떻게든 작품을 '빠르게' '많이' 마들어서 시장에 갖다 박을 겁니다. 평가는 작가들끼리 친구들끼리 하는 게 아니라 시장이 합니다. 거기서 피드백 얻고, 다시 갖다박고. 이 과정을 AI는 엄청 빠르게 만들 수 있어요.
원래는 30-40화 박는데 신인이면 글쓰는 속도도 느리니까 2-3달은 걸리거든요? 전 1년 가까이도 걸려봤고.. 근데 AI 팍팍 쓰면서 하면 훨씬 짧아져요. 그렇게 시장의 니즈와 내 문체/스토리 의 적절한 교집합을 찾아서 밀고나가면 됩니다.
중요한 건 '빠르게' 하라는 겁니다. 완벽주의 버리고. 예술병 버리고. 상업예술 하기로 했으면 '상업'예술 하세요 제발. 이건 과거의 나에게 하는 말이기도 합니다...
장기 연재는 또 다른 문제기는 한데, 이건 컨텍스트 제한 이슈가 있어서... 근데 사람 두뇌도 컨텍스트 이슈 있는 건 마찬가지라, 오히려 AI 하네싱 잘 하면 인간 두뇌보다 떡밥이든 캐릭터성이든 보존 잘 될 가능성이 높아요.
[결론]
1/ 상업작가 할 거면 AI 써라. 순수예술할 거면 그건 다른 영역.
2/ 시장에 들이박아라. 실패하고 피드백해서 다시 들이박고를 최대한 빠르게 무한반복해라.
웹소설 이야기가 갑자기 여기저기 피드에 뜨는데... AI 쓰세요. 적극적으로 사용하세요. 아예 처음 쓰는 작가지망생 분들보다는 AI가 잘 씁니다. 제 주변 작가들 다 AI 어떻게 잘 쓰지 공부합니다. 장면장면마다 도움도 많이 받고요.
근데 음... 뭐랄까, AI는 '맛'을 만들지는 못해요. 소설은 '맛'이 있어야 하거든요? 근데 AI는 그냥 슴슴..밍밍... 합니다. GPT 4 시절부터 클로드 제미나이 지피티 뭐 신버전 때마다 계속 테스트해보는데, 아스트라도 아직은... 애매합니다. 분명 미슐랭 원스타쯤은 되는 미디움 레어 스테이크를 구워오라고 했는데, 뭔가 공장 소스맛이 나는 햄버커 패티를 갖다줘요. 그래서 그걸 다시 연금술 써서 스테이크로 바꿔야 합니다.
제 개인적인 소견으로는 천장이 아직 명확합니다. 근데 1-2년이면 그 천장도 무너질 거라 봅니다. 다만 '맛'을 낼 수 있느냐? 이건 조금 더 걸릴 수도 있을 거 같아요. 어쩌면 5년 이상 걸릴지도 모르겠고요.
다만 애초에 제 기준에 못 미친다는 것도 제가 연출 중심 작가라 그런 거예요. 연출보다는 스토리 진도 빡빡 나가는 스토리 중심 작가분들이 돈은 훨씬 잘 버십니다. 저 한 화 쓸 동안 저분들은 3-4화 쓰시거든요...ㅠㅠ
그리고 무엇보다 미슐렝 스테이크 굳이 매끼니 사먹진 않죠? 적당히 햄버거 먹어도 맛있거든요. 적당히 먹을만한 수준으로 올라오면 꽤 많은 독자님들도 거부감 없이 슬슬 잡숴보기 시작할 거예요. AI 나레이션 유튜브 숏츠가 처음에는 저항감이 엄청났지만 지금은 그냥 슬슬 보는 것처럼요.
제가 지금 신인작가로 시작한다면(일단 누가 한다고 하면 다시 생각해보라고 말리기는 합니다마는), AI를 사용해서 어떻게든 작품을 '빠르게' '많이' 마들어서 시장에 갖다 박을 겁니다. 평가는 작가들끼리 친구들끼리 하는 게 아니라 시장이 합니다. 거기서 피드백 얻고, 다시 갖다박고. 이 과정을 AI는 엄청 빠르게 만들 수 있어요.
원래는 30-40화 박는데 신인이면 글쓰는 속도도 느리니까 2-3달은 걸리거든요? 전 1년 가까이도 걸려봤고.. 근데 AI 팍팍 쓰면서 하면 훨씬 짧아져요. 그렇게 시장의 니즈와 내 문체/스토리 의 적절한 교집합을 찾아서 밀고나가면 됩니다.
중요한 건 '빠르게' 하라는 겁니다. 완벽주의 버리고. 예술병 버리고. 상업예술 하기로 했으면 '상업'예술 하세요 제발. 이건 과거의 나에게 하는 말이기도 합니다...
장기 연재는 또 다른 문제기는 한데, 이건 컨텍스트 제한 이슈가 있어서... 근데 사람 두뇌도 컨텍스트 이슈 있는 건 마찬가지라, 오히려 AI 하네싱 잘 하면 인간 두뇌보다 떡밥이든 캐릭터성이든 보존 잘 될 가능성이 높아요.
[결론]
1/ 상업작가 할 거면 AI 써라. 순수예술할 거면 그건 다른 영역.
2/ 시장에 들이박아라. 실패하고 피드백해서 다시 들이박고를 최대한 빠르게 무한반복해라.
어릴 적 적은 노력으로 손쉽게 얻던 성과와 인정
-> 당연히 우리나라 교육환경 특성상 그런 사람들은 올림피아드니 영재교육원이니 그들만의 리그로 들어가면서 점점 ‘노력’이 필요한 게임으로 진입
-> 여기서 부모님의 결과주의 입각한 부정적 피드백이나 기타 주변환경 영향 잘못 받으면 ‘시발 나 이 게임 안해’ 모드가 됨
-> 인생 ㅈ박음
-> ‘나 하면 잘함. 나 똑똑함’으로 지능딸 시전하는 ㅈ망 인생 오픈
이거 극복하려면 뭐… 갈노옹이 말한 저 모순을 굉장히 ‘아픈’ 방식으로 깨닫거나, 진짜 사랑을 많이 받아서 본인 존재의 가치가 지능이나 결과에 달려있지 않음을 깨달으면 좋음. 둘다면 제일 좋규
자고로 인간이 정신차리는 건 물리젇으로 쳐맞던 사랑으로 쳐맞던 쳐맞아야 정신 차린다고..
대부분의 로컬 모델들이 지금처럼 프론티어의 증류방식인(혹은 그 결과물에 상당한 도움을 받는) 이상 어쨌든 프론티어가 반걸음~한 걸음 앞서있기는 할거같고…
결국 미래에는 둘다 짱짱해지지만 기기 혹은 이동수단을 관리하는 휴대용 ai인지 거대한 기지 혹은 국가 전체을 관리하는 지박령(?) ai인지로 나뉠거같음
우주선의 로컬모델과 행성기지의 프론티어모델이 화성 궤도기지의 우주선 정박 절차 관해서 소통하는 근미래을 그려보게 된다
