科吉犬 retweeted
今晚别刷Netflix了。
去看这个斯坦福2小时34分钟的讲座。
这是我见过最清晰、端到端讲透ChatGPT和Claude到底怎么建出来的课。
从Tokenization和BPE开始，一路到Transformer架构、训练管线、Next-token解码。
不管你是从没写过一行AI代码，还是天天在ship Agent，看完都会把很多“原来如此”的点一次打通。
真正核心就这几层：
1. 文本怎么变成模型能吃的数字（BPE tokenization）
2. 语言模型本质就是在预测下一个token
3. Transformer怎么用Attention做消息传递
4. 训练时用NLL loss把整条序列概率拉高
5. 生成时怎么一步步解码出来
大多数人花好几年才拼出的全景图，这节课直接给你画完。
把时间空出来，这可能是你这个月最值的一堂课。
開始嘗試用ChatGPT專利分析，認為可幫助到地方有：
1.專利檢索：
現在可以下一個大範圍的檢索式，然後再請ChatGPT看摘要及標題找出與檢索主題無關的專利，再予以確認剔除。
2.申請人標準化
ChatGPT可以將申請人統一成單一法人
3.複雜的樞紐及繪圖
ChatGPT可以用自然語言完成所有樞紐統計及圖表
分享一下老師的活動
PF40，邀請到政大科管智財所的陳老師及其團隊前來現場設置諮詢專區，免費為大家解答關於創作智財權的疑難雜症喔！
主持團隊：政治大學科技管理與智慧財產研究所 陳秉訓老師
日期：2024/05/12（日）
時間：13:00~15:00
地點：花博爭艷館
智財小知識：著作權法不是唯一防止盜版的法律，在日本還有「不正競爭防止法」。例如最近有個工程師破解寶可夢，讓玩家可以獲得稀有寶可夢，並販售這些寶可夢，就遭到日本警察以不正競爭防止法逮捕。www3.nhk.or.jp/lnews/kochi/2…
