Sentient Türkiye

7/ CryptoAnalystBench, üretim mantığında yaygın başarısızlık modlarını ortaya koyuyor Uzun cevapları değerlendirdiğimizde, bu modellerde şu kalıplar tekrarlanıyor: - Cevapların güncel olmadığı halde güncelmiş gibi görünmesine neden olan eskimelik veya eksik zaman sınırları - Karar görüşü oluşturmadan gerçekleri listeleyen sığ sentez - Bir cevap içinde sayılar veya zaman aralıklarının çeliştiği tutarsız iddialar - Geri alma gürültülü veya çelişkili olduğunda kaynak uzlaştırma hataları - Kanıt veya belirsizlik sınırları olmadan aşırı kendinden emin tahminler Yüksek analist kalitesi, gerçekliği garanti etmez. Tutarlı uzun cevaplar yine de eski olabilir veya hayal ürünü sayılar ve yanlış atfedilmiş iddialar içerebilir. Gerçekliği ayrı olarak değerlendirir ve hataları daha hızlı tespit etmek için yeni benchmark yeniden oluşturmaları ve tam ajan izlemeleri kullanırız.

6/ CryptoAnalystBench, model ve çerçeve kararlarımızı etkiledi Öncü sistemleri karşılaştırmalı olarak değerlendirdik, ardından bu farkları Sentient Chat üzerinde açık kaynaklı SERA-Crypto yığınımızı güçlendirmek için kullandık. Ajan çerçevesi sabitlendikten sonra, üretimde kalite, gecikme süresi ve maliyet arasında denge sağlamak için SERA GPT OSS 120B'yi seçtik.

5/ Açık ve tekrarlanabilir kontrollerle yargıç önyargısını azaltıyoruz Sonuçları tekrarlanabilir ve adil hale getirmek için çeşitli sistematik stratejiler kullandık: 1. Konum etkilerini azaltmak için dengeli yanıt sırası randomizasyonu 2. Kalibrasyon sapmasını azaltmak için bir sorgu için tüm adayları tek bir ortak yargıç görüşmesinde puanlama 3. Ayrıntılılık ve kişisel tercih önyargısını test ettikten sonra yargıcı seçme Yargıç olarak @FireworksAI_HQ aracılığıyla sunulan DeepSeek v3.1'i, düşük derece, yalnızca kesin JSON çıktıları kullanıyoruz ve hangi sistemin hangi cevabı yazdığını açıklamıyoruz.

4/ Uzun cevapların kalitesini dört boyut kullanarak tanımladık Her yanıt 1 ila 10 arasında puanlandırılır: 1. Zamansal uygunluk: Mevcut pazar durumunu yansıtıyor mu ve eski çerçevelerden kaçınıyor mu? 2. Veri tutarlılığı: Rakamlar, zaman dilimleri veya sonuçlar arasında içsel çelişkiler yok mu? 3. Derinlik: Yeterli ayrıntı, çok eksenli kapsam, net yapı, pratik uyarılar 4. Uygunluk: İlgili gerçekler değil, asıl amaç ve karar bağlamını ele alıyor mu?

3/ CryptoAnalystBench, Sentient Chat'teki üretim düzeyindeki sorgulardan oluşturulmuştur 5 aşamada, Sentient Chat'teki gerçek kullanıcı sorgularının bir kısmını, kriptoda uzun cevapları değerlendirmek için keskin bir veri setine dönüştürdük: 1. Filtreleme: Üretimdeki sorguların küçük bir kısmını çıkararak, aşırı uzun veya kısa sorguları kaldırın. 2. Kümeleme: Sorguları niyet kümelerine ayırın, 11 kategori tanımlayın ve AI etiketleri uygulayın. 3. Ayıklama: LLM ile kategori başına çeşitli alt kümeler seçin ve benzerleri kaldırın. 4. Düzenleme: Modellerin yalnızca eğitimden cevaplayabileceği “kolay” komutları hariç tutun. 5. Derleme: Uzmanlar tarafından incelenen ve nihai hale getirilen 198 temsilci sorgu anlık görüntüsü.

2/ Kısa testler kripto araştırmalarının nasıl işlediğini gözden kaçırıyor Çoğu kripto benchmark testi hızlı erişim veya hesaplamaları test eder. Kaynakların birbiriyle çeliştiği ve yanıt sırasında piyasanın değiştiği durumlarda analist tarzı yanıtları test etmezler. CryptoAnalystBench, gerçek zamanlı uzun form kripto analizi için açık veri seti ve açık rubrik ile bu sorunu giderir ve alaka düzeyi, zamansal alaka düzeyi, derinlik ve veri tutarlılığı açısından puan verir. Diğer temel gerçek benchmarklarını tamamlamak amacıyla tasarlanmıştır.

CryptoAnalystBench'i duyuruyoruz: Gerçek zamanlı uzun form kripto analizi için referans noktamız. Ortalama analist kalitesi (40 üzerinden): - Sentient Chat (SERA Kimi K2.5): 36,25 - Gemini 3 Pro: 35,60 - GPT-5.2 Medium Thinking: 35,49 Veri seti, puanlama ve bulgular hakkında daha fazla bilgi için okumaya devam edin. 🧵

Bu Perşembe

Tüm linkler: 👉 Teknik blogu okuyun: blog.sentient.xyz/posts/sema… 👉 SERA teknik sunum videosunu izleyin: youtube.com/watch?v=3ih86Zfs… 👉 Sentient Chat’te SERA-Crypto’yu kendiniz deneyin. Google hesabınızla giriş yapabilirsiniz: chat.sentient.xyz