ByteDance, 10 trilyon parametreye kadar ulaşabilecek yeni bir büyük dil modeli geliştiriyor. Financial Times'ın haberine göre geliştirilen model, Anthropic'in Mythos 5 sistemine benzer bir ölçekte değerlendiriliyor.
Anthropic'in Mythos 5 modeli için sektör kaynaklarınca tahmin edilen ölçek.
ByteDance'in üzerinde çalıştığı model, Moonshot AI tarafından geliştirilen 2,8 trilyon parametreli Kimi K3 modelinden üç kat daha büyük bir yapıya sahip olacak. Yeni modelin henüz ön eğitim aşamasında olduğu ve bu sürecin genellikle üç ila altı ay sürdüğü belirtiliyor.
ByteDance'in yeni modelinin nihai boyutu henüz kesinleşmedi. Şirket, ön eğitim sürecinin ardından modeli yayına almadan önce ince ayar (fine-tuning) yapmayı planlıyor.
ByteDance, son yıllarda Çinli teknoloji devlerinden daha fazla yapay zeka yatırımı yapıyor. Şirket veri merkezi altyapısını genişletiyor ve kendi yapay zeka çiplerini geliştirmeyi planlıyor.
