Arm ve Alibaba'dan Uçta Yapay Zeka

Arm Kleidi: Arm CPU’larda Yapay Zeka Çıkarımını Optimize Etme

Yapay zekanın (AI) hızlı evrimi, çok modlu modellerin yeni bir çağını başlatıyor. Bu sofistike sistemler, metin, resimler, ses, video ve hatta sensör verileri dahil olmak üzere çeşitli kaynaklardan gelen bilgileri işleme ve yorumlama yeteneğine sahiptir. Ancak, bu güçlü modellerin uç cihazlarda (edge devices) dağıtımı önemli engeller sunmaktadır. Uç donanımın güç ve bellek kapasitesindeki doğal sınırlamalar, çeşitli veri türlerini aynı anda işleme karmaşık göreviyle birleştiğinde, karmaşık bir zorluk yaratır.

Arm Kleidi, Arm CPU’larda çalışan tüm AI çıkarım iş yükleri için kesintisiz performans optimizasyonu sağlayarak bu zorluğun üstesinden gelmek için özel olarak tasarlanmıştır. Kleidi’nin kalbinde, AI’yı hızlandırmak için oluşturulmuş yüksek verimli, açık kaynaklı Arm rutinlerinin akıcı bir paketi olan KleidiAI bulunur.

KleidiAI, uç cihazlar için yaygın olarak kullanılan AI çerçevelerinin en son sürümlerine zaten entegre edilmiştir. Bunlar arasında ExecuTorch, Llama.cpp, XNNPACK aracılığıyla LiteRT ve MediaPipe bulunur. Bu yaygın entegrasyon, milyonlarca geliştiriciye önemli bir avantaj sunar; artık herhangi bir ek çaba harcamadan AI performans optimizasyonlarından otomatik olarak yararlanabilirler.

Alibaba ile Ortaklık: Qwen2-VL-2B-Instruct Modeli

Uç cihazlarda çok modlu yapay zekanın ilerlemesinde yeni bir kilometre taşı, MNN ile yakın bir işbirliği sayesinde elde edildi. MNN, Alibaba tarafından geliştirilen ve sürdürülen hafif, açık kaynaklı bir derin öğrenme çerçevesidir. Bu ortaklık, KleidiAI’nın başarılı entegrasyonuyla sonuçlandı ve çok modlu AI iş yüklerinin Arm CPU’ları kullanan mobil cihazlarda verimli bir şekilde çalışmasını sağladı. Bu başarının anahtarı, Alibaba’nın talimatla ayarlanmış 2B parametreli Qwen2-VL-2B-Instruct modelidir. Bu model, uç cihazların kısıtlamalarına göre uyarlanmış, görüntü anlama, metinden görüntüye akıl yürütme ve birden çok dilde çok modlu üretim için özel olarak tasarlanmıştır.

Ölçülebilir Performans Kazanımları

KleidiAI’nın MNN ile entegrasyonu, Qwen2-VL-2B-Instruct modeli için önemli, ölçülebilir performans iyileştirmeleri sağladı. Uçtaki (edge) önemli AI çok modlu kullanım durumlarında daha hızlı yanıt süreleri gözlemlendi. Bu iyileştirmeler, çeşitli müşteri odaklı Alibaba uygulamalarında gelişmiş kullanıcı deneyimleri sağlar. Örnekler şunları içerir:

• Müşteri hizmetleri için sohbet robotları: Müşteri sorularına daha hızlı ve daha verimli yanıtlar sağlamak.
• E-alışveriş uygulamaları: Fotoğraftan ürüne arama olanağı sağlayarak, müşterilerin sadece bir resim yükleyerek aradıkları öğeleri hızlı bir şekilde bulmalarını sağlar.

Bu uygulamalardaki gelişmiş hız, önemli performans kazanımlarının doğrudan bir sonucudur:

• Ön Doldurma İyileştirmesi: Ön doldurmada (pre-fill) yüzde 57’lik dikkat çekici bir performans iyileştirmesi elde edildi. Bu, AI modellerinin bir yanıt oluşturmadan önce çok kaynaklı istem girdilerini işlediği kritik aşamayı ifade eder.
• Kod Çözme İyileştirmesi: Kod çözmede (decode) yüzde 28’lik önemli bir performans iyileştirmesi gözlemlendi. Bu, AI modelinin bir istemi işledikten sonra metin oluşturduğu süreçtir.

Hızın ötesinde, KleidiAI entegrasyonu ayrıca uçtaki AI iş yüklerinin daha verimli işlenmesine katkıda bulunur. Bu, çok modlu iş yükleriyle ilişkili genel hesaplama maliyetini düşürerek elde edilir. Bu performans ve verimlilik kazanımları milyonlarca geliştirici tarafından kolayca erişilebilir. MNN çerçevesinde ve KleidiAI’nın entegre edildiği uç cihazlar için diğer popüler AI çerçevelerinde uygulamalar ve iş yükleri çalıştıran herhangi bir geliştirici, hemen faydalanabilir.

Gerçek Dünya Gösterimi: MWC Vitrini

Qwen2-VL-2B-Instruct modelinin, MNN ile yeni KleidiAI entegrasyonu tarafından desteklenen pratik yetenekleri, Mobile World Congress’te (MWC) sergilendi. Arm standındaki bir gösteri, modelin çeşitli görsel ve metin girdisi kombinasyonlarını anlama yeteneğini vurguladı. Model daha sonra görüntü içeriğinin kısa bir özetiyle yanıt verdi. Bu sürecin tamamı, çözümün gücünü ve verimliliğini sergileyen akıllı telefonların Arm CPU’sunda yürütüldü. Bu akıllı telefonlar, vivo X200 Serisi dahil olmak üzere MediaTek’in Arm destekli Dimensity 9400 mobil sistem çipi (SoC) üzerine inşa edildi.

Kullanıcı Deneyiminde Önemli Bir Adım İleri

Arm’ın KleidiAI’sının Alibaba’nın Qwen2-VL-2B-Instruct modeli için MNN çerçevesiyle entegrasyonu, çok modlu AI iş yükleri için kullanıcı deneyiminde önemli bir sıçramayı temsil ediyor. Bu ilerleme, bu gelişmiş deneyimleri doğrudan uçta (edge), tamamı Arm CPU tarafından desteklenerek sunar. Bu yetenekler mobil cihazlarda kolayca mevcuttur ve önde gelen müşteri odaklı uygulamalar zaten KleidiAI’nın avantajlarından yararlanmaktadır.

Uç Cihazlarda Çok Modlu Yapay Zekanın Geleceği

İleriye baktığımızda, KleidiAI’nın AI iş yükleri için kesintisiz optimizasyonları, milyonlarca geliştiriciyi güçlendirmeye devam edecek. Uç cihazlarda giderek daha sofistike çok modlu deneyimler yaratabilecekler. Bu sürekli yenilik, akıllı bilişimin bir sonraki dalgası için yolu açacak ve AI’nın devam eden evriminde önemli bir adım ileriye doğru işaret edecektir.

Alibaba Liderliğinden Alıntılar

‘Alibaba Cloud’un büyük dil modeli Qwen, Arm KleidiAI ve MNN arasındaki işbirliğini görmekten memnuniyet duyuyoruz. MNN’nin cihaz üzerinde çıkarım çerçevesinin Arm KleidiAI ile entegre edilmesi, Qwen’in gecikmesini ve enerji verimliliğini önemli ölçüde artırdı. Bu ortaklık, LLM’lerin mobil cihazlardaki potansiyelini doğruluyor ve AI kullanıcı deneyimini geliştiriyor. Cihaz üzerinde AI bilişimini ilerletme konusundaki çabaların devam etmesini dört gözle bekliyoruz.’ - Dong Xu, Tongyi Büyük Model İşletmesi Genel Müdürü, Alibaba Cloud.

‘MNN çıkarım çerçevesi ile Arm KleidiAI arasındaki teknik entegrasyon, cihaz üzerinde hızlandırmada büyük bir atılımı işaret ediyor. Mimari üzerinde ortak optimizasyon ile Tongyi LLM’nin cihaz üzerinde çıkarım verimliliğini büyük ölçüde iyileştirdik, sınırlı mobil bilgi işlem gücü ile gelişmiş AI yetenekleri arasındaki boşluğu kapattık. Bu başarı, teknik uzmanlığımızı ve endüstriler arası işbirliğimizi vurgulamaktadır. Cihaz üzerinde bilişim ekosistemini geliştirmek, mobil cihazlarda daha akıcı ve verimli AI deneyimleri sunmak için bu ortaklığa devam etmeyi dört gözle bekliyoruz.’ - Xiaotang Jiang, MNN Başkanı, Taobao ve Tmall Grubu, Alibaba.

Teknik Yönlere Daha Derinlemesine Bakış

Bu işbirliğinin önemini tam olarak anlamak için, altta yatan bazı teknik ayrıntıları incelemek faydalıdır.

MNN’nin Rolü

MNN’nin tasarım felsefesi verimlilik ve taşınabilirliğe odaklanır. Bunu birkaç temel özellik aracılığıyla başarır:

• Hafif Mimari: MNN, uç cihazlarda depolama ve bellek gereksinimlerini en aza indirerek küçük bir ayak izine sahip olacak şekilde tasarlanmıştır.
• Optimize Edilmiş İşlemler: Çerçeve, performansı en üst düzeye çıkarmak için Arm CPU’lar için özel olarak uyarlanmış, yüksek düzeyde optimize edilmiş matematiksel işlemleri içerir.
• Çapraz Platform Uyumluluğu: MNN, çok çeşitli işletim sistemlerini ve donanım platformlarını destekleyerek geliştiriciler için çok yönlü bir seçim olmasını sağlar.

KleidiAI’nın Katkısı

KleidiAI, AI çıkarımını daha da hızlandıran bir dizi özel rutin sağlayarak MNN’nin güçlü yönlerini tamamlar. Bu rutinler, Arm’ın CPU mimarisindeki kapsamlı deneyiminden yararlanarak, aksi takdirde elde edilmesi zor olan performans kazanımlarını ortaya çıkarır. KleidiAI’nın katkısının temel yönleri şunları içerir:

• Yüksek Düzeyde Optimize Edilmiş Çekirdekler: KleidiAI, matris çarpımı ve evrişim gibi yaygın AI işlemleri için yüksek düzeyde optimize edilmiş çekirdekler sağlar. Bu çekirdekler, Arm CPU’ların belirli özelliklerinden yararlanmak için titizlikle ayarlanmıştır.
• Otomatik Entegrasyon: KleidiAI’nın popüler AI çerçevelerine sorunsuz entegrasyonu, geliştiricilerin bu optimizasyonları manuel olarak dahil etmeleri gerekmediği anlamına gelir. Performans avantajları otomatik olarak uygulanır ve geliştirme süreci basitleştirilir.
• Sürekli İyileştirme: Arm, KleidiAI’yı sürekli olarak güncellemeyi ve iyileştirmeyi taahhüt eder ve AI hızlandırma teknolojisinin ön saflarında kalmasını sağlar.

Qwen2-VL-2B-Instruct: Güçlü Bir Çok Modlu Model

Qwen2-VL-2B-Instruct modeli, Alibaba’nın büyük dil modelleri ve çok modlu AI konusundaki uzmanlığının bir kanıtıdır. Temel özellikleri şunları içerir:

• Talimat Ayarı: Model, talimatları izlemek için özel olarak ayarlanmıştır ve bu da onu çok çeşitli görevlere uyarlanabilir hale getirir.
• Çok Modlu Yetenekler: Hem görsel hem de metinsel bilgileri anlamada ve işlemede üstündür, görüntü başlığı ve görsel soru yanıtlama gibi uygulamaları mümkün kılar.
• Çoklu Dil Desteği: Model, birden çok dilde çalışacak şekilde tasarlanmıştır ve farklı bölgeler ve kullanıcı tabanları arasında uygulanabilirliğini genişletir.
• Uç Cihazlar için Optimize Edildi: Güçlü yeteneklerine rağmen, model uç cihazların kaynak kısıtlamaları dahilinde çalışacak şekilde dikkatlice tasarlanmıştır.

Çok Modlu Yapay Zekanın Kapsamını Genişletme

Burada tartışılan gelişmeler akıllı telefonlarla sınırlı değildir. Aynı ilkeler ve teknolojiler, aşağıdakiler dahil olmak üzere çok çeşitli uç cihazlara uygulanabilir:

• Akıllı Ev Cihazları: Sesli asistanları, güvenlik kameraları için görüntü tanımayı ve diğer akıllı özellikleri etkinleştirme.
• Giyilebilir Cihazlar: Sağlık izleme, fitness takibi ve artırılmış gerçeklik uygulamalarını güçlendirme.
• Endüstriyel IoT: Üretim ortamlarında tahmine dayalı bakım, kalite kontrolü ve otomasyonu kolaylaştırma.
• Otomotiv: Sürücü destek sistemlerini, kabin içi eğlenceyi ve otonom sürüş yeteneklerini geliştirme.

Uçtaki çok modlu AI’nın potansiyel uygulamaları çok geniştir ve genişlemeye devam etmektedir. Modeller daha sofistike hale geldikçe ve donanım daha güçlü hale geldikçe, daha da yenilikçi ve etkili kullanım durumlarının ortaya çıkmasını bekleyebiliriz. Arm ve Alibaba arasındaki bu işbirliği, çok modlu AI’nın gücünü daha geniş bir kitleye ulaştıran ve yeni nesil akıllı cihazları mümkün kılan bu yönde atılmış önemli bir adımdır. Verimlilik, performans ve geliştirici erişilebilirliğine odaklanma, bu gelişmelerin teknolojinin geleceği üzerinde geniş ve kalıcı bir etkiye sahip olmasını sağlar.