Yapay zeka çözümlerine olan talebin artmasıyla, LLM’lerin dış araçlar ve API’lerle entegrasyonu kritik öneme sahiptir. Bu makale, Amazon Bedrock aracılığıyla Amazon Nova modellerini kullanarak araç çağırmanın teknik yönlerini ve bu modelleri özelleştirme yöntemlerini inceleyecektir.
Araç Kullanımıyla LLM Yeteneklerini Genişletme
LLM’ler, doğal dil görevlerinde dikkat çekici bir yeterlilik göstermiştir. Ancak, gerçek potansiyelleri API’ler ve hesaplama çerçeveleri gibi harici araçlarla sorunsuz entegrasyon yoluyla açığa çıkar. Bu araçlar, LLM’lere gerçek zamanlı verilere erişme, alana özgü hesaplamalar yapma ve kesin bilgileri alma yeteneği vererek, güvenilirliklerini ve çok yönlülüklerini artırır.
LLM’lerin hava durumu API’si ile entegrasyonunu düşünün. Bu, LLM’lerin doğru ve güncel hava durumu tahminleri sağlamasına olanak tanır. Benzer şekilde, bir Wikipedia API’si, LLM’leri geniş bir bilgi deposuna erişme yeteneğiyle donatabilir ve karmaşık sorgulara daha yüksek doğrulukla yanıt vermelerini sağlar. Bilimsel bağlamlarda, hesap makineleri ve sembolik motorlar gibi araçlar, LLM’lerin sayısal hataların üstesinden gelmesine yardımcı olabilir ve bu da onları karmaşık hesaplamalar için daha güvenilir hale getirir.
Bu araçlarla sorunsuz bir şekilde entegre olarak, LLM’ler dinamik ve özel görevleri gerçek dünya faydasıyla ele alabilen sağlam, alana duyarlı sistemlere dönüşür. Bu entegrasyon, yapay zeka destekli sistemlerin karar verme süreçlerini optimize etmelerini ve çeşitli senaryolarda daha etkili sonuçlar üretmelerini sağlar. Örneğin, finans sektöründe LLM’ler, piyasa verilerini analiz etmek, risk değerlendirmesi yapmak ve yatırım stratejileri önermek için API’lerle entegre edilebilir. Sağlık sektöründe ise, hastaların semptomlarını analiz etmek, teşhis koymak ve tedavi planları oluşturmak için tıbbi veri tabanlarına erişebilirler. Bu örnekler, LLM’lerin araç kullanımı yoluyla farklı sektörlerdeki potansiyelini göstermektedir.
Amazon Nova Modelleri ve Amazon Bedrock
Aralık 2024’te AWS re:Invent’te tanıtılan Amazon Nova modelleri, olağanüstü fiyat-performans değeri sunmak için tasarlanmıştır. Bu modeller, maliyet etkinliğini korurken önemli metin anlama kıyaslama testlerinde son teknoloji performans sunar. Seri üç varyanttan oluşur:
- Micro: Kenar kullanımı için optimize edilmiş, ultra verimli performans sunan yalnızca metin modeli.
- Lite: Çok yönlülük ve performans arasında bir denge kuran çok modlu bir model.
- Pro: Karmaşık görevlerin üstesinden gelmek için tasarlanmış yüksek performanslı çok modlu bir model.
Amazon Nova modelleri, üretim ve aracı iş akışlarının geliştirilmesi de dahil olmak üzere çok çeşitli görevler için kullanılabilir. Bu modeller, araç çağırma olarak bilinen bir işlem aracılığıyla harici araçlar veya hizmetlerle etkileşim kurma yeteneğine sahiptir. Bu işlevselliğe Amazon Bedrock konsolu ve Converse ve Invoke gibi API’ler aracılığıyla erişilebilir.
Önceden eğitilmiş modelleri kullanmanın yanı sıra, geliştiriciler bu modelleri çok modlu verilerle (Pro ve Lite) veya metin verileriyle (Pro, Lite ve Micro) ince ayar yapma seçeneğine sahiptir. Bu esneklik, geliştiricilerin istenen doğruluk, gecikme süresi ve maliyet etkinliği düzeylerine ulaşmasını sağlar. Ayrıca, geliştiriciler daha büyük modellerin daha küçük modellere self servis özel ince ayarını ve damıtılmasını gerçekleştirmek için Amazon Bedrock konsolunu ve API’lerini kullanabilir. Bu, özellikle sınırlı kaynaklara sahip olan veya daha hafif modellere ihtiyaç duyan geliştiriciler için faydalıdır. İnce ayar, modelin belirli bir görev için daha iyi performans göstermesini sağlar ve böylece daha doğru ve verimli sonuçlar elde edilir. Damıtma ise, daha büyük bir modelin bilgi ve yeteneklerini daha küçük bir modele aktararak, daha az kaynakla daha iyi performans elde edilmesini sağlar.
Çözüme Genel Bakış
Çözüm, özellikle araç kullanımı için tasarlanmış özel bir veri kümesi hazırlamayı içerir. Bu veri kümesi daha sonra Amazon Bedrock aracılığıyla Amazon Nova modellerinin performansını değerlendirmek için kullanılır ve Converse ve Invoke API’leri kullanılır. Daha sonra, AmazonNova Micro ve Amazon Nova Lite modelleri, Amazon Bedrock aracılığıyla hazırlanan veri kümesi kullanılarak ince ayar yapılır. İnce ayar işlemi tamamlandıktan sonra, bu özelleştirilmiş modeller sağlanan verim yoluyla değerlendirilir.
Araçlar
LLM’lerde araç kullanımı iki temel işlemi kapsar: araç seçimi ve argüman çıkarma veya oluşturma. Örneğin, belirli bir konum için hava durumu bilgilerini almak üzere tasarlanmış bir aracı düşünün. “Şu anda Londra’da hava nasıl?” gibi bir sorgu sunulduğunda, LLM uygun bir aracın olup olmadığını belirlemek için mevcut araçlarını değerlendirir. Uygun bir araç belirlenirse, model onu seçer ve araç çağrısını oluşturmak için gerekli argümanları (bu durumda “Londra”) çıkarır.
Her araç, amaçlanan işlevselliğini, zorunlu ve isteğe bağlı argümanlarını ve ilişkili veri türlerini özetleyen resmi bir spesifikasyonla titizlikle tanımlanır. Araç yapılandırması olarak adlandırılan bu kesin tanımlar, araç çağrılarının doğru şekilde yürütülmesini ve argüman ayrıştırmasının aracın operasyonel gereksinimleriyle uyumlu olmasını sağlar. Bu gereksinime bağlı kalarak, bu örnekte kullanılan veri kümesi, her biri kendi argümanları ve yapılandırmaları olan, tümü bir JSON formatında yapılandırılmış sekiz farklı araç tanımlar. Tanımlanan sekiz araç şunlardır:
- weather_api_call: Hava durumu bilgilerini almak için tasarlanmış özel bir araç.
- stat_pull: İstatistikleri tanımlamak için özel bir araç.
- text_to_sql: Metni SQL sorgularına dönüştürmek için özel bir araç.
- terminal: Bir terminal ortamında komut dosyalarını yürütmek için bir araç.
- wikipedia: Wikipedia sayfalarında arama yapmak için bir Wikipedia API aracı.
- duckduckgo_results_json: Arama yapmak için DuckDuckGo’yu kullanan bir internet arama aracı.
- youtube_search: Video listelerini aramak için bir YouTube API arama aracı.
- pubmed_search: PubMed özetlerini aramak için bir PubMed arama aracı.
Bu araçların her biri, farklı veri kaynaklarına erişim sağlayarak LLM’lerin daha geniş bir yelpazede görevleri yerine getirmesine olanak tanır. Örneğin, bir araştırmacı PubMed aracıyla bilimsel makaleleri arayabilir, bir pazarlamacı DuckDuckGo aracıyla rekabet analizi yapabilir ve bir öğrenci Wikipedia aracıyla genel bilgi edinebilir. Bu araçların doğru bir şekilde kullanılması, LLM’lerin daha doğru ve güvenilir sonuçlar üretmesini sağlar.
Veri Kümesi
Bu çözümde kullanılan veri kümesi, Amazon Bedrock’tan bir temel modelin (FM) yardımıyla oluşturulan ve daha sonra manuel olarak doğrulanan ve ayarlanan sentetik bir araç çağırma veri kümesidir. Bu veri kümesi, başka bir modelin bu örneklerden öğrenmesini ve görülmemiş araç çağırmalarına genellemesini sağlamak amacıyla daha önce tartışılan sekiz araç kümesi için geliştirilmiştir.
Veri kümesindeki her giriş, modeli bir doğal dil kullanıcı sorgusu olan soru (question), kullanıcı sorgusuna yanıt vermek için gereken temel araç, argümanları (aracı yürütmek için gereken parametreleri içeren bir sözlük) ve argüman sırasının kritik olup olmadığını belirten order_matters: boolean ve argüman doğrulama veya biçimlendirme için isteğe bağlı bir düzenli ifade (regex) olan arg_pattern: optional gibi ek kısıtlamaları tanımlayan anahtar-değer çiftleri içeren bir JSON nesnesi olarak yapılandırılmıştır. Bu temel doğruluk etiketleri, önceden eğitilmiş Amazon Nova modellerinin eğitimini denetlemek ve bunları araç kullanımına uyarlamak için kullanılır. Denetimli ince ayar olarak bilinen bu işlem, aşağıdaki bölümlerde daha ayrıntılı olarak incelenecektir.
Eğitim seti 560 soru içerirken, test seti 120 soru içerir. Test seti, araç kategorisi başına 15 soru içerecek şekilde yapılandırılmıştır ve toplamda 120 soruya ulaşır. Bu yapı, modelin her bir araç kategorisinde ne kadar iyi performans gösterdiğini değerlendirmek için kullanılır.
Amazon Nova için Veri Kümesini Hazırlama
Bu veri kümesini Amazon Nova modelleriyle etkili bir şekilde kullanmak için, verileri belirli bir sohbet şablonuna göre biçimlendirmek gerekir. Yerel araç çağırma, girişleri modele geçirmeden önce uygun formata dönüştüren bir çeviri katmanı içerir. Bu çözümde, özel bir istem şablonu kullanan bir DIY araç kullanım yaklaşımı benimsenmiştir. Özellikle, sistem istemi, araç yapılandırmasıyla gömülü kullanıcı mesajı ve temel doğruluk etiketleri asistan mesajı olarak eklenmelidir.
Bu yaklaşım, modelin araç kullanımını öğrenmesi için daha fazla kontrol ve esneklik sağlar. Sistem istemi, modelin davranışını yönlendiren genel talimatları içerir. Kullanıcı mesajı, modelin yanıtlaması gereken belirli bir soruyu veya görevi içerir. Temel doğruluk etiketleri ise, modelin doğru yanıtı üretmesini sağlamak için kullanılır.
Veri Kümesini Amazon S3’e Yükleme
Bu adım, Amazon Bedrock’un ince ayar işlemi sırasında eğitim verilerine erişmesini sağlamak için önemlidir. Veri kümesi, Amazon Simple Storage Service (Amazon S3) konsolu aracılığıyla veya programlı olarak yüklenebilir.
Amazon S3, ölçeklenebilir, güvenli ve uygun maliyetli bir depolama hizmetidir. Veri kümelerini Amazon S3’e yüklemek, Amazon Bedrock’un bu verilere kolayca erişmesini sağlar ve böylece ince ayar işlemini basitleştirir. Veri kümelerini Amazon S3’e yüklemek için, öncelikle bir S3 bucket oluşturmanız ve ardından veri kümelerini bu bucket’a yüklemeniz gerekir.
Amazon Bedrock API’si Aracılığıyla Temel Modellerle Araç Çağırma
Araç kullanım veri kümesi oluşturulup gerektiği gibi biçimlendirildiğinde, Amazon Nova modellerini test etmek için kullanılabilir. Hem Converse hem de Invoke API’leri, Amazon Bedrock’ta araç kullanımı için kullanılabilir. Converse API’si, modellerin çok turlu diyaloglara katılmasına olanak tanıyan dinamik, bağlama duyarlı konuşmaları etkinleştirirken, Invoke API’si kullanıcıların Amazon Bedrock içindeki temel modelleri çağırmasına ve etkileşim kurmasına olanak tanır.
Converse API’sini kullanmak için, mesajlar, sistem istemi (varsa) ve araç yapılandırması doğrudan API’ye gönderilir.
LLM yanıtından aracı ve argümanları ayrıştırmak için şu soruyu düşünün: “Merhaba, şu anda Paris’te sıcaklık nedir?”. Çıktı, soruya yanıt vermek için gereken aracı ve argümanları tanımlamak için ayrıştırılacaktır.
Bu işlem, LLM’nin araç kullanımını nasıl gerçekleştirdiğinin temel bir örneğidir. LLM, kullanıcı sorgusunu analiz eder, gerekli aracı belirler ve ardından aracı yürütmek için gereken argümanları çıkarır. Doğru araç ve argümanların seçilmesi, LLM’nin doğru ve güvenilir yanıtlar üretmesini sağlar.
Gelişmiş Araç Kullanımı için Amazon Nova Modellerine İnce Ayar Yapma
İnce ayar, Amazon Nova gibi önceden eğitilmiş dil modellerini belirli görevlere uyarlamada çok önemli bir adımdır. Model, istenen uygulamaya göre uyarlanmış bir veri kümesi üzerinde eğitilerek, görevi daha yüksek doğruluk ve verimlilikle gerçekleştirmeyi öğrenebilir. Araç kullanımı bağlamında, ince ayar modelin uygun aracı seçme ve doğru argümanları çıkarma yeteneğini önemli ölçüde geliştirebilir.
İnce ayar işlemi, modelin tahminleri ile eğitim veri kümesindeki temel doğruluk etiketleri arasındaki farkı en aza indirmek için modelin iç parametrelerini ayarlamayı içerir. Bu, tipik olarak, modelin tekrar tekrar eğitim verilerine maruz kaldığı ve parametrelerinin gözlemlenen hatalara göre ayarlandığı yinelemeli bir işlem yoluyla elde edilir.
İnce Ayar Veri Kümesini Hazırlama
İnce ayar veri kümesi, modelin gerçek dünya senaryolarında ele alması beklenen soru ve araç çağırma türlerini yansıtacak şekilde dikkatlice düzenlenmelidir. Veri kümesi, farklı araç kategorilerini ve argüman desenlerini kapsayan çeşitli örnekler içermelidir.
Veri kümesindeki her örnek, bir soru, çağrılacak ilgili araç ve aracı yürütmek için gereken argümanlardan oluşmalıdır. Argümanlar, tipik olarak bir JSON nesnesi olarak yapılandırılmış bir şekilde biçimlendirilmelidir.
İnce Ayar Süreci
İnce ayar işlemi, Amazon Bedrock konsolu veya API’leri kullanılarak gerçekleştirilebilir. İşlem, ince ayar yapılacak modeli, ince ayar veri kümesini ve istenen eğitim parametrelerini belirtmeyi içerir.
Eğitim parametreleri, öğrenme oranı, toplu iş boyutu ve dönem sayısı gibi ince ayar işleminin çeşitli yönlerini kontrol eder. Öğrenme oranı, her yineleme sırasında yapılan parametre ayarlamalarının büyüklüğünü belirler. Toplu iş boyutu, her yinelemede işlenen örnek sayısını belirler. Dönem sayısı, modelin tüm eğitim veri kümesine kaç kez maruz kaldığını belirler.
İnce Ayarlı Modeli Değerlendirme
İnce ayar işlemi tamamlandıktan sonra, ince ayarlı modelin performansını değerlendirmek önemlidir. Bu, ince ayar işlemi sırasında kullanılmayan ayrı bir test veri kümesi üzerinde modeli test ederek yapılabilir.
Test veri kümesi, modelin gerçek dünya senaryolarında ele alması beklenen soru ve araç çağırma türlerini temsil etmelidir. Modelin performansı, doğruluk, kesinlik, geri çağırma ve F1 skoru gibi metrikler ölçülerek değerlendirilebilir.
Amazon Nova Modellerini Araç Kullanımı İçin Özelleştirmenin Faydaları
Amazon Nova modellerini araç kullanımı için özelleştirmek çeşitli faydalar sunar:
- Geliştirilmiş Doğruluk: Modeli göreve özgü bir veri kümesi üzerinde ince ayar yapmak, araç seçimi ve argüman çıkarma doğruluğunu önemli ölçüde artırabilir.
- Artan Verimlilik: İnce ayarlı modeller, araç kullanım görevlerini önceden eğitilmiş modellere göre genellikle daha verimli bir şekilde gerçekleştirebilir.
- Gelişmiş Uyarlanabilirlik: İnce ayar, modelin belirli alanlara ve kullanım durumlarına uyum sağlamasına olanak tanır.
- Azaltılmış Maliyetler: Bazı durumlarda, ince ayar araç kullanım görevlerini gerçekleştirmek için gereken hesaplama kaynaklarını azaltabilir.
İnce ayar, modelin belirli bir görev için daha iyi performans göstermesini sağlar ve böylece daha doğru ve verimli sonuçlar elde edilir. Ayrıca, ince ayar, modelin belirli alanlara ve kullanım durumlarına uyum sağlamasına olanak tanır ve bu da onu daha esnek ve uyarlanabilir hale getirir. Son olarak, ince ayar, modelin daha az kaynakla aynı performansı elde etmesini sağlayarak maliyetleri azaltabilir.
Sonuç
Amazon Nova modellerini araç kullanımı için özelleştirmek, LLM’lerin performansını ve uyarlanabilirliğini artırmak için değerli bir tekniktir. Geliştiriciler, modeli göreve özgü bir veri kümesi üzerinde ince ayar yaparak, araç kullanım uygulamalarının doğruluğunu, verimliliğini ve uyarlanabilirliğini önemli ölçüde artırabilir. Endüstriler giderek daha fazla bilinçli kararlar verebilen yapay zeka çözümleri talep ettikçe, araç kullanımı için LLM’lerin özelleştirilmesi giderek daha önemli hale gelecektir. Bu, yapay zeka destekli sistemlerin daha akıllı ve etkili hale gelmesine ve çeşitli sektörlerdeki karar verme süreçlerini iyileştirmesine olanak tanır. Örneğin, bir finans kuruluşunda, ince ayarlı bir LLM, piyasa verilerini analiz etmek, riskleri değerlendirmek ve yatırım stratejileri önermek için daha doğru ve verimli bir şekilde kullanılabilir. Benzer şekilde, bir sağlık kuruluşunda, ince ayarlı bir LLM, hastaların semptomlarını analiz etmek, teşhis koymak ve tedavi planları oluşturmak için daha güvenilir bir şekilde kullanılabilir. Bu örnekler, LLM’lerin özelleştirilmesinin çeşitli sektörlerdeki potansiyelini göstermektedir.