Ollama, yerel GPU altyapısında ve barındırılan bulut modellerinde büyük dil modellerini çalıştırmak ve yönetmek için 2023 yılında Jeffrey Morgan ve Michael Chiang tarafından geliştirilen açık kaynaklı bir yazılım platformudur.
Tanım
Ollama, büyük dil modellerini (LLM) yerel olarak çalıştırmak ve yönetmek amacıyla tasarlanmış açık kaynaklı bir yazılım platformudur. Platform; komut satırı arayüzü, yerel bir grafik kullanıcı arayüzü (GUI), yerel REST API'si, model yönetim araçları ve kodlama asistanları ile diğer uygulamalarda açık ağırlıklı modellerin kullanılmasını sağlayan bütünleştirmeler sunar.
Bağlam
Platform, büyük dil modellerinin yerel GPU altyapısında çalıştırılabilmesine olanak tanıyarak kullanıcıların veri gizliliğini koruyacak biçimde kendi ortamlarında modelleri kullanmasını hedefler. Aynı zamanda barındırılan bulut modellerine erişim imkanı da sağlar. Açık kaynaklı yapısı, açık ağırlıklı modellerin kodlama asistanları ve diğer uygulamalarla sorunsuz entegrasyonunu destekler.
Örnek
Bir geliştirici, Ollama üzerinden yerel olarak bir dil modeli indirip çalıştırabilir; ardından uygulamasından bu modele REST API'si aracılığıyla istek gönderebilir. Örneğin, kendi kodlama asistanına açık ağırlıklı bir model bağlayarak kullanıcıların özel ortamlarında yanıt almasını sağlayabilir.
Söz sizde.
Deneyiminizi, sorularınızı ve katkılarınızı paylaşın. E-posta adresiniz yayımlanmaz.