Yakın zamanda TDS (sonunda bağlantısı verilmiştir) için OpenAI’nin yeni Decision API’si hakkında bir makale yazdım. Özet bölümünde, bu API’nin yeteneklerini JEV ile karşılaştırdım ve JEV’nin OpenAI’den daha hızlı olmasına rağmen OpenAI’nin görüntüleri işleyebilme avantajına sahip olduğunu belirttim.
Ayrıca bunun yeterince büyük bir avantaj olmadığını, çünkü JEV’nin çok yakında görüntüleri işleyebilen bir sistem çıkaracağını düşündüğümü de söyledim. Görünüşe göre haklıymışım. Son birkaç hafta içinde JEV, görüntü işleme özelliğini etkinleştirdi ve Typesafe AI’nin web sitesine göre şu tanıma sahip olan Box adında yeni bir temel işlem birimi tanıttı…
… bir nesnenin görüntüde nerede bulunduğunu bulmak için kullanılan bir Sistem Bir soru türü. Cevap, nesnenin etrafındaki bir kutunun dört kenarıdır ve bu kenarlar görüntünün genişliği ile yüksekliğinin kesirleri olarak ifade edilir.

Yani temel olarak, bir nesnenin görüntüde nerede olduğunu bilmeniz gerektiğinde Box kullanmalısınız.
JEV Nedir?
JEV’nin tam teorisini veya felsefesini burada tekrarlamayacağım, çünkü bunu önceki makalelerimde ele aldım. JEV’nin özellikle metinler —ve artık görüntüler— hakkında Seçim, Evet/Hayır ve diğer karar türlerini vermek üzere geliştirilmiş yeni bir yapay zekâ sistemi olduğunu söylemek yeterli olacaktır.
Almanız gereken kararın temel işlem birimini tanımlar ve değerlendirmek için gerekli içeriği sağlarsınız. Bu, bir müşteri mesajının iptal talebi olup olmadığına, bir belgenin kişisel bilgi içerip içermediğine veya bir fotoğraftaki paketin hangi hasar kategorisine en iyi şekilde uyduğuna karar vermek anlamına gelebilir. Sonuç daha sonra kodunuzdaki bir sonraki adımı yönlendirebilir; örneğin bir talebi yönlendirmek, bir belgeyi inceleme için işaretlemek veya hasarlı bir paket talebini kontrol için göndermek gibi.
Bu makalede, JEV’nin yeni görüntü işleme yetenekleri için dört pratik kullanım durumu göstereceğim.
Ön Koşullar ve Sınırlamalar
JEV’yi kullanmadan önce bir API anahtarına ihtiyacınız olacak. Bir anahtarı https://console.typesafe.ai/keys adresinden alabilirsiniz.
JEV’nin görüntü kullanımıyla ilgili sınırlamaları vardır. Bunlar şunlardır:
Bir görüntü JPEG veya PNG formatında olmalıdır
Görüntünün en küçük genişlik veya yükseklik boyutu 280 pikseldir
Görüntünün en büyük genişlik veya yükseklik boyutu 1568 pikseldir
Her bir görüntünün maksimum dosya boyutu 16 MiB’dir
Maksimum istek gövdesi boyutu, JSON, base64 metni ve çok parçalı yapılandırma dahil olmak üzere 32 MiB’dir.
Tüm örnek kodumu Windows üzerinde bir Jupyter Notebook’ta çalıştırıyorum. Notebook’unuzu açtıktan sonra, aşağıdaki komutu bir hücreye yazıp çalıştırın.
Eğer normal bir Python betiği kullanıyorsanız, önce ortamınızda yukarıdaki pip komutunu çalıştırdığınızdan emin olun.
Ayrıca birkaç yardımcı fonksiyonu da çalıştırın. Biri API anahtarınızı girmenizi isterken, diğerleri görüntünüzün dik olduğundan ve JEV’ye beslemek için uygun boyutta olduğundan emin olur.
Kullanım Durumu 1 — Referans fotoğraflar kullanarak kumaş desenlerini sınıflandırma
Diyelim ki çevrimiçi bir giyim perakendecisi, yüklenen kumaş fotoğraflarını sınıflandırmak istiyor. Her deseni tamamen kelimelerle tanımlamak yerine, örnek görüntüleri cevap kriterleri olarak sağlayın. Bu örnekte, 3 örnek desen görüntümüz ve aşağıdaki gibi sınıflandırmak istediğimiz bir görüntümüz olacak.
Sınıflandırmaya çalıştığımız kumaş görüntüsü, sol üst köşedeki to_classify.png adlı çizgili görüntüdür.
Sınıflandırma için gereken kod burada. Oldukça basit. JEV’den bir kumaş görüntüsünü çizgili, kareli, çiçekli veya diğer olarak sınıflandırmasını istiyor; bunu yaparken renk, aydınlatma ve kamera açısındaki farklılıkları göz ardı ediyor. Sınıflandırmayı, güven derecesini ve seçenek olasılıklarını yazdırıyor, ardından sonuç “diğer” ise veya güven derecesi %80’in altındaysa bir katalog etiketi öneriyor veya görüntüyü inceleme için işaretliyor.
Peki sonuç ne?
Bunun bir tesadüf olmadığını kontrol etmek için puantiyeli bir kumaş görüntüsü oluşturdum ve mevcut to_classify.png görüntüsünün yerine kodu bu görüntüyle çalıştırdım.
Bu çalıştırmanın sonucu şöyle oldu.
Kullanım Durumu 2 — Bir ürün fotoğrafının netliğini puanlama
Bir ürün fotoğrafını kabul etmeden önce, ana nesnenin yeterince net olup olmadığını değerlendirin. Bu örnek, aydınlatma, kompozisyon ve netliği tek bir belirsiz kalite puanında birleştirmek yerine, belirli bir boyutu —odak— değerlendirir.
Aynı nesnenin —bir çaydanlığın— iki görüntüsünü kullanacağım. Soldaki net (product_photo_1.png), diğeri ise hafifçe bulanık (product_photo_2.png). İşte giriş görüntüleri.
Bu iki görüntüyü işlemek için aşağıdaki gibi bir kod kullanabiliriz. Her iki fotoğrafı da tek bir istekte JEV’ye gönderir, her bir görüntüyü ayrı ayrı incelenir bir ana ürün açısından değerlendirmesini ve kasıtlı arka plan bulanıklığını göz ardı ederek netliğini 0’dan 3’e kadar puanlamasını ister. Sonuçları yazdırır ve görünürlük, güven ve netlik eşiklerini kullanarak daha net bir fotoğraf, manuel inceleme, yeniden çekim veya geçiş önerir.
Ve aldığımız sonuç bu.
Kullanım Durumu 3 — Bir gönderim etiketini bulma ve kırpması
Üçüncü kullanım durumumuz için, JEV’nin bir görüntünün farklı kısımlarını belirlemek için sunduğu yeni Box temel işlem birimini kullanacağız. JEV, hedefi içeren en küçük dikdörtgen olan ve dört kenar olarak verilen bir sınırlayıcı kutu ile cevap verir. Her kenar, görüntünün boyutunun bir kesridir; sol ve sağ genişliğin, üst ve alt ise yüksekliğin kesirleridir, bu nedenle aynı cevap herhangi bir görüntü boyutunda çalışır.
Diyelim ki bir depo uygulaması paket fotoğrafları alıyor. Gönderim etiketini bulmak ve daha sonraki bir barkod veya OCR adımı için kırpmış bir görüntü kaydetmek istiyoruz.
Aslında, bu örnek için JEV’nin yerleşik Noul temel işlem birimini de kullanacağız. Bu, “Paketin gerçekten bir gönderim etiketi var mı?” sorusunu cevaplayacaktır. Ancak bu onaylandıktan sonra etiketi bulmaya ve onu kırmaya devam ederiz.
İşte giriş görüntümüz.
JEV’ye paket üzerinde bir gönderim etiketi görüp görmediğini soruyoruz. Eğer bir tane bulursa, en büyük görünen etiketin etrafına bir kutu çizmesini istiyoruz.
Kod, kırpma yapmadan önce iki puanı kontrol eder: bir etiketin var olma olasılığı en az %90 olmalı ve kutunun güven derecesi en az %80 olmalıdır. Her ikisi de geçerli olduğunda, kod kutu koordinatlarını piksellere dönüştürür, etiketin etrafında küçük bir kenar bırakır ve kırpmayı bir JPEG olarak kaydeder. Puanlardan biri yetersiz kalırsa, belirsizliği bildirir veya fotoğrafı manuel inceleme için işaretler.
Ve shipping_label_crop.jpg olarak kaydedilen kırpmış görüntü burada.
Kullanım Durumu 4 — İki benzer görüntü arasındaki farkı bulma
Diyelim ki bir araba kiralama firması, bir arabanın müşteri ilk kiraladığındaki aynı durumda iade edilip edilmediğini kontrol etmek istiyor. JEV’yi kullanarak gövdedeki hafif çentikler ve çizikler gibi küçük farkları tespit edebiliriz.
Bir araba kapısının bu iki görüntüsünü düşünün. İlk görüntü kusursuzdur ve ikincisinde yaklaşık ortada çok hafif yatay bir çizik vardır.
Bunları JEV görüntü işleme ile çalıştıralım. İşte JEV’den iki araba kapısı fotoğrafını görünür farklar açısından karşılaştırmasını, yeni bir çizik olup olmadığını kontrol etmesini ve bunu bir sınırlayıcı kutuyla bulmasını isteyen kod. Olasılıkları ve kutunun güven derecesini yazdırır; ardından olasılık en az %80 ve kutunun güven derecesi en az %70 ise kırmızı bir dikdörtgen çizer, kaydeder ve gösterir; aksi takdirde belirsizliği bildirir.
İşte sonuçlarım.
Görüntülerin ne kadar farklı olduğuna bağlı olarak, istediğiniz sonucu almak için çeşitli olasılık eşiklerini ayarlamanız gerekebilir.
Özet
Temel Bulgular ve Genel Değerlendirme
JEV’nin görüntü yetenekleri, görsel değerlendirmeleri yazılımımızın eyleme geçirebileceği kararlara dönüştürmek için pratik bir yol sunar. Bir görüntüyü referans fotoğraflarla karşılaştırarak sınıflandırabilir, belirli bir kaliteyi puanlayabilir, bir şeyin var olup olmadığını kontrol edebilir veya yeni Box temel işlem birimini kullanarak yerini bulabiliriz.
Özellikle “farkı bulma” örneğinden çok etkilendim. Yaşımın ilerlediğini biliyorum ama o çizik benim için görmesi oldukça zordu — nerede olduğunu bilsem bile!
Dört örneğim, JEV görüntü işlemenin sunabileceği fırsatların sadece küçük bir kısmını gösteriyor. Benzer yaklaşımlar ekipman denetimleri, perakende raf izleme, mahsul hasarı ve üretim kalite kontrolleri gibi kullanım durumlarını da destekleyebilir.
Önemli bir nokta da uygulamanın bundan sonra ne olacağını hâlâ kontrol etmesidir. Bir olasılık veya güven değeri, bir görüntünün kabul edilip edilmeyeceğine, başka bir fotoğrafın talep edilip edilmeyeceğine veya bir durumun manuel inceleme için gönderilip gönderilmeyeceğine karar verebilir.
İlgilenenler için, başlangıçta bahsettiğim OpenAI’nin Decisions API’si hakkındaki önceki TDS makalemizin bağlantısı burada.


Bu Gelişmeyi Toplulukta Değerlendirin
Haber hakkındaki düşüncelerinizi, donanım deneyimlerinizi ve teknik sorularınızı topluluk üyeleriyle anlık olarak tartışın.
Bu gelişme hakkında düşüncelerinizi, donanım deneyimlerinizi veya sorularınızı Topluluk Forumumuzda paylaşın.
Foruma Katıl & Yanıtla ➔




Söz sizde.
Deneyiminizi, sorularınızı ve katkılarınızı paylaşın. E-posta adresiniz yayımlanmaz.