İçerik Tablosu
NVIDIA Research, 2D Fotoğrafları Bir Yapay Zekanın Göz açıp kapayıncaya kadar 3D Sahnelere Dönüştürüyor
Nvidia Araştırma grubu Instant NeRF ismi verdikleri, yüksek çözünürlüklü bir 3D sahneyi saniyeler içinde öğrenen ve o sahnenin görüntülerini birkaç milisaniyede oluşturabilen bir sinirsel işleme modeli geliştirdiğini duyurdular.
75 yıl önce bir Polaroid kamera ile ilk anlık fotoğraf çekildiğinde , gerçek dünyayı gerçekçi bir 2 boyutlu bir görüntüde hızla yakalamak çığır açıcıydı. Bugün, Nvidia’da yapay zeka üzerine çalışan bilim insanları, yapay zeka araştırmacıları bunun tam tersi üzerinde çalışıyorlar: hareketsiz görüntü koleksiyonunu birkaç saniye içinde dijital bir 3D sahneye dönüştürmek.
NVIDIA’nın AI araştırmacıları, hareketsiz 2D görüntü koleksiyonunu neredeyse anında dijital bir 3D sahneye dönüştürebilen bir süreç geliştirdi. Instant NeRF veya temel olarak ters işleme olarak adlandırılan bu, ışığın gerçek dünyada nasıl davrandığını belirlemek için AI kullanır, araştırmacıların çeşitli açılardan çekilmiş bir avuç 2B görüntüden bir 3B sahneyi yeniden oluşturmasına olanak tanır. Bu işlem, ortaya çıkan 3B sahneyi onlarca milisaniye içinde oluşturmadan önce birkaç düzine fotoğraf üzerinde eğitim almak için yalnızca birkaç saniye gerektirir.
NeRF nedir?
Esasen, 2B görüntülerin girdi koleksiyonuna dayalı gerçekçi 3B sahneleri temsil eden ve işleyen sinir ağlarıdır. Sinir ağları, 3B uzaydaki herhangi bir noktadan herhangi bir yönde yayılan ışığın rengini tahmin ederek sahneyi yeniden yapılandırırken boşlukları doldurabilir. Tipik olarak, yapay zekayı eğitmek saatler sürer,
ancak Instant NeRF, NVIDIA tarafından geliştirilen ve hızlı çalışan küçük bir sinir ağı kullanarak yüksek kaliteli sonuçlar elde eden, çoklu çözünürlüklü karma ızgara kodlaması adı verilen bir teknik kullanarak işleme süresini kısaltır.
Ters işleme olarak bilinen süreç, ışığın gerçek dünyada nasıl davrandığını yaklaşık olarak tahmin etmek için AI’yı kullanır ve araştırmacıların farklı açılardan çekilmiş bir avuç 2B görüntüden bir 3B sahneyi yeniden oluşturmasını sağlar. NVIDIA Araştırma ekibi, bu görevi neredeyse anında gerçekleştiren bir yaklaşım geliştirdi ve bu onu ultra hızlı sinir ağı eğitimi ile hızlı oluşturmayı bir araya getiren türünün ilk modellerinden biri haline getirdi.
NVIDIA bu yaklaşımı nöral parlaklık alanları veya NeRF adı verilen popüler yeni bir teknolojiye uyguladı. Instant NeRF olarak adlandırılan sonuç, bugüne kadarki en hızlı NeRF tekniğidir ve bazı durumlarda 1.000 kattan fazla hızlanma sağlar. Model, birkaç düzine durağan fotoğraf ve bunların çekildikleri kamera açılarına ilişkin veriler üzerinde eğitilmesi için yalnızca birkaç saniyeye ihtiyaç duyuyor ve ardından ortaya çıkan 3D sahneyi onlarca milisaniye içinde oluşturabiliyor.
NVIDIA grafik araştırmalarından sorumlu başkan yardımcısı David Luebke, “Çokgen ağlar gibi geleneksel 3B temsiller vektör görüntülerine benziyorsa, NeRF’ler bitmap görüntüler gibidir: yoğun bir şekilde ışığın bir nesneden veya bir sahneden yayılma şeklini yakalarlar” diyor. “Bu anlamda, Anında NeRF, 3D için dijital kameralar ve JPEG sıkıştırması 2D fotoğrafçılık için ne kadar önemliyse, 3D yakalama ve paylaşmanın hızını, kolaylığını ve erişimini büyük ölçüde artırıyor olabilir.”
Bu hafta NVIDIA GTC’de bir oturumda sergilenen Instant NeRF, sanal dünyalar için avatarlar veya sahneler oluşturmak, video konferans katılımcılarını ve ortamlarını 3B olarak yakalamak veya 3B dijital haritalar için sahneleri yeniden oluşturmak için kullanılabilir.
Polaroid görüntülerinin ilk günlerine bir övgü olarak NVIDIA Research, Andy Warhol’un anında fotoğraf çekmesinin ikonik bir fotoğrafını yeniden oluşturdu ve Instant NeRF kullanarak bunu 3D bir sahneye dönüştürdü.
NeRF Nedir?
NeRF’ler, 2B görüntülerin girdi koleksiyonuna dayalı gerçekçi 3B sahneleri temsil etmek ve işlemek için sinir ağlarını kullanır.
Bir NeRF’yi beslemek için veri toplamak, bir kırmızı halı fotoğrafçısı olmak, bir ünlünün kıyafetini her açıdan yakalamaya çalışmak gibidir. o çekimler.
İnsanları veya diğer hareketli unsurları içeren bir sahnede, bu çekimler ne kadar hızlı çekilirse o kadar iyidir. 2D görüntü yakalama işlemi sırasında çok fazla hareket varsa, AI tarafından oluşturulan 3D sahne bulanık olacaktır.
Oradan, bir NeRF esasen boşlukları doldurur ve 3B uzaydaki herhangi bir noktadan herhangi bir yönde yayılan ışığın rengini tahmin ederek sahneyi yeniden yapılandırmak için küçük bir sinir ağını eğitir. Teknik, bazı görüntülerde görülen nesneler, diğer görüntülerdeki sütunlar gibi engeller tarafından engellendiğinde, tıkanıklıkların etrafında bile çalışabilir.
Anında NeRF ile 1.000 Kat Hızlanma
Kısmi bir görüşe dayalı olarak bir nesnenin derinliğini ve görünümünü tahmin etmek insanlar için doğal bir beceri iken, AI için zorlu bir görevdir.
Geleneksel yöntemlerle bir 3B sahne oluşturmak, görselleştirmenin karmaşıklığına ve çözünürlüğüne bağlı olarak saatler veya daha uzun sürer. Yapay zekayı resme dahil etmek işleri hızlandırır. İlk NeRF modelleri, birkaç dakika içinde artefakt içermeyen net sahneler oluşturdu, ancak yine de eğitilmesi saatler sürdü.
Bununla birlikte, Anında NeRF, oluşturma süresini birkaç büyüklük sırasına göre kısaltır. NVIDIA tarafından geliştirilen ve NVIDIA GPU’larda verimli bir şekilde çalışacak şekilde optimize edilmiş, çoklu çözünürlüklü karma ızgara kodlaması adı verilen bir tekniğe dayanır. Yeni bir girdi kodlama yöntemi kullanan araştırmacılar, hızlı çalışan küçük bir sinir ağı kullanarak yüksek kaliteli sonuçlar elde edebilirler.
Model, NVIDIA CUDA Toolkit ve Tiny CUDA Neural Networks kitaplığı kullanılarak geliştirildi. Hafif bir sinir ağı olduğundan, eğitilebilir ve tek bir NVIDIA GPU üzerinde çalıştırılabilir – NVIDIA Tensor Cores ile kartlarda en hızlı şekilde çalışır .
Teknoloji, robotları ve kendi kendini süren arabaları, gerçek dünyadaki nesnelerin 2D görüntülerini veya video görüntülerini yakalayarak boyut ve şeklini anlamaları için eğitmek için kullanılabilir. Yaratıcıların değiştirebileceği ve üzerine inşa edebileceği gerçek ortamların dijital temsillerini hızla oluşturmak için mimari ve eğlencede de kullanılabilir.
NVIDIA araştırmacıları, NeRF’lerin ötesinde, bu girdi kodlama tekniğinin, pekiştirmeli öğrenme, dil çevirisi ve genel amaçlı derin öğrenme algoritmaları dahil olmak üzere çoklu AI zorluklarını hızlandırmak için nasıl kullanılabileceğini araştırıyorlar.
En son NVIDIA araştırması hakkında daha fazla bilgi edinmek için, CEO Jensen Huang’ın GTC’deki açılış konuşmasının tekrarını aşağıda izleyin .
Kaynak ve Daha Fazla Bilgi İçin : https://blogs-nvidia-com.translate.goog/blog/2022/03/25/instant-nerf-research-3d-ai/?ncid=so-yout-933463-vt37&_x_tr_sl=auto&_x_tr_tl=tr&_x_tr_hl=tr#cid=gtcs22_so-yout_en-us adresini ziyaret edebilirsiniz.
