Google Arts & Culture‘da UX Mühendisi Richard Adem tarafından gönderilen detaylı bilgileri aşağıdan okuyabilirsiniz Öncelikle…
Sanat filtresi nedir?
Küresel kültür hakkında bilgi edinmenin en iyi yollarından biri, mobil cihazınızda Google’ın artırılmış gerçeklik teknolojisini kullanarak ünlü sanat eserlerini denemektir. Üç bin yıllık bir kolye takmak, on altıncı yüzyıldan kalma bir Japon kaskı takmak ya da inci küpeler takmak ve bir Vermeer içinde poz vermek nasıl bir şey?
Google Arts & Culture, herkesin dünyanın dört bir yanından kültürel açıdan önemli sanat eserleri hakkında bilgi edinmesini ve kendilerini genellikle müzede güvenli bir şekilde sergilenen ünlü resimlerin içine koymasını sağlayan Art Filter adlı yeni bir özellik oluşturdu.
Çarpıcı görseller oluşturmak için ml‘yi render ile birleştirmek için çapraz platform, özelleştirilebilir ML çözümleri sunan MediaPipe ekibi ile birlikte çalıştı.
Face mesh ve 3D face transform’u kullanmak için MediaPipe ekibiyle yakın bir şekilde çalışmak, seçtiğimiz eserlerin her biri için özel efektler oluşturmamızı ve bunları Google Arts & Culture iOS ve Android uygulamasının bir parçası olarak kolayca görüntülememizi sağladı.
Dünyanın dört bir yanından beş ikonik kültürel Hazine seçildi:
- Maymun ile Frida Kahlo Otoportre
- Tengu Maskesi ve kargalar ile kask
- Vincent van Gogh’un kendi Portresi 1889
- Fayans yaka kolye 1352-1327 M. Ö.
- İnci Küpeli Johannes Vermeer kız
Çeşitli formatları veya dokuları göz önüne alındığında, her sanat eseri veya nesne AR‘DE hayata geçirmek için özel yaklaşımlar gerektiriyordu.
Şekil 2. Mauritshuis Müzesi, Lahey-Johannes Vermeer “inci Küpeli kız” dan takı giyen kullanıcı.
2D referansları kullanarak her taraftan görülebilen 3B nesneler oluşturma.
Seçtiğimiz sanat eserlerinden bazıları 2D resimlerdir ve herkesin resimlere dalmasını istedik. 3D sanatçılar ve tasarımcılardan oluşan ekibimiz, Google Arts & Culture‘dan yüksek çözünürlüklü Gigapiksel görüntüler aldı ve bunları dokulamak için 3D kafeslere yansıttı. Ayrıca, orijinal sanatçının stilini korurken 2D dokuları 3D kafeslerin etrafına kadar genişlettik. Bu, başınızı döndürdüğünüzde, parçanın daha önce gizlenmiş kısımlarının, nesnenin gerçek hayatta nasıl görüneceğini taklit ederek her açıdan görülebileceği anlamına gelir.
Şekil 3. Van Gogh’un kendi Portresi filtresi – Musée d’Orsay, Paris.
Kültürel ortaklarımız Sanat filtresinin oluşturulması sırasında son derece yardımcı oldular. AR’DEKİ “gerçek dünyaya” uymalarına yardımcı olmak için farklı açılardan fotoğrafları kullanarak parçaları doğru bir şekilde yeniden üretmemize izin veren çok sayıda referans görüntü elde ettiler (boyut karşılaştırmaları kullanarak).
Efektin katman öğeleri, kullanıcının görüntüsüyle birlikte.
Art Filter, kullanıcının görüntüsünü Cihazının kamerasından alır ve kullanıcının yüzünün 3D ızgarasını oluşturmak için kullanır. Kullanıcı görüntülerinin veya video beslemelerinin tüm işlemleri tamamen cihazda çalışır. Bu özelliği herhangi bir kişisel biyometrik veriyi tanımlamak veya toplamak için kullanmayız; bu özellik bir kişiyi tanımlamak için kullanılamaz.
Görüntü daha sonra MediaPipe Face Mesh ile cihazda gerçek zamanlı olarak oluşturulan yüz ağını dokulamak için yeniden kullanılır, cihazın içindeki sanal 3D dünyasında temsil eder. Daha sonra efekti tamamlamak için yüzün etrafına sanal 2D ve 3D katmanlar ekliyoruz. Örneğin, Tengu kaskı, yüz ağının üstüne 3D olarak oturur ve yüz ağına “bağlanır”, böylece kullanıcı başını hareket ettirdiğinde hareket eder. Başörtüsü ve Frida Kahlo’nun Kolyesi olan Vermeer küpeleri, kullanıcının görüntüsüne benzer şekilde bağlanır. Van Gogh efekti biraz farklı çalışıyor, çünkü hala kullanıcının yüzünün bir ağını kullanıyoruz, ancak bu sefer resimden bir doku uyguluyoruz.
Kahlo ve Van Gogh’un resimlerindeki arka planlar gibi sahneyi tamamlamak için 2D öğeleri kullanıyoruz. Bunlar, resim nesnelerini arka plandan dikkatlice ayırarak ve daha sonra kullanıcının arkasına 3D olarak yerleştirerek oluşturuldu. Van Gogh’un vücudunun da bir “billboard” olarak gösterilen 2D olduğunu fark edebilirsiniz, böylece her zaman kameraya bakar.
Şekil 4. Katmanları ve maskeleri gösteren bir 3D örgü oluşturun.
Metal kask gibi farklı malzemeler için gölgelendiriciler kullanma.
Gerçekçi görünümlü bir malzeme oluşturmak için “fiziksel tabanlı” render gölgelendiricileri kullandık. Bunu Tengu kaskında görebilirsiniz, cihaz tarafından yakalanan gerçek hayat ışığından etkilenen engebeli bir yüzeye sahiptir. Bu, 3D nesnenin ne kadar engebeli veya parlak görünmesi gerektiğini temsil etmek için renkleri kullanan efekt için ekstra dokular, doku haritaları oluşturmayı gerektirir. Doku haritaları parlak pembe ve mavi görüntüler gibi görünür, ancak oluşturucuya nesnenin yüzeyindeki küçük ayrıntılar hakkında herhangi bir ekstra çokgen oluşturmadan bilgi verir, bu da özelliğin kare hızını yavaşlatabilir.
Şekil 5. Metropolitan Sanat Müzesi-tengu Maskesi ve kargalar ile kask giyen kullanıcı.
Sanat Filtresinde oluşturduğumuz koleksiyonun tadını çıkaracağınızı umuyoruz . Lütfen ziyaret edin ve kendiniz deneyin! Ayrıca, Art Selfie ve Art Transfer gibi Google Arts & Culture ile daha şaşırtıcı ML özelliklerini keşfedebilirsiniz .
Bu özelliğe daha birçok filtre getirmeyi umuyoruz ve Mediapipe‘den yeni özellikler bekliyoruz.
Kaynak:https://developers.googleblog.com/2021/07/bringing-artworks-to-life-with-ar.html?utm_source=adnanguney&utm_medium=feed&utm_campaign=adnanguney%3A+GDBcode+%28Google+Developers+Blog%29.
