optionOS optionOS

Statik bir şey anlatıyorsan fotoğraf çek; hareketi anlatıyorsan GIF çek; neye konuştuğunu göstermek istiyorsan alanı etiketle

Nasıl kullanılır?
Etiketler
  • VOICEKonuşma kaynaklı üretim.
  • CAPTUREEkran, GIF, kaydırmalı yakalama veya pano sinyali.
  • ANNOTATIONKonuşma anına bağlı işaret, numara, kutu veya ok.
  • TASK-DEFINITIONAgent'a verilecek görev paketi.

Etiket illa component olmak zorunda değil — ekrandaki bir bölgeyi de işaretleyebilirsin.

Kaydı başlat ve konuşmayı kesmeden ekranı yakala. Statik bir görseli konuşmaya eklemek için Option+S kullan. Görselin üzerine işaret koyacaksan Option+Shift+S kullan; Shift, bu akışta “bunun üzerine etkileşim yapacağım” demektir ve etiketleme editörünü açar.

Editör ilk kullanımda dikdörtgen aracıyla açılır; daha önce başka bir araç seçtiysen son seçimin korunabilir. Dikdörtgen aktif değilse R tuşuna bas veya üstteki araç çubuğundan dikdörtgeni seç. Sonra konuşurken kareyi çiz: “cloud ikonu şurada”, “bu ikisi aynı aileden” veya yalnızca “şu kısım” diyebilirsin.

“Bir numaralı, iki numaralı” demek zorunda değilsin; dersen daha stabil olur. Sen konuşurken çizimin zamanı konuşmaya bağlanır ve yapay zekâ hangi işaretin hangi söze ait olduğunu görür. Böylece konuşma, görsel yakalama ve etiketleme aynı anda ilerler; akışı durdurup ayrıca bir açıklama listesi yazmazsın.

optionOS etiketleme editöründe konuşma içine yerleşen görsel, konuşma anlarına bağlı dikdörtgen etiketleri ve aktif dikdörtgen aracı
Konuşmaya devam ederken görseli yakala ve alanları işaretle; görsel, söz ve çizim zamanı aynı görev paketinde kalır.
  1. 1Görsel referans — “buna benzer” denilen anda konuşmaya eklenen ekran görüntüsü
  2. 2İlk işaret — cloud kodu söylenirken çizilen alan
  3. 3İkinci işaret — aynı konuşma içindeki başka bir alan
  4. 4İlişki — “bu ikisi aynı aileden” sözüyle aynı anda çizilen işaret
  5. 5“Şu kısım” — konuşurken gösterilen bölge
  6. 6Dikdörtgen aracı — araç çubuğundaki aktif çizim aracı; `R` ile de seçilir

Hareketli olgular için GIF kullan. GIF'i çektikten sonra üzerine etiketleme yapabilirsin; ben çok tavsiye etmiyorum. Yapacaksan sadece başlangıçtaki kareye koy, ajan neye odaklanması gerektiğini görür. GIF hareketin başlangıcından bitişine kadar davranışı doğrudan taşır; ayrı bir 1/2/3 indeks anlatımı gerekmez.

optionOS HUD hareketini göstermek için kaydedilmiş GIF
Hareketi anlatırken Option+G ile tek bir GIF çek; panelin başlangıcından bitişine kadar değişen davranış aynı kaydın içinde izlenir.

Uzun web siteleri için kaydırmalı yakalama aynı mantık: kaydırarak yakala, sonra üstüne etiketleme yap.

Eski çizdiğin bir resmin üzerine de etiket yapabilirsin. İlk resimde aklına sonradan bir şey geldiyse resmin üzerine tıklayıp o resmi editlersin; konuşman yapay zekâya gittiği için akış kırılmıyor ve yapay zekâ bunu anlayabiliyor.

Agent'a giden paket şu soy ağacıyla toplanır:

Görev paketi
├─ konuşma
├─ yakalanan görsel
│  ├─ ekran görüntüsü
│  ├─ GIF
│  └─ kaydırmalı yakalama
├─ işaret
│  ├─ kare
│  ├─ numara
│  └─ etiket
├─ uygulama bağlamı
│  ├─ hangi uygulamada başladı
│  └─ yakalama listesine ne düştü
└─ agent'a giden paket
   └─ "şu kısım" tahmin değil, gösterilmiş şey olur
optionOS yakalama aksiyonları menüsü, hedef uygulama ve yakalanan içerik listesi Yakalama aksiyonları menüsüKonuşmanın başladığı hedef uygulamaAkıllı yapıştırma / otomatik aksiyon durumuYakalama listesine düşen içerikler
·

Yakalama aksiyonları menüsü
Yakalama aksiyonları, konuşmanın hedefini ve toplanan içerikleri aynı yüzeyde tutar.

Bir component ya da UI parçası anlatıyorsan Bileşen Kopyala kullan. Bu, bir kodun arka planında ne olduğunu gösteren bir yaklaşım: görüntüyle birlikte kaynak kodlar ve ilişkiler de gider — direkt nokta atışı.

optionOS Bileşen Kopyala çıktısında component/source ağacı ve descendants listesi
Bileşen Kopyala, görünen parçayı component/source soy ağacıyla beraber agent'a verir.
  1. 1Bileşen Kopyala aksiyonu
  2. 2Kopyalanan bileşen paketi
  3. 3Component/source descendants ağacı