前回、顔を見つけるのは Vision、絵にするのは Apple Intelligence だと書きました。けれど、本当の難所はその先 ── 描いた絵を、元の写真に戻すところでした。顔だけが入れ替わって、背景も服も元のまま。それを成り立たせるのに、私は一日まるごと使いました。今日は、その試行錯誤の話です。
背景が、二重になった
最初にぶつかった壁は、わりと根本的なものでした。Image Playground は、こちらが顔だけを渡しても、**顔・服・背景を全部ひっくるめてスタイル変換した「完全な一枚」**を返してきます。顔だけを描いて返してはくれない。
それを元写真の顔の位置に重ねると、どうなるか。AI が描いた人物と背景が、元の写真の上にそのまま乗ります。元の背景の上に、AI が想像した別の背景が重なって、二重になる。おまけに、少し引き伸ばされたようにも見える。
出力の構図 ── 背景を透明にするとか、顔だけを返すとか ── を指定する設定がないか、SDK をくまなく調べました。ありませんでした。これは Apple が、たぶん意図してそう作っている。私が欲しかった「顔だけ」は、道具のメニューには載っていなかったのです。
行き止まり、二つ
まず、力ずくで切り抜こうとしました。楕円形のマスクで、中心は残し、ふちに向かってだんだん透明にしていく。けれど実機で見ると、髪の上やあごが溶けて消え、輪郭が滲み、どうしてもスクエアに切り取られたように見える。自分でも「これが限界か」と思いました。
次に、まったく別の道を試しました。iPhone の Memoji を画像として取り込めないか。技術的には取り込めたのですが、Memoji は 160 ピクセル四方の固定サイズで粗く、しかも必ず頭・肩・服までついてくる。写真に重ねるには、解像度も形も足りませんでした。これも、やめました。
二つの行き止まり。半日が、そうやって過ぎていきました。
「きっと聞いてくれない」を、試してみた
ここで、考え方を変えました。
私は、Image Playground を厳密にプロンプトを聞くモデルではないと決めつけていました。生成 AI に「背景を白にして」と頼んでも、どうせ無視されるだろう、と。だから、その手は最初から選択肢に入れていませんでした。
でも、行き止まりが二つ続いたところで、ふと思いました。決めつける前に、一度くらい試してみてもいいんじゃないか。プロンプトに plain white background, head and shoulders portrait, illustration style（白い背景、頭と肩のポートレート、イラスト調）と書く。そのうえで、生成された絵に、Vision の Person Segmentation（写真から人物だけを切り抜く技術）を掛けてみる。背景を指示するプロンプトと、背景を消す技術を、組み合わせてみたのです。
通った
結果は、こちらの決めつけを、気持ちよく裏切りました。
Image Playground は、ちゃんと白い背景で描いてくれました。少なくともイラスト調では、構図の指示を聞いてくれる。そして Person Segmentation は、その絵から人物だけを、見事に切り出しました。髪の毛のシルエットも、イヤリングまで、正確になぞって。
白い背景は消え、頭から肩までのイラストだけが、きれいに残る。それを元写真にそっと重ねると ── 背景は二重になりません。服も、体も、その場の空気も、元のまま。顔だけが、イラストに変わっている。しかも、ここまで全部、Apple が公開している API だけでできていました。外部のサービスも、サーバーも、要りません。
学んだことは、単純でした。「できない」と決めつける前に、一度だけ試す。道具の限界は、たいてい自分の思い込みより、少しだけ外にあります。半日ぶんの行き止まりは、その一行のプロンプトを試すまでの距離でした。
仕上げは、手に渡す
それでも、自動だけでは詰めきれない癖が残りました。顔の位置、大きさ、傾き。写真の向きに、回転の扱い ── Vision と画面とで「正の回転」の向きが逆だったりして、こまかな罠もいくつも踏みました。
そこで、最後の微調整はユーザーの手に渡すことにしました。円の大きさと位置を指で合わせ、左右を反転し、傾きを直す。完全な自動を追い続けると、AI の癖にはまって永遠に終わりません。「ここまで来たら、あとは手で」と割り切ったほうが、結果はずっと良くなりました。仕上げの楽しさが、そのまま使う楽しさになる、というおまけもついて。
次回
この一日で、アプリの核ができました。Apple の公開 API だけで、顔を自然に置き換える。種が見つかってしまえば、あとは育てるだけです。次は、そうして公開したアプリを、出してすぐに作り直した話をします。
STIL.TOON は App Store で公開しています。
