d:I[72020,["/_next/static/immutable/chunks/3lt7t0nu_ly9n.js","/_next/static/immutable/chunks/3696lnh9vmkq0.js","/_next/static/immutable/chunks/37h5wmnmw2qyh.js","/_next/static/immutable/chunks/24qzotzzsw7qt.js"],"default"] e:I[22443,["/_next/static/immutable/chunks/3lt7t0nu_ly9n.js","/_next/static/immutable/chunks/3696lnh9vmkq0.js","/_next/static/immutable/chunks/37h5wmnmw2qyh.js","/_next/static/immutable/chunks/24qzotzzsw7qt.js"],"default"] f:T1202,### Prerequisites * **Neovim v0.10.0 ~** * **Nerd Font** * **Ripgrep (rg)** * **C Compiler & Rust (Cargo)** * **Node.js** --- ### Directory structure | Lazy.nvim ``` ~/.config/nvim/ ├── init.lua # 진입점 ├── lua/ │ ├── config/ # 기본 옵션 및 키맵 │ │ ├── lazy.lua # 플러그인 매니저 설정 │ │ ├── options.lua │ │ └── keymaps.lua │ └── plugins/ # 플러그인 명세 (여기에 파일을 추가하면 자동 로드됨) │ ├── ui.lua │ ├── coding.lua │ ├── editor.lua │ └── ... ``` `init.lua` ```lua -- ~/.config/nvim/init.lua require("config.options") require("config.keymaps") require("config.lazy") ``` `lua/config/lazy.lua` ```lua -- ~/.config/nvim/lua/config/lazy.lua local lazypath = vim.fn.stdpath("data") .. "/lazy/lazy.nvim" if not vim.loop.fs_stat(lazypath) then vim.fn.system({ "git", "clone", "--filter=blob:none", "[https://github.com/folke/lazy.nvim.git](https://github.com/folke/lazy.nvim.git)", "--branch=stable", lazypath, }) end vim.opt.rtp:prepend(lazypath) require("lazy").setup({ spec = { { import = "plugins" }, -- lua/plugins 폴더 내의 모든 파일을 자동으로 불러옴 }, checker = { enabled = true }, -- 플러그인 업데이트 자동 확인 }) ``` ### Snacks.nvim `lua/plugins/snacks.lua` ```lua return { "folke/snacks.nvim", priority = 1000, lazy = false, opts = { bigfile = { enabled = true }, -- 큰 파일 열 때 성능 최적화 dashboard = { enabled = true }, -- 예쁜 시작 화면 notifier = { enabled = true }, -- 우측 상단 알림 메시지 quickfile = { enabled = true }, statuscolumn = { enabled = true }, words = { enabled = true }, }, keys = { -- 자주 쓰는 기능 키매핑 { "g", function() Snacks.lazygit() end, desc = "Lazygit" }, { "t", function() Snacks.terminal() end, desc = "Toggle Terminal" }, { "ff", function() Snacks.picker.files() end, desc = "Find Files" }, { "fg", function() Snacks.picker.grep() end, desc = "Grep Text" }, { "bd", function() Snacks.bufdelete() end, desc = "Delete Buffer" }, }, } ``` ### Blink.cmp (vs nvim-cmp) `lua/plugins/coding.lua` ```lua return { { "saghen/blink.cmp", version = "*", opts = { keymap = { preset = "default" }, -- Enter 선택, Tab 이동 등 표준 appearance = { use_nvim_cmp_as_default = true, nerd_font_variant = "mono", }, sources = { default = { "lsp", "path", "snippets", "buffer" }, }, -- 서명 도움말(Signature Help)도 자동 지원 }, }, } ``` ### Avante.nvim (for vibe coding) #### `lua/plugins/ai.lua` ```lua return { "yetone/avante.nvim", event = "VeryLazy", lazy = false, build = "make", -- 윈도우 사용자는 문서 참고 opts = { provider = "claude", -- 본인 플랜 및 api-key 있어야 함. auto_suggestions_provider = "claude", }, dependencies = { "stevearc/dressing.nvim", "nvim-lua/plenary.nvim", "MunifTanjim/nui.nvim", }, } ``` ### [Language Server Protocol (LSP)](https://neovim.io/doc/user/lsp.html) (Oil & Mason) `lua/plugins/editor.lua` ```lua return { { "stevearc/oil.nvim", opts = {}, keys = { { "-", "Oil", desc = "Open Parent Directory" }, }, dependencies = { "nvim-tree/nvim-web-devicons" }, }, { "neovim/nvim-lspconfig", dependencies = { "mason-org/mason.nvim", "mason-org/mason-lspconfig.nvim", "saghen/blink.cmp" }, config = function() require("mason").setup() require("mason-lspconfig").setup({ ensure_installed = { "lua_ls", "ts_ls", "pyright", "rust_analyzer" }, automatic_installation = true, }) local lspconfig = require("lspconfig") -- Blink.cmp의 기능을 LSP에 주입 local capabilities = require("blink.cmp").get_lsp_capabilities() require("mason-lspconfig").setup_handlers({ function(server_name) lspconfig[server_name].setup({ capabilities = capabilities }) end, }) end, }, { "nvim-treesitter/nvim-treesitter", build = ":TSUpdate", config = function() require("nvim-treesitter.configs").setup({ ensure_installed = { "lua", "vim", "javascript", "typescript", "python", "markdown" }, highlight = { enable = true }, }) end, }, } ``` **Happy Vimming!**10:T39da,## 1. Overview AutoEncoder(AE)는 입력 데이터를 저차원 Latent Representation으로 압축(Encoding)한 뒤, 이를 다시 원본과 유사하게 복원(Decoding)하도록 학습하는 Neural Network 구조이다. 핵심 목적은 **데이터의 유의미한 표현(Representation)을 비지도 방식으로 학습**하는 것이며, 이 과정에서 데이터의 본질적인 구조와 특징을 포착하는 Bottleneck Representation을 얻는다. 역사적으로 AE의 개념은 1980년대 중반 Backpropagation을 통한 Internal Representation 학습 논의에서 출발한다. 초기에는 Identity Function을 학습하는 Network로 여겨졌으나, Hidden Layer의 차원을 입력보다 낮게 설정함으로써 **비자명한(Non-trivial) 압축**을 수행하게 된다는 점이 핵심이다. 이후 2006년 Hinton의 Deep Network 기반 차원 축소 연구를 통해 Deep AutoEncoder의 실질적 유용성이 입증되면서, Representation Learning과 Pretraining 전략의 기초가 되었다. AE 자체는 엄밀히 말해 Generative Model이 아니다. Latent Space에 대한 확률적 구조가 부재하기 때문이다. 그러나 AE의 Encoder-Decoder 구조와 Bottleneck을 통한 Representation Learning이라는 개념은 이후 VAE, AAE 등 확률적 생성 모델의 직접적인 기반이 되므로, Generative Models의 계보에서 반드시 이해해야 할 출발점이다. ## 2. Reference Papers ### Rumelhart, Hinton & Williams (1986) — "Learning representations by back-propagating errors" Backpropagation Algorithm을 체계적으로 정립한 논문이다. 이 논문에서 Multi-layer Network의 Hidden Unit이 입력 데이터의 Internal Representation을 학습할 수 있음을 보였으며, AE의 이론적 기초가 된다. 구체적으로 입력을 그대로 출력으로 복원하는 Identity Mapping Task에서, Hidden Layer가 입력보다 적은 Unit을 가질 때 Network가 비자명한 압축 표현을 학습한다는 관찰이 AE 개념의 시초이다. ### Hinton & Salakhutdinov (2006) — "Reducing the Dimensionality of Data with Neural Networks" Deep AutoEncoder를 통한 차원 축소가 PCA보다 우수한 성능을 보인다는 것을 실증한 논문이다. 핵심 기여는 두 가지이다: 1. **Greedy Layer-wise Pretraining**: Restricted Boltzmann Machine(RBM)을 이용한 층별 사전 학습으로 Deep Network의 학습 어려움을 해결 2. **Nonlinear Dimensionality Reduction**: 선형 방법인 PCA로는 포착할 수 없는 데이터의 비선형 구조를 Deep AE가 효과적으로 학습함을 입증 이 논문은 Deep Learning의 부흥을 알린 연구 중 하나이며, Deep AE가 실질적으로 유용한 Representation을 학습할 수 있다는 것을 보여주었다. ## 3. Architecture AE는 두 개의 함수, **Encoder** $f_\phi$와 **Decoder** $g_\theta$로 구성된다. ### 3.1 Encoder Encoder는 고차원 입력 $x \in \mathbb{R}^d$를 저차원 Latent Representation $z \in \mathbb{R}^k$ ($k < d$)로 매핑한다: $$z = f_\phi(x)$$ 여기서: - $x$: 입력 데이터 벡터 (차원 $d$) - $z$: Latent Representation 또는 Code (차원 $k$) - $\phi$: Encoder Network의 학습 가능한 파라미터 (Weights, Biases) - $f_\phi$: 파라미터 $\phi$로 정의되는 Encoding Function 단일 Hidden Layer의 경우 이를 명시적으로 쓰면: $$z = \sigma(W_e x + b_e)$$ 여기서 $W_e \in \mathbb{R}^{k \times d}$는 Weight Matrix, $b_e \in \mathbb{R}^k$는 Bias Vector, $\sigma(\cdot)$는 Activation Function(ReLU, Sigmoid 등)이다. Deep Encoder의 경우 이러한 Affine Transformation과 Nonlinear Activation의 합성이 여러 층에 걸쳐 반복된다. ### 3.2 Decoder Decoder는 Latent Representation $z$로부터 원본 입력의 Reconstruction $\hat{x} \in \mathbb{R}^d$를 생성한다: $$\hat{x} = g_\theta(z)$$ 여기서: - $\hat{x}$: 복원된 데이터 (차원 $d$, 원본 $x$와 동일한 공간) - $\theta$: Decoder Network의 학습 가능한 파라미터 - $g_\theta$: 파라미터 $\theta$로 정의되는 Decoding Function 단일 Hidden Layer의 경우: $$\hat{x} = \sigma'(W_d z + b_d)$$ 여기서 $W_d \in \mathbb{R}^{d \times k}$, $b_d \in \mathbb{R}^d$이며, $\sigma'(\cdot)$는 출력층의 Activation Function이다. 출력의 범위에 따라 Sigmoid($[0,1]$ 범위 데이터)나 Linear Activation(실수 전체) 등을 선택한다. ### 3.3 전체 구조 AE 전체는 Encoder와 Decoder의 합성 함수이다: $$\hat{x} = g_\theta(f_\phi(x))$$ 학습의 목표는 $\hat{x} \approx x$, 즉 **입력을 Bottleneck을 거쳐 가능한 한 정확하게 복원**하는 것이다. Bottleneck의 차원 $k$가 $d$보다 작기 때문에, Network는 단순 암기가 아닌 데이터의 본질적 구조를 포착해야 한다. ## 4. Objective Function ### 4.1 Reconstruction Loss — MSE (Mean Squared Error) 연속형 실수 데이터에 대해 가장 일반적으로 사용되는 손실 함수이다: $$\mathcal{L}(\theta, \phi) = \frac{1}{N}\sum_{i=1}^{N} \|x_i - g_\theta(f_\phi(x_i))\|^2$$ 각 항의 의미: - $N$: Training Set의 전체 샘플 수 - $x_i$: $i$번째 입력 데이터 포인트 - $g_\theta(f_\phi(x_i))$: $x_i$를 Encoding한 뒤 다시 Decoding한 Reconstruction - $\|\cdot\|^2$: L2 Norm의 제곱, 즉 원본과 복원 간의 유클리드 거리의 제곱 MSE를 최소화한다는 것은 확률적으로 해석하면, Decoder의 출력이 $x$를 중심으로 하는 **등방성 Gaussian Distribution** $p(x|z) = \mathcal{N}(x; g_\theta(z), \sigma^2 I)$을 가정하고 그 Negative Log-Likelihood를 최소화하는 것과 동치이다. 이때 분산 $\sigma^2$는 상수로 취급하므로 MSE 최소화와 동일한 최적화 문제가 된다. ### 4.2 Reconstruction Loss — BCE (Binary Cross-Entropy) 입력 데이터가 $[0,1]$ 범위의 Binary 또는 Bernoulli 분포를 따르는 경우(예: 이진화된 이미지) 사용한다: $$\mathcal{L}(\theta, \phi) = -\frac{1}{N}\sum_{i=1}^{N}\sum_{j=1}^{d}\left[x_{ij}\log\hat{x}_{ij} + (1 - x_{ij})\log(1 - \hat{x}_{ij})\right]$$ 각 항의 의미: - $j$: 입력 벡터의 $j$번째 차원 (총 $d$개) - $x_{ij}$: $i$번째 샘플의 $j$번째 차원 값 - $\hat{x}_{ij}$: Decoder 출력의 해당 값 (Sigmoid를 거쳐 $[0,1]$ 범위) 이는 각 차원을 독립적인 Bernoulli 변수로 모델링하여 $p(x_j|z) = \text{Ber}(x_j; \hat{x}_j)$의 Negative Log-Likelihood를 최소화하는 것에 해당한다. BCE는 MSE에 비해 $[0,1]$ 범위의 데이터에서 Gradient가 더 안정적인 특성을 가진다. ### 4.3 최적화 전체 파라미터 $\phi, \theta$는 Backpropagation과 Gradient Descent 기반 Optimizer(SGD, Adam 등)로 동시에 학습된다: $$\phi^*, \theta^* = \arg\min_{\phi, \theta} \mathcal{L}(\theta, \phi)$$ Encoder와 Decoder가 End-to-End로 연결되어 있으므로, Reconstruction Loss의 Gradient가 Decoder를 거쳐 Encoder까지 흘러가며 양쪽 파라미터를 동시에 갱신한다. ## 5. Bottleneck과 Representation Learning ### 5.1 Bottleneck의 역할 AE에서 Latent Dimension $k$를 입력 차원 $d$보다 작게 설정하는 것이 핵심이다. 만약 $k \geq d$이고 Network의 용량이 충분하면, AE는 단순히 Identity Function을 학습하여 아무런 유의미한 압축도 수행하지 않는다. $k < d$일 때, Network는 제한된 차원의 Bottleneck을 통해 입력을 복원해야 하므로, 데이터의 가장 중요한 Variation을 포착하는 방향으로 Latent Representation을 구성하게 된다. 이것이 Representation Learning의 핵심 메커니즘이다. ### 5.2 PCA와의 관계 Linear Activation만 사용하는 단일 Hidden Layer AE의 경우, 최적 해는 PCA의 주성분 부분공간(Principal Subspace)과 일치한다는 것이 알려져 있다(Baldi & Hornik, 1989). 구체적으로, Encoder Weight $W_e$와 Decoder Weight $W_d$가 학습을 통해 수렴하면, $W_e$의 Row Space는 데이터 공동분산 행렬(Covariance Matrix) $\Sigma = \frac{1}{N}\sum_i (x_i - \bar{x})(x_i - \bar{x})^T$의 상위 $k$개 Eigenvector가 Span하는 부분공간과 동일하다. 그러나 **비선형 Activation을 사용하는 Deep AE**는 PCA의 선형적 한계를 넘어선다. PCA는 데이터의 선형 부분공간만 포착할 수 있지만, Deep AE는 **비선형 Manifold** 위의 구조를 학습할 수 있다. Hinton & Salakhutdinov (2006)이 보인 것이 정확히 이 지점이다: Swiss Roll이나 MNIST와 같이 비선형 구조를 가진 데이터에서 Deep AE가 PCA보다 현저히 우수한 저차원 표현을 생성한다. ### 5.3 Manifold Hypothesis와의 연결 AE의 작동 원리는 **Manifold Hypothesis**와 밀접하다. 이 가설에 따르면, 고차원 데이터는 실제로 훨씬 낮은 차원의 Manifold 위 또는 근처에 분포한다. AE의 Encoder는 이 Manifold를 저차원 Latent Space로 펼치는(Unfold) 매핑을 학습하고, Decoder는 Latent Space에서 다시 고차원 데이터 공간의 Manifold 위로 되돌리는 매핑을 학습한다. ## 6. Variants ### 6.1 Sparse AutoEncoder Bottleneck 차원을 입력보다 작게 제한하는 대신, **Latent Representation의 활성화를 희소하게(Sparse) 만드는 정규화**를 추가한다. Latent 차원 $k$가 $d$보다 클 수 있지만(Overcomplete), 대부분의 Latent Unit이 비활성 상태가 되도록 강제한다. 손실 함수: $$\mathcal{L}_{\text{sparse}} = \mathcal{L}_{\text{recon}} + \lambda \sum_{j=1}^{k} \text{KL}(\rho \| \hat{\rho}_j)$$ 여기서: - $\mathcal{L}_{\text{recon}}$: 기본 Reconstruction Loss (MSE 또는 BCE) - $\lambda$: Sparsity Penalty의 강도를 조절하는 하이퍼파라미터 - $\rho$: 목표 Sparsity Level (예: 0.05, 대부분의 뉴런이 비활성이길 기대) - $\hat{\rho}_j = \frac{1}{N}\sum_{i=1}^{N} z_j^{(i)}$: $j$번째 Latent Unit의 Training Set 전체에 대한 평균 활성화 값 - $\text{KL}(\rho \| \hat{\rho}_j)$: 목표 분포와 실제 평균 활성화 간의 KL Divergence 대안으로 L1 Penalty $\lambda \sum_j |z_j|$를 사용하기도 한다. 핵심 아이디어는 **Undercomplete 구조 없이도 유의미한 Feature를 학습**할 수 있다는 것이며, 생물학적 뉴런의 Sparse Coding과도 연결된다. ### 6.2 Denoising AutoEncoder (DAE) 입력에 **인위적인 Noise를 추가한 뒤, 원본(Noise가 없는) 데이터를 복원**하도록 학습한다. Vincent et al. (2008)이 제안하였다. $$\tilde{x} = x + \epsilon, \quad \epsilon \sim \mathcal{N}(0, \sigma_n^2 I)$$ 또는 Masking Noise(입력의 일부를 0으로 설정)를 사용한다. 손실 함수: $$\mathcal{L}_{\text{DAE}} = \frac{1}{N}\sum_{i=1}^{N} \|x_i - g_\theta(f_\phi(\tilde{x}_i))\|^2$$ 입력은 $\tilde{x}$ (오염된 데이터)이지만, 복원 대상은 $x$ (깨끗한 원본)이다. 이를 통해 AE는 단순한 Identity Mapping을 학습하는 것이 원천적으로 불가능해지며, 데이터의 **Robust한 표현**을 학습하게 된다. 이론적으로 DAE는 데이터 분포의 Score Function $\nabla_x \log p(x)$를 암묵적으로 학습하는 것과 연결된다(Vincent, 2011). ### 6.3 Contractive AutoEncoder (CAE) Latent Representation이 입력의 작은 변화에 **둔감하도록(Robust)** 하는 정규화를 추가한다. Rifai et al. (2011)이 제안하였다. 손실 함수: $$\mathcal{L}_{\text{CAE}} = \mathcal{L}_{\text{recon}} + \lambda \left\| \frac{\partial f_\phi(x)}{\partial x} \right\|_F^2$$ 여기서: - $\frac{\partial f_\phi(x)}{\partial x} \in \mathbb{R}^{k \times d}$: Encoder의 Jacobian Matrix - $\|\cdot\|_F^2$: Frobenius Norm의 제곱 (행렬 원소의 제곱합) Jacobian의 Frobenius Norm을 최소화한다는 것은, 입력 $x$의 미소 변화에 대해 Latent Representation $z$가 가능한 한 변하지 않도록 강제하는 것이다. 즉 데이터 Manifold의 **접선 방향(Tangent Direction)에 수직인 변동을 무시**하도록 학습하여, Manifold의 구조를 더 안정적으로 포착한다. Reconstruction Loss와 Contractive Penalty 사이의 Trade-off가 존재하며, 둘의 균형이 유의미한 표현 학습의 핵심이다. ## 7. Limitations — AE는 왜 Generative Model이 아닌가 Vanilla AE의 근본적 한계를 이해하는 것은 VAE로의 발전 동기를 파악하는 데 필수적이다. ### 7.1 Latent Space의 비정규성 AE의 학습 목표는 오직 Reconstruction이다. Latent Space $\mathcal{Z}$에 어떤 **확률 분포적 구조도 부여하지 않는다**. 학습된 Latent Space는 데이터 포인트들의 Encoding이 흩어져 있을 뿐, 그 사이의 빈 공간에서 샘플링하여 Decoder에 통과시키면 **의미 없는 출력**이 생성된다. 구체적으로, Training Data의 Latent Code $\{z_i = f_\phi(x_i)\}$는 Latent Space에서 불규칙하게 분포하며, 이 점들 사이의 영역에 대해 Decoder는 학습한 적이 없다. 따라서 임의의 $z$를 Decoder에 넣어도 유효한 데이터가 생성된다는 보장이 없다. ### 7.2 확률적 해석의 부재 AE에는 다음이 없다: - **Prior Distribution** $p(z)$: Latent Variable에 대한 사전 분포가 정의되지 않는다 - **Likelihood Model** $p_\theta(x|z)$: Decoder를 확률적 생성 과정으로 해석할 수 없다 (형식적으로는 가능하지만, 학습 과정에서 이를 활용하지 않는다) - **Posterior** $p(z|x)$: Encoder는 확률 분포가 아닌 결정론적 매핑이다 생성 모델이 되려면 $p(x) = \int p_\theta(x|z) p(z) dz$를 모델링해야 하는데, AE는 이 확률적 프레임워크를 전혀 갖추고 있지 않다. ### 7.3 Interpolation의 비연속성 AE의 Latent Space에서 두 데이터 포인트 $z_1 = f_\phi(x_1)$, $z_2 = f_\phi(x_2)$ 사이를 선형 보간하면: $$z_\alpha = (1 - \alpha) z_1 + \alpha z_2, \quad \alpha \in [0, 1]$$ 이 보간된 $z_\alpha$를 Decoder에 통과시켰을 때, 부드러운 전환이 이루어진다는 보장이 없다. Latent Space가 정규화되지 않았으므로, $z_1$과 $z_2$ 사이의 경로가 유효한 데이터를 생성하는 영역을 지나는지 알 수 없다. ### 7.4 VAE로의 동기 이러한 한계들이 VAE(Variational AutoEncoder)의 등장 동기가 된다. VAE는: - Encoder를 **확률 분포** $q_\phi(z|x)$로 대체하여 Posterior를 근사 - Latent Space에 **Prior** $p(z) = \mathcal{N}(0, I)$를 부여 - **ELBO(Evidence Lower Bound)**를 최적화하여 Reconstruction과 Latent Space 정규화를 동시에 달성 이를 통해 Latent Space 전역에서 샘플링이 가능한 진정한 Generative Model을 구축한다. AE의 Bottleneck + Reconstruction이라는 구조적 유산 위에, 확률론적 프레임워크를 얹은 것이 VAE의 핵심 아이디어이다.11:T57f4,## 1. Overview Diffusion Models는 데이터 분포 $p(x)$로부터 샘플을 생성하는 생성 모델(Generative Model)이다. 핵심 아이디어는 두 단계로 구성된다. 1. **Forward Process (Diffusion)**: 원본 데이터 $x_0$에 점진적으로 Gaussian Noise를 추가하여, 최종적으로 순수한 노이즈 $x_T \sim \mathcal{N}(0, I)$로 변환한다. 2. **Reverse Process (Denoising)**: 노이즈 $x_T$로부터 시작하여, 학습된 신경망이 각 단계에서 노이즈를 제거하며 원본 데이터 분포의 샘플 $x_0$를 복원한다. 이 과정은 비평형 열역학(Nonequilibrium Thermodynamics)에서 영감을 받았다. 열역학에서 시스템이 평형 상태로 확산(diffuse)하는 과정은 쉽게 모델링할 수 있지만, 그 역과정을 학습하는 것이 핵심 과제이다. Diffusion Models는 이 역과정을 신경망으로 parameterize하여 학습한다. GAN과 비교했을 때, mode collapse 문제가 없고 학습이 안정적이다. VAE와 비교했을 때, posterior collapse 없이 더 높은 sample quality를 달성한다. 다만, 순차적 denoising으로 인한 느린 sampling 속도가 단점이다. ## 2. Reference Papers - **Sohl-Dickstein et al. (2015)** — *"Deep Unsupervised Learning using Nonequilibrium Thermodynamics"* - Diffusion Models의 원조 논문. 비평형 열역학의 관점에서 forward diffusion과 learned reverse process를 처음 제안하였다. Forward process를 Markov chain으로 정의하고, reverse process의 tractability를 이론적으로 보였다. - **Ho et al. (2020)** — *"Denoising Diffusion Probabilistic Models" (DDPM)* - 실질적으로 Diffusion Models를 고품질 이미지 생성에 성공시킨 논문. Simplified training objective ($\epsilon$-prediction)를 도입하고, noise schedule 설계를 통해 FID 기준 GAN에 근접하는 성능을 달성하였다. 현재 대부분의 구현이 이 프레임워크를 따른다. - **Song & Ermon (2019)** — *"Generative Modeling by Estimating Gradients of the Data Distribution"* - Score function $\nabla_x \log p(x)$를 추정하는 Score Matching 관점에서 생성 모델을 제안하였다. 다양한 noise level에서의 score를 학습하는 Noise Conditional Score Network (NCSN)을 도입하고, Annealed Langevin Dynamics로 샘플링한다. - **Song et al. (2021)** — *"Score-Based Generative Modeling through Stochastic Differential Equations"* - DDPM과 Score-based 모델을 통합하는 SDE 프레임워크를 제안하였다. 연속 시간(continuous-time)에서의 forward/reverse SDE를 정의하고, VP-SDE와 VE-SDE라는 두 가지 대표적 SDE를 제시하였다. Probability Flow ODE를 통한 deterministic sampling도 도입하였다. ## 3. Forward Process (Diffusion) ### 3.1 Markov Chain 정의 Forward process는 데이터 $x_0 \sim q(x_0)$에 $T$ 스텝에 걸쳐 점진적으로 Gaussian noise를 추가하는 Markov chain이다. $$q(x_{1:T}|x_0) = \prod_{t=1}^{T} q(x_t|x_{t-1})$$ 각 transition은 다음과 같이 정의된다. $$q(x_t|x_{t-1}) = \mathcal{N}(x_t;\, \sqrt{1-\beta_t}\,x_{t-1},\, \beta_t I)$$ 여기서 각 기호의 의미는 다음과 같다. - $x_t$: 시간 $t$에서의 noisy 데이터. $x_0$는 원본, $x_T$는 거의 순수한 노이즈이다. - $\beta_t \in (0, 1)$: 시간 $t$에서의 **noise schedule**. 각 스텝에서 추가되는 노이즈의 양을 결정하는 hyperparameter이다. - $\sqrt{1-\beta_t}\,x_{t-1}$: 이전 스텝의 데이터를 $\sqrt{1-\beta_t}$ 배로 축소한다. 이는 노이즈 추가 시 전체 분산이 발산하지 않도록 하는 역할을 한다. - $\beta_t I$: 추가되는 노이즈의 공분산(covariance). $I$는 identity matrix로, 각 차원에 독립적으로 동일한 크기의 노이즈를 추가함을 의미한다. ### 3.2 Noise Schedule $\beta_t$ $\beta_t$의 선택은 모델 성능에 큰 영향을 미친다. 대표적인 schedule들은 다음과 같다. - **Linear Schedule** (DDPM): $\beta_1 = 10^{-4}$에서 $\beta_T = 0.02$까지 선형적으로 증가. $T = 1000$. - **Cosine Schedule** (Nichol & Dhariwal, 2021): $\bar{\alpha}_t$를 cosine 함수로 정의하여, 초기에 너무 빠르게 정보가 손실되는 것을 방지한다. $\bar{\alpha}_t = \frac{f(t)}{f(0)}$, $f(t) = \cos\left(\frac{t/T + s}{1 + s} \cdot \frac{\pi}{2}\right)^2$로 정의하며, $s$는 작은 offset이다. 핵심은 $t = T$일 때 $\bar{\alpha}_T \approx 0$이 되어 $q(x_T|x_0) \approx \mathcal{N}(0, I)$가 성립해야 한다는 것이다. ### 3.3 Closed-Form Expression Forward process의 중요한 성질은 임의의 시간 $t$에서의 $x_t$를 $x_0$로부터 한 번에 샘플링할 수 있다는 것이다. 이를 위해 다음을 정의한다. $$\alpha_t = 1 - \beta_t$$ $$\bar{\alpha}_t = \prod_{s=1}^{t} \alpha_s$$ - $\alpha_t$: $1 - \beta_t$. 각 스텝에서 **원본 신호가 보존되는 비율**이다. $\beta_t$가 작으면 $\alpha_t \approx 1$이고, 신호가 거의 보존된다. - $\bar{\alpha}_t$: $\alpha_1 \cdot \alpha_2 \cdots \alpha_t$. 시간 0부터 $t$까지의 **누적 신호 보존 비율**이다. $t$가 증가할수록 $\bar{\alpha}_t$는 0에 가까워진다. 이를 사용하면, $q(x_t|x_0)$의 closed-form이 다음과 같이 유도된다. $$q(x_t|x_0) = \mathcal{N}(x_t;\, \sqrt{\bar{\alpha}_t}\,x_0,\, (1-\bar{\alpha}_t)I)$$ **유도 과정**: $x_t = \sqrt{1-\beta_t}\,x_{t-1} + \sqrt{\beta_t}\,\epsilon_{t-1}$ ($\epsilon_{t-1} \sim \mathcal{N}(0, I)$)에서 재귀적으로 대입하면, $$x_t = \sqrt{\bar{\alpha}_t}\,x_0 + \sqrt{1-\bar{\alpha}_t}\,\epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$ 이를 **reparameterization trick**이라고 하며, 이 표현이 학습에서 핵심적으로 사용된다. 구체적으로, 독립 Gaussian의 합의 분산이 각 분산의 합이 되는 성질을 이용한다. 두 스텝의 합성 $x_t = \sqrt{\alpha_t}\,(\sqrt{\alpha_{t-1}}\,x_{t-2} + \sqrt{1-\alpha_{t-1}}\,\epsilon_1) + \sqrt{1-\alpha_t}\,\epsilon_2$를 정리하면, 평균이 $\sqrt{\alpha_t \alpha_{t-1}}\,x_{t-2}$이고 분산이 $(1 - \alpha_t\alpha_{t-1})I$인 Gaussian이 됨을 보일 수 있고, 이를 $T$ 스텝까지 반복 적용하면 위 결과를 얻는다. **해석**: - $\sqrt{\bar{\alpha}_t}\,x_0$: 원본 데이터의 **attenuated signal**. $t$가 커질수록 0에 가까워진다. - $\sqrt{1-\bar{\alpha}_t}\,\epsilon$: 누적된 **noise 성분**. $t$가 커질수록 지배적이 된다. - $t = 0$이면 $\bar{\alpha}_0 = 1$이므로 $x_0$ 그대로이고, $t = T$이면 $\bar{\alpha}_T \approx 0$이므로 거의 순수한 노이즈이다. ## 4. Reverse Process ### 4.1 정의 Reverse process는 $x_T \sim \mathcal{N}(0, I)$에서 시작하여 $x_0$를 복원하는 과정이다. 이를 학습 가능한 Markov chain으로 모델링한다. $$p_\theta(x_{0:T}) = p(x_T) \prod_{t=1}^{T} p_\theta(x_{t-1}|x_t)$$ 각 reverse transition은 다음과 같이 parameterize한다. $$p_\theta(x_{t-1}|x_t) = \mathcal{N}(x_{t-1};\, \mu_\theta(x_t, t),\, \sigma_t^2 I)$$ - $\mu_\theta(x_t, t)$: 신경망이 예측하는 **reverse step의 평균**. $x_t$와 timestep $t$를 입력으로 받는다. - $\sigma_t^2$: reverse step의 **분산**. DDPM에서는 $\sigma_t^2 = \beta_t$ 또는 $\sigma_t^2 = \tilde{\beta}_t = \frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_t}\beta_t$로 고정한다. 전자는 $x_0$가 한 점일 때의 upper bound, 후자는 $x_0$가 결정적일 때의 optimal variance이다. - $\theta$: 신경망의 학습 가능한 파라미터. 이것이 가능한 이유는, forward process의 각 스텝 $\beta_t$가 충분히 작으면 reverse transition $q(x_{t-1}|x_t)$도 Gaussian에 가까워진다는 것이 알려져 있기 때문이다 (Feller, 1949). ### 4.2 $\mu_\theta$의 유도: $\epsilon$-Prediction 핵심 질문: 신경망이 정확히 무엇을 예측해야 하는가? Forward process의 posterior $q(x_{t-1}|x_t, x_0)$는 Bayes' rule로 닫힌 형태로 구할 수 있다. $$q(x_{t-1}|x_t, x_0) = \mathcal{N}(x_{t-1};\, \tilde{\mu}_t(x_t, x_0),\, \tilde{\beta}_t I)$$ 여기서, $$\tilde{\mu}_t(x_t, x_0) = \frac{\sqrt{\bar{\alpha}_{t-1}}\,\beta_t}{1-\bar{\alpha}_t}\,x_0 + \frac{\sqrt{\alpha_t}\,(1-\bar{\alpha}_{t-1})}{1-\bar{\alpha}_t}\,x_t$$ $$\tilde{\beta}_t = \frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_t}\,\beta_t$$ - $\tilde{\mu}_t$: $x_0$와 $x_t$의 **가중 평균**으로 구성된 posterior mean이다. - $\tilde{\beta}_t$: posterior variance. $x_0$를 알 때의 reverse step 불확실성을 나타낸다. 이제 forward process의 reparameterization $x_t = \sqrt{\bar{\alpha}_t}\,x_0 + \sqrt{1-\bar{\alpha}_t}\,\epsilon$에서 $x_0 = \frac{1}{\sqrt{\bar{\alpha}_t}}(x_t - \sqrt{1-\bar{\alpha}_t}\,\epsilon)$을 $\tilde{\mu}_t$에 대입하면, $$\tilde{\mu}_t = \frac{1}{\sqrt{\alpha_t}}\left(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,\epsilon\right)$$ 따라서, 신경망 $\epsilon_\theta(x_t, t)$가 $x_t$에 포함된 **노이즈 $\epsilon$을 예측**하도록 학습시키면, reverse process의 평균을 다음과 같이 구성할 수 있다. $$\mu_\theta(x_t, t) = \frac{1}{\sqrt{\alpha_t}}\left(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,\epsilon_\theta(x_t, t)\right)$$ - $\frac{1}{\sqrt{\alpha_t}}$: signal scaling factor. $\alpha_t$로 축소된 신호를 복원하는 보정 계수이다. - $\frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}$: noise correction coefficient. 예측된 노이즈를 적절한 크기로 조정하여 $x_t$에서 빼주는 역할을 한다. - $\epsilon_\theta(x_t, t)$: 신경망의 출력. $x_t$에 섞여 있는 노이즈 $\epsilon$의 추정값이다. 일반적으로 U-Net 구조에 timestep embedding을 추가하여 구현한다. ## 5. Training Objective ### 5.1 Variational Lower Bound (VLB) Diffusion model의 학습은 데이터의 log-likelihood $\log p_\theta(x_0)$를 최대화하는 것이 목표이다. 이를 직접 계산할 수 없으므로, Variational Lower Bound (VLB, 또는 ELBO)를 사용한다. $$-\log p_\theta(x_0) \leq \mathbb{E}_q\left[-\log \frac{p_\theta(x_{0:T})}{q(x_{1:T}|x_0)}\right] = L_{VLB}$$ 이를 전개하면, $$L_{VLB} = L_T + L_{T-1} + \cdots + L_1 + L_0$$ 여기서, - $L_T = D_{KL}(q(x_T|x_0) \| p(x_T))$: forward process의 끝이 prior $\mathcal{N}(0, I)$에 얼마나 가까운지. $\beta_t$ schedule이 고정되면 상수이므로 학습하지 않는다. - $L_{t-1} = D_{KL}(q(x_{t-1}|x_t, x_0) \| p_\theta(x_{t-1}|x_t))$, $1 < t \leq T$: 학습된 reverse transition이 true posterior에 얼마나 가까운지를 측정하는 KL divergence이다. - $L_0 = -\log p_\theta(x_0|x_1)$: 최종 reconstruction term이다. 두 Gaussian 간의 KL divergence는 닫힌 형태로 계산 가능하므로, $L_{t-1}$은 $\mu_\theta(x_t, t)$와 $\tilde{\mu}_t(x_t, x_0)$ 사이의 거리로 환원된다. ### 5.2 Simplified Objective Ho et al. (2020)은 위의 VLB를 직접 최적화하는 대신, 경험적으로 더 잘 동작하는 **simplified loss**를 제안하였다. $$\mathcal{L}_{simple} = \mathbb{E}_{t,\,x_0,\,\epsilon}\left[\left\|\epsilon - \epsilon_\theta\!\left(\sqrt{\bar{\alpha}_t}\,x_0 + \sqrt{1-\bar{\alpha}_t}\,\epsilon,\, t\right)\right\|^2\right]$$ 여기서, - $t \sim \text{Uniform}(\{1, 2, \ldots, T\})$: 각 학습 스텝에서 랜덤하게 하나의 timestep을 샘플링한다. - $x_0 \sim q(x_0)$: 학습 데이터에서 하나의 샘플을 가져온다. - $\epsilon \sim \mathcal{N}(0, I)$: 표준 정규분포에서 노이즈를 샘플링한다. - $\sqrt{\bar{\alpha}_t}\,x_0 + \sqrt{1-\bar{\alpha}_t}\,\epsilon$: 이것이 바로 $x_t$이다. Closed-form을 사용하여 한 번에 $x_t$를 생성한다. - $\epsilon_\theta(\cdot, t)$: 신경망이 $x_t$로부터 $\epsilon$을 예측한다. - $\|\cdot\|^2$: L2 norm. 예측한 노이즈와 실제 노이즈 간의 Mean Squared Error이다. 이 loss는 VLB의 $L_{t-1}$ 항에서 timestep-dependent weighting $\frac{\beta_t^2}{2\sigma_t^2 \alpha_t (1-\bar{\alpha}_t)}$을 제거한 것과 동일하다. Weighting을 제거함으로써 노이즈가 적은 초기 스텝(작은 $t$)에도 균등한 학습 신호를 부여하여, 전체적인 sample quality가 향상된다. ### 5.3 학습 알고리즘 ``` repeat: x_0 ~ q(x_0) # 데이터 샘플링 t ~ Uniform({1, ..., T}) # timestep 샘플링 ε ~ N(0, I) # 노이즈 샘플링 x_t = sqrt(ᾱ_t) * x_0 + sqrt(1 - ᾱ_t) * ε # noisy 데이터 생성 gradient step on ∇_θ ||ε - ε_θ(x_t, t)||² # 노이즈 예측 학습 until converged ``` ### 5.4 Denoising Score Matching과의 연결 Simplified loss가 동작하는 이론적 근거는 **Denoising Score Matching** (Vincent, 2011)과의 연결에 있다. Score function $\nabla_{x_t} \log q(x_t|x_0)$는 $q(x_t|x_0) = \mathcal{N}(x_t;\, \sqrt{\bar{\alpha}_t}\,x_0,\, (1-\bar{\alpha}_t)I)$로부터 직접 계산할 수 있다. $$\nabla_{x_t} \log q(x_t|x_0) = -\frac{x_t - \sqrt{\bar{\alpha}_t}\,x_0}{1-\bar{\alpha}_t} = -\frac{\epsilon}{\sqrt{1-\bar{\alpha}_t}}$$ 따라서, $\epsilon$을 예측하는 것은 score function을 예측하는 것과 다음의 관계로 동치이다. $$s_\theta(x_t, t) \approx \nabla_{x_t} \log q_t(x_t) = -\frac{\epsilon_\theta(x_t, t)}{\sqrt{1-\bar{\alpha}_t}}$$ 즉, $\epsilon$-prediction loss를 최소화하는 것은 score matching objective를 최소화하는 것과 본질적으로 같다. ## 6. Score-Based Perspective ### 6.1 Score Function **Score function**은 데이터 분포의 로그 확률 밀도의 gradient로 정의된다. $$s(x) = \nabla_x \log p(x)$$ - 이는 $x$ 공간에서 확률 밀도가 증가하는 방향을 가리키는 **벡터장(vector field)**이다. - Score function의 핵심 장점: $p(x)$의 normalizing constant $Z$를 알 필요가 없다. $\nabla_x \log \frac{p^*(x)}{Z} = \nabla_x \log p^*(x)$이므로, 정규화되지 않은 밀도만으로 score를 정의할 수 있다. ### 6.2 Score Matching Score function을 직접 학습하는 방법이 Score Matching이다. 목적함수는 다음과 같다. $$\mathcal{L}_{SM} = \mathbb{E}_{x \sim p(x)}\left[\left\|s_\theta(x) - \nabla_x \log p(x)\right\|^2\right]$$ 그러나 $\nabla_x \log p(x)$를 모르므로 직접 계산이 불가능하다. **Denoising Score Matching**은 이를 우회한다: noisy 데이터 $\tilde{x} \sim q(\tilde{x}|x)$에 대해, $$\mathcal{L}_{DSM} = \mathbb{E}_{x \sim p(x),\, \tilde{x} \sim q(\tilde{x}|x)}\left[\left\|s_\theta(\tilde{x}) - \nabla_{\tilde{x}} \log q(\tilde{x}|x)\right\|^2\right]$$ $q(\tilde{x}|x)$가 Gaussian이면 $\nabla_{\tilde{x}} \log q(\tilde{x}|x)$는 닫힌 형태로 계산 가능하므로, 학습이 가능해진다. ### 6.3 Langevin Dynamics Score function을 알면, **Langevin Dynamics**를 통해 $p(x)$로부터 샘플링할 수 있다. $$x_{i+1} = x_i + \frac{\delta}{2}\,\nabla_x \log p(x_i) + \sqrt{\delta}\,z_i, \quad z_i \sim \mathcal{N}(0, I)$$ - $\delta > 0$: step size. - $\frac{\delta}{2}\,\nabla_x \log p(x_i)$: 확률 밀도가 높은 방향으로의 drift term. - $\sqrt{\delta}\,z_i$: stochastic noise term. 이것이 없으면 단순한 gradient ascent가 되어 mode에 빠진다. - $\delta \to 0$이고 iteration 수 $\to \infty$일 때, $x_i$의 분포가 $p(x)$에 수렴함이 보장된다. 문제점: 데이터 밀도가 낮은 영역에서는 score 추정이 부정확하다. 이를 해결하기 위해 Song & Ermon (2019)은 **다중 noise level**에서의 score를 학습하는 NCSN을 제안하였다. 큰 노이즈에서의 score는 low-density 영역도 커버하고, 작은 노이즈에서의 score는 fine detail을 포착한다. 이를 **Annealed Langevin Dynamics**로 큰 노이즈부터 작은 노이즈로 순차적으로 샘플링한다. ### 6.4 $\epsilon$-Prediction과 Score의 관계 Section 5.4에서 보였듯이, 다음 관계가 성립한다. $$\nabla_{x_t} \log q_t(x_t) = -\frac{\epsilon_\theta(x_t, t)}{\sqrt{1-\bar{\alpha}_t}}$$ 이는 DDPM의 $\epsilon$-prediction과 Score-based 모델이 **동일한 것을 학습**하고 있음을 의미한다. 차이는 parameterization의 선택일 뿐이다. - $\epsilon$-prediction: 신경망이 $\epsilon$을 직접 예측. 학습 시 target의 분산이 일정하여 안정적. - Score prediction: 신경망이 $\nabla_{x_t} \log q_t(x_t)$를 예측. 물리적 해석이 명확. ## 7. SDE Framework (Song et al. 2021) ### 7.1 연속 시간으로의 확장 이산 시간 $t \in \{0, 1, \ldots, T\}$ 대신 연속 시간 $t \in [0, T]$로 확장하면, forward process를 **Stochastic Differential Equation (SDE)**으로 기술할 수 있다. ### 7.2 Forward SDE $$dx = f(x, t)\,dt + g(t)\,dw$$ - $x$: 시간 $t$에서의 데이터 상태. - $f(x, t)$: **drift coefficient**. 데이터의 결정론적(deterministic) 변화 방향을 결정한다. - $g(t)$: **diffusion coefficient**. 각 시간에서 추가되는 노이즈의 강도를 결정하는 스칼라 함수이다. - $dw$: **standard Wiener process** (Brownian motion)의 미소 증분. $dw \sim \mathcal{N}(0, dt\,I)$로, 랜덤한 섭동을 나타낸다. - $dt$: 미소 시간 증분. 이 SDE는 $t = 0$에서의 데이터 분포 $p_0(x) = p_{data}(x)$를 $t = T$에서의 prior 분포 $p_T(x) \approx \pi(x)$ (일반적으로 $\mathcal{N}(0, I)$)로 변환한다. ### 7.3 Reverse SDE Anderson (1982)에 의해, forward SDE의 역과정도 SDE로 기술됨이 알려져 있다. $$dx = \left[f(x, t) - g(t)^2\,\nabla_x \log p_t(x)\right]dt + g(t)\,d\bar{w}$$ - $d\bar{w}$: 역방향 시간의 Wiener process. 시간이 $T$에서 $0$으로 흐른다. - $\nabla_x \log p_t(x)$: 시간 $t$에서의 marginal distribution $p_t(x)$의 **score function**. 이것만 알면 reverse SDE를 풀 수 있다. - $f(x, t) - g(t)^2\,\nabla_x \log p_t(x)$: reverse drift. Forward drift에서 score에 비례하는 보정항이 빠진다. Score가 데이터 밀도가 높은 방향을 가리키므로, 이 보정이 노이즈를 제거하는 역할을 한다. 따라서 학습의 핵심은 **time-dependent score function** $s_\theta(x, t) \approx \nabla_x \log p_t(x)$를 신경망으로 학습하는 것이다. ### 7.4 VP-SDE와 VE-SDE Song et al. (2021)은 기존 모델들이 특정 SDE의 이산화(discretization)임을 보였다. **VP-SDE (Variance Preserving)**: $$dx = -\frac{1}{2}\beta(t)\,x\,dt + \sqrt{\beta(t)}\,dw$$ - $f(x, t) = -\frac{1}{2}\beta(t)\,x$: 원점으로 끌어당기는 drift. 데이터를 점진적으로 축소한다. - $g(t) = \sqrt{\beta(t)}$: 노이즈 주입 강도. - 이 SDE의 이산화가 바로 **DDPM**의 forward process이다. - "Variance Preserving"이라는 이름은 drift와 diffusion이 균형을 이루어 전체 marginal의 분산이 크게 변하지 않도록 설계되었기 때문이다. **VE-SDE (Variance Exploding)**: $$dx = \sqrt{\frac{d[\sigma^2(t)]}{dt}}\,dw$$ - $f(x, t) = 0$: drift가 없다. 원본 데이터를 축소하지 않는다. - $g(t) = \sqrt{\frac{d[\sigma^2(t)]}{dt}}$: 시간에 따라 증가하는 노이즈를 추가한다. - 이 SDE의 이산화가 **NCSN** (Song & Ermon, 2019)의 forward process에 해당한다. - "Variance Exploding"이라는 이름은 drift 없이 노이즈만 누적되므로 분산이 단조 증가하기 때문이다. ### 7.5 Probability Flow ODE 모든 SDE에는 동일한 marginal distribution $p_t(x)$를 생성하는 **결정론적 ODE**가 존재한다. $$dx = \left[f(x, t) - \frac{1}{2}g(t)^2\,\nabla_x \log p_t(x)\right]dt$$ - 이것이 **Probability Flow ODE**이다. SDE에서 stochastic term $g(t)\,d\bar{w}$를 제거하고, drift를 보정한 형태이다. - 장점: deterministic하므로, 동일한 initial noise $x_T$로부터 항상 동일한 $x_0$가 생성된다. 이는 latent space에서의 interpolation, likelihood 계산 등에 유용하다. - Likelihood 계산: ODE의 instantaneous change of variables formula를 사용하여 $\log p_0(x_0)$를 정확히 계산할 수 있다. ## 8. Sampling ### 8.1 DDPM Sampling DDPM의 sampling은 reverse process를 직접 실행하는 것이다. ``` x_T ~ N(0, I) for t = T, T-1, ..., 1: z ~ N(0, I) if t > 1, else z = 0 x_{t-1} = (1/√α_t) * (x_t - (β_t/√(1-ᾱ_t)) * ε_θ(x_t, t)) + σ_t * z return x_0 ``` - 총 $T$ 스텝 (일반적으로 $T = 1000$)이 필요하므로, 신경망을 $T$번 호출해야 한다. 이것이 **sampling 속도의 주요 병목**이다. - $\sigma_t$의 선택: $\sigma_t = \sqrt{\beta_t}$ (DDPM 원논문) 또는 $\sigma_t = \sqrt{\tilde{\beta}_t}$ (optimal for deterministic $x_0$). 두 선택 모두 유사한 결과를 보인다. ### 8.2 DDIM (Denoising Diffusion Implicit Models) Song et al. (2020)은 DDPM과 동일한 학습된 $\epsilon_\theta$를 사용하되, **Non-Markovian** reverse process를 도입하여 sampling을 가속하는 DDIM을 제안하였다. DDIM의 update rule: $$x_{t-1} = \sqrt{\bar{\alpha}_{t-1}}\,\underbrace{\left(\frac{x_t - \sqrt{1-\bar{\alpha}_t}\,\epsilon_\theta(x_t, t)}{\sqrt{\bar{\alpha}_t}}\right)}_{\text{predicted } x_0} + \underbrace{\sqrt{1-\bar{\alpha}_{t-1} - \sigma_t^2}\,\epsilon_\theta(x_t, t)}_{\text{direction pointing to } x_t} + \underbrace{\sigma_t\,z_t}_{\text{random noise}}$$ - $\sigma_t = 0$으로 설정하면 **완전히 deterministic**한 sampling이 된다. 동일한 $x_T$에서 항상 동일한 $x_0$가 생성된다. - $\sigma_t = \sqrt{\tilde{\beta}_t}$로 설정하면 DDPM sampling과 동일해진다. - 핵심 이점: timestep의 부분집합(subsequence) $\{\tau_1, \tau_2, \ldots, \tau_S\} \subset \{1, \ldots, T\}$만 사용하여 $S \ll T$ 스텝으로 sampling할 수 있다. 예를 들어, $T = 1000$에서 학습된 모델을 50 스텝만으로 sampling 가능하다. ### 8.3 ODE 관점과의 연결 DDIM ($\sigma_t = 0$)의 continuous-time limit은 Section 7.5의 **Probability Flow ODE**와 일치한다. $$dx = \left[f(x, t) - \frac{1}{2}g(t)^2\,\nabla_x \log p_t(x)\right]dt$$ 이 ODE를 다양한 수치 해법(Euler, Heun, RK45 등)으로 풀 수 있으며, adaptive step size를 사용하면 필요한 function evaluation 횟수를 더 줄일 수 있다. 이러한 관점에서 DDIM은 Probability Flow ODE의 1차 Euler discretization으로 해석된다. 이 통합적 관점은 이후 Consistency Models (Song et al., 2023), Rectified Flow (Liu et al., 2022) 등 더 빠른 sampling 기법의 이론적 기반이 된다.12:T3f75,## 1. Overview Flow Matching(FM)은 **Continuous Normalizing Flows(CNFs)를 simulation-free로 학습**하기 위한 프레임워크이다. 기존 CNF 학습의 핵심 병목은 Neural ODE solver를 통한 forward/backward simulation이 필수적이라는 점이었다. ODE를 매 학습 스텝마다 풀어야 하므로 메모리와 연산 비용이 막대했다. Diffusion model은 이 문제를 score matching으로 우회했지만, 고정된 Gaussian diffusion process에 묶여 있었다. Flow Matching은 이 두 가지 한계를 동시에 해결한다: - **ODE simulation 없이** CNF를 학습할 수 있다 (simulation-free). - Diffusion과 달리 **임의의 probability path**를 자유롭게 설계할 수 있다. - 결과적으로 normalizing flows의 표현력과 diffusion의 학습 용이성을 동시에 달성한다. ## 2. Reference Papers - **Lipman et al. (2022)** — *"Flow Matching for Generative Modeling"* - Flow Matching 프레임워크의 원논문. Conditional Flow Matching(CFM) objective를 제안하고, marginal FM loss와의 gradient equivalence를 증명. - **Albergo & Vanden-Eijnden (2022)** — *"Building Normalizing Flows with Stochastic Interpolants"* - Stochastic interpolant 관점에서 독립적으로 동일한 아이디어에 도달. Interpolant $I_t(x_0, x_1)$를 중심으로 이론을 전개. - **Liu et al. (2022)** — *"Flow Straight and Fast: Learning Minimizing-Cost Flows with Rectified Flow"* - Rectified Flow. OT path ($x_t = (1-t)x_0 + tx_1$)를 사용하는 특수한 경우로, FM과 본질적으로 동치. Reflow를 통한 straightening 전략을 추가로 제안. - **Tong et al. (2023)** — *"Conditional Flow Matching: Simulation-Free Training of Continuous Normalizing Flows"* - CFM을 보다 일반적으로 정리. 다양한 conditional path 선택지(Gaussian, OT 등)를 체계적으로 비교. ## 3. Background — Continuous Normalizing Flows (CNFs) ### 3.1 ODE 정의 CNF는 시간에 따라 연속적으로 변화하는 벡터 필드 $v_\theta(x, t)$를 정의하고, 이를 통해 noise 분포 $p_0$를 data 분포 $p_1$로 변환한다. 핵심 ODE는 다음과 같다: $$\frac{dx}{dt} = v_\theta(x, t), \quad t \in [0, 1]$$ - $x \in \mathbb{R}^d$: 데이터 공간의 점. $d$는 데이터 차원. - $t \in [0, 1]$: 시간 변수. $t=0$에서 noise 분포, $t=1$에서 data 분포. - $v_\theta(x, t): \mathbb{R}^d \times [0,1] \to \mathbb{R}^d$: 파라미터 $\theta$를 가진 신경망이 출력하는 velocity field. 각 시점 $t$에서 점 $x$가 어느 방향으로 얼마나 이동해야 하는지를 지시한다. 이 ODE의 해 $\phi_t(x)$는 flow map이라 하며, $\phi_0(x) = x$를 초기 조건으로 갖는다. 즉, noise sample $x_0 \sim p_0$를 $\phi_1(x_0)$로 보내면 이것이 생성된 data sample이 된다. ### 3.2 Continuity Equation에 의한 밀도 진화 Flow $v_t$에 의해 확률 밀도 $p_t(x)$가 시간에 따라 어떻게 변하는지는 continuity equation으로 기술된다: $$\frac{\partial p_t(x)}{\partial t} + \nabla \cdot (p_t(x) \, v_t(x)) = 0$$ - $p_t(x)$: 시각 $t$에서의 확률 밀도 함수. $p_0$는 noise 분포(예: $\mathcal{N}(0, I)$), $p_1$은 data 분포. - $\nabla \cdot$: divergence 연산자. $\nabla \cdot (p_t v_t) = \sum_{i=1}^{d} \frac{\partial}{\partial x_i}(p_t v_t^{(i)})$. - 물리적 직관: 확률 질량은 생성되거나 소멸되지 않고, velocity field를 따라 흐를 뿐이다 (질량 보존 법칙). 이 방정식이 중요한 이유는, 우리가 $v_t$를 적절히 설정하면 $p_0$에서 $p_1$로의 임의의 probability path $p_t$를 생성할 수 있다는 것을 보장하기 때문이다. ### 3.3 기존 CNF 학습의 문제점 전통적인 CNF 학습(Neural ODE, Chen et al. 2018)에서는: 1. **Forward pass**: ODE solver로 $x_0$를 $x_1 = \phi_1(x_0)$까지 적분. 2. **Log-likelihood 계산**: instantaneous change of variables formula 사용. $$\log p_1(x_1) = \log p_0(x_0) - \int_0^1 \nabla \cdot v_\theta(\phi_t(x_0), t) \, dt$$ 3. **Backward pass**: adjoint method로 gradient 계산 (또한 ODE를 역방향으로 풀어야 함). 매 학습 스텝에서 ODE를 두 번(forward + backward) 풀어야 하므로, adaptive solver 비용이 누적되어 학습이 극도로 느리다. 이것이 FM이 해결하고자 하는 핵심 문제이다. ## 4. Flow Matching Objective ### 4.1 Probability Path와 Marginal Velocity Field $p_0$에서 $p_1$으로의 **probability path** $p_t$가 주어져 있다고 하자. 이 path를 생성하는 velocity field, 즉 continuity equation을 만족시키는 $u_t(x)$를 **marginal velocity field**라 한다: $$\frac{\partial p_t(x)}{\partial t} + \nabla \cdot (p_t(x) \, u_t(x)) = 0$$ - $u_t(x)$: 참(true) velocity field. $p_t$라는 probability path를 정확히 생성하는 벡터 필드. - 이 $u_t(x)$가 유일하지는 않다 (같은 밀도 진화를 만드는 velocity field는 여러 개 존재할 수 있다). ### 4.2 Flow Matching Loss 신경망 $v_\theta$가 이 참 velocity field $u_t$를 모방하도록 학습한다: $$\mathcal{L}_{FM}(\theta) = \mathbb{E}_{t \sim \mathcal{U}[0,1], \, x \sim p_t(x)} \left\| v_\theta(x, t) - u_t(x) \right\|^2$$ - $t \sim \mathcal{U}[0,1]$: 시간 $t$를 $[0,1]$ 균등 분포에서 샘플링. - $x \sim p_t(x)$: 시각 $t$에서의 marginal 분포에서 $x$를 샘플링. - $v_\theta(x, t)$: 신경망의 예측 velocity. - $u_t(x)$: 참 velocity field (regression target). - $\|\cdot\|^2$: L2 norm의 제곱. 각 차원별 squared error를 합산. ### 4.3 문제점: Intractability 이 loss를 직접 계산하는 것은 **불가능**하다: - $p_t(x)$: 일반적으로 noise 분포와 data 분포의 중간 상태이므로 closed-form이 없다. 이로부터 샘플링하는 것 자체가 ODE를 풀어야 가능하다. - $u_t(x)$: continuity equation의 해로 정의되지만, 이를 닫힌 형태로 구하는 것도 일반적으로 불가능하다. 결국 FM loss를 있는 그대로 쓰면 원래 Neural ODE의 문제로 돌아간다. 이것을 해결하는 것이 **Conditional Flow Matching**이다. ## 5. Conditional Flow Matching (CFM) ### 5.1 핵심 아이디어: Data Point에 조건을 건다 개별 data point $x_1$에 대해 conditional probability path $p_t(x|x_1)$와 conditional velocity field $u_t(x|x_1)$를 정의한다. 이들은 다음을 만족한다: $$\frac{\partial p_t(x|x_1)}{\partial t} + \nabla \cdot (p_t(x|x_1) \, u_t(x|x_1)) = 0$$ - $x_1 \sim q(x_1)$: data 분포에서 뽑은 하나의 데이터 포인트. - $p_t(x|x_1)$: $x_1$을 목표로 하는 conditional probability path. $t=0$에서 noise에 가깝고, $t=1$에서 $x_1$ 근방에 집중된 분포. - $u_t(x|x_1)$: 이 conditional path를 생성하는 velocity field. 핵심은 이 conditional 버전은 **닫힌 형태로 설계 가능**하다는 것이다. 우리가 $p_t(x|x_1)$을 직접 선택하고, 그에 대응하는 $u_t(x|x_1)$를 유도할 수 있다. Marginal path는 conditional path의 mixture로 복원된다: $$p_t(x) = \int p_t(x|x_1) \, q(x_1) \, dx_1$$ ### 5.2 CFM Loss $$\mathcal{L}_{CFM}(\theta) = \mathbb{E}_{t \sim \mathcal{U}[0,1], \, x_1 \sim q(x_1), \, x \sim p_t(x|x_1)} \left\| v_\theta(x, t) - u_t(x|x_1) \right\|^2$$ - $x_1 \sim q(x_1)$: training set에서 data point를 하나 뽑는다. - $x \sim p_t(x|x_1)$: 그 data point를 조건으로 한 conditional path에서 $x$를 뽑는다. 이것은 닫힌 형태이므로 쉽게 샘플링 가능. - $u_t(x|x_1)$: conditional velocity. 역시 닫힌 형태로 계산 가능. - $v_\theta(x, t)$: 신경망 예측. 조건 $x_1$이 입력에 들어가지 **않는다**는 점이 중요하다. 신경망은 $(x, t)$만 받는다. ### 5.3 핵심 정리: Gradient Equivalence **Theorem (Lipman et al., 2022)**: $$\nabla_\theta \mathcal{L}_{FM}(\theta) = \nabla_\theta \mathcal{L}_{CFM}(\theta)$$ 즉, CFM loss의 gradient와 FM loss의 gradient가 **정확히 동일**하다. **증명 스케치**: FM loss를 전개하면: $$\mathcal{L}_{FM} = \mathbb{E}_{t, p_t(x)} \left[ \|v_\theta\|^2 - 2 \langle v_\theta, u_t \rangle + \|u_t\|^2 \right]$$ CFM loss를 전개하면: $$\mathcal{L}_{CFM} = \mathbb{E}_{t, q(x_1), p_t(x|x_1)} \left[ \|v_\theta\|^2 - 2 \langle v_\theta, u_t(x|x_1) \rangle + \|u_t(x|x_1)\|^2 \right]$$ $\theta$에 대해 gradient를 취하면 $\|u_t\|^2$ 및 $\|u_t(x|x_1)\|^2$ 항은 상수로 사라진다. 남는 두 항에서: 1. $\mathbb{E}_{p_t(x)}[\|v_\theta\|^2] = \mathbb{E}_{q(x_1), p_t(x|x_1)}[\|v_\theta\|^2]$ — 이는 $p_t(x) = \int p_t(x|x_1) q(x_1) dx_1$이므로 성립 (law of total expectation). 2. $\mathbb{E}_{p_t(x)}[\langle v_\theta, u_t \rangle] = \mathbb{E}_{q(x_1), p_t(x|x_1)}[\langle v_\theta, u_t(x|x_1) \rangle]$ — 이는 $u_t(x) = \mathbb{E}_{q(x_1|x)}[u_t(x|x_1)]$ (marginal velocity가 conditional velocity의 posterior 기대값)이라는 사실에서 도출된다. 따라서 두 loss의 $\theta$-gradient가 동일하다. $\square$ **의의**: CFM loss만으로 marginal FM loss를 최적화할 수 있으며, CFM loss는 모든 항이 닫힌 형태이므로 **ODE simulation이 전혀 필요 없다**. ## 6. Gaussian Conditional Path 가장 널리 쓰이는 구체적인 conditional path 설계를 정리한다. ### 6.1 Gaussian Conditional Probability Path $$p_t(x|x_1) = \mathcal{N}(x; \, \mu_t(x_1), \, \sigma_t^2 I)$$ - $\mu_t(x_1) \in \mathbb{R}^d$: 시각 $t$에서 conditional 분포의 평균. $x_1$에 의존하는 시간의 함수. - $\sigma_t \in \mathbb{R}_{>0}$: 시각 $t$에서의 표준편차. 스칼라이며, 모든 차원에 동일하게 적용 (isotropic). - $I$: $d \times d$ 단위 행렬. 경계 조건: - $t=0$: $\mu_0 \approx 0$, $\sigma_0 \approx 1$ → 표준 정규 분포에 가까움. - $t=1$: $\mu_1 = x_1$, $\sigma_1 \approx \sigma_{\min} \approx 0$ → $x_1$에 집중된 분포. ### 6.2 Optimal Transport (OT) Path 선택 가장 대표적이고 널리 쓰이는 OT path: $$\mu_t(x_1) = t \, x_1$$ $$\sigma_t = 1 - (1 - \sigma_{\min}) t$$ - $t \, x_1$: 원점(noise)에서 $x_1$(data)을 향해 선형 보간. - $\sigma_{\min}$: 매우 작은 양수 (예: $10^{-5}$). $t=1$에서 분포가 delta 함수에 가까워지도록 한다. 수치적 안정성을 위해 정확히 0으로 두지 않는다. 이 선택 하에서 conditional path로부터의 샘플링은: $$x_t = \sigma_t \, x_0 + \mu_t(x_1) = (1 - (1 - \sigma_{\min})t) \, x_0 + t \, x_1$$ - $x_0 \sim \mathcal{N}(0, I)$: noise sample. - $x_1 \sim q(x_1)$: data sample. - $x_t$: 시각 $t$에서의 interpolated sample. $t=0$이면 noise에 가깝고, $t=1$이면 data에 가깝다. 이것은 $x_0$와 $x_1$ 사이의 **직선 보간**이다 (정확히는 $\sigma_{\min}$만큼의 보정이 있지만, 실질적으로 직선). ### 6.3 Conditional Velocity Field 유도 Gaussian conditional path $p_t(x|x_1) = \mathcal{N}(x; \mu_t, \sigma_t^2 I)$가 continuity equation을 만족하려면, conditional velocity는 다음과 같다: $$u_t(x|x_1) = \frac{\dot{\sigma}_t}{\sigma_t}(x - \mu_t(x_1)) + \dot{\mu}_t(x_1)$$ - $\dot{\sigma}_t = \frac{d\sigma_t}{dt}$: $\sigma_t$의 시간 미분. OT path에서 $\dot{\sigma}_t = -(1 - \sigma_{\min})$. - $\dot{\mu}_t(x_1) = \frac{d\mu_t}{dt}$: $\mu_t$의 시간 미분. OT path에서 $\dot{\mu}_t = x_1$. OT path를 대입하면: $$u_t(x|x_1) = \frac{-(1-\sigma_{\min})}{1-(1-\sigma_{\min})t}(x - t x_1) + x_1$$ $x = x_t = (1-(1-\sigma_{\min})t)x_0 + t x_1$를 대입하면 $x - tx_1 = (1-(1-\sigma_{\min})t)x_0$이므로: $$u_t(x_t|x_1) = -(1-\sigma_{\min})x_0 + x_1 = x_1 - (1-\sigma_{\min})x_0$$ 이것이 **target velocity**이다. 놀랍도록 단순하다: $x_0$에서 $x_1$을 향하는 방향 벡터이다. ### 6.4 최종 학습 Loss 모든 것을 합치면 CFM loss는: $$\mathcal{L}_{CFM}(\theta) = \mathbb{E}_{t \sim \mathcal{U}[0,1], \, x_0 \sim \mathcal{N}(0,I), \, x_1 \sim q(x_1)} \left\| v_\theta(x_t, t) - (x_1 - (1 - \sigma_{\min}) x_0) \right\|^2$$ 여기서 $x_t = (1-(1-\sigma_{\min})t) x_0 + t x_1$. **학습 알고리즘 (1 step)**: 1. $t \sim \mathcal{U}[0,1]$ 샘플링. 2. $x_0 \sim \mathcal{N}(0, I)$ 샘플링 (noise). 3. $x_1 \sim q(x_1)$ 샘플링 (training data에서 하나 뽑기). 4. $x_t = (1-(1-\sigma_{\min})t) x_0 + t x_1$ 계산. 5. Target velocity $u = x_1 - (1-\sigma_{\min})x_0$ 계산. 6. Loss $\|v_\theta(x_t, t) - u\|^2$ 계산 후 backpropagation. **샘플 생성 (inference)**: 1. $x_0 \sim \mathcal{N}(0, I)$ 샘플링. 2. ODE $\frac{dx}{dt} = v_\theta(x, t)$를 $t=0$에서 $t=1$까지 수치적으로 적분 (Euler, RK4 등). 3. $x_1 = \phi_1(x_0)$이 생성된 sample. 학습 시에는 ODE를 풀 필요가 전혀 없고, inference 시에만 ODE solver를 사용한다. ## 7. Connection to Other Methods ### 7.1 vs Diffusion Models Diffusion model(DDPM, Score Matching)은 FM의 **특수한 경우**로 볼 수 있다. - Diffusion의 forward process $q(x_t|x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}_t} x_0, (1-\bar{\alpha}_t)I)$는 하나의 특정 Gaussian probability path이다. - Diffusion의 score $\nabla_x \log p_t(x)$와 FM의 velocity $u_t(x)$는 다음 관계를 가진다: $$u_t(x) = \frac{\dot{\sigma}_t}{\sigma_t} x + \left(\dot{\mu}_t - \frac{\dot{\sigma}_t \mu_t}{\sigma_t}\right) + \sigma_t \dot{\sigma}_t \nabla_x \log p_t(x)$$ - FM은 probability path를 **자유롭게 선택**할 수 있으므로, diffusion의 고정된 forward process에 비해 더 일반적이다. - 특히 OT path를 쓰면 diffusion보다 **straighter trajectory**를 얻어, 더 적은 ODE step으로도 고품질 샘플을 생성할 수 있다. ### 7.2 vs Rectified Flow Rectified Flow(Liu et al., 2022)는 FM에서 OT path를 선택한 경우와 **본질적으로 동치**이다. - Rectified Flow의 loss: $\mathbb{E}_{x_0 \sim p_0, x_1 \sim p_1}\|v_\theta((1-t)x_0 + tx_1, t) - (x_1 - x_0)\|^2$ - FM의 OT path loss에서 $\sigma_{\min} \to 0$이면 정확히 위와 같다. - Rectified Flow는 추가로 **reflow** 절차를 제안한다: 학습된 모델로 $(x_0, x_1)$ 쌍을 생성하고, 이를 다시 학습 데이터로 사용하여 trajectory를 더욱 직선화한다. 이를 반복하면 1-step 생성에 가까워진다. ### 7.3 vs Normalizing Flows (NF) | 항목 | Normalizing Flows | Flow Matching (CNF) | |------|:---:|:---:| | 변환 구조 | 이산적 가역 레이어 $f_1 \circ f_2 \circ \cdots \circ f_K$ | 연속 ODE $\frac{dx}{dt} = v_\theta(x, t)$ | | Jacobian 계산 | 매 레이어마다 $\det J$ 필요 | 학습 시 불필요 (simulation-free) | | 아키텍처 제약 | Jacobian이 tractable해야 함 (coupling layers 등) | 임의의 신경망 사용 가능 | | 학습 | Exact log-likelihood | Regression (velocity matching) | | 표현력 | 레이어 수에 의존 | 연속 시간으로 사실상 무한 깊이 | ## 8. Advantages 1. **Simulation-Free Training**: 학습 시 ODE를 전혀 풀지 않는다. 단순한 regression loss 하나로 학습이 완료된다. Neural ODE 대비 학습 속도가 수십 배 이상 빠르다. 2. **유연한 Probability Path 설계**: Diffusion처럼 하나의 고정된 process에 묶이지 않는다. OT path, diffusion path, 혹은 전혀 새로운 custom path를 자유롭게 설계하여 성능을 최적화할 수 있다. 3. **구현의 단순성**: 핵심 학습 코드가 극도로 간결하다. 노이즈와 데이터를 선형 보간하고, 그 방향 벡터를 regression target으로 쓰면 끝이다. Diffusion의 noise schedule 설계나 NF의 가역 아키텍처 설계보다 훨씬 단순하다. 4. **강력한 실험 결과**: ImageNet 256x256에서 state-of-the-art FID를 달성. 특히 OT path 사용 시 diffusion 대비 더 적은 function evaluation(NFE)으로 동등 이상의 품질을 달성한다. 5. **Straighter Trajectories**: OT path를 사용하면 noise에서 data로의 경로가 거의 직선에 가까워져, Euler method 같은 간단한 solver로도 적은 step으로 고품질 생성이 가능하다. 이는 inference 속도에 직결된다. 6. **이론적 통합**: Diffusion, Rectified Flow, Stochastic Interpolant 등 기존 방법들을 하나의 프레임워크 안에서 통합적으로 이해할 수 있는 이론적 기반을 제공한다.13:T7c2,이 Brain은 사람의 좌뇌·우뇌에 대한 생물학적 구분이 아니라, **정보의 성격**을 기준으로 나눈다. ## Left / Semantic Layer 나와 무관하게 설명할 수 있고 여러 상황에서 재사용할 수 있는 지식이다. - What: 정의와 구성 요소 - Why: 원리와 인과관계 - How: 절차, 방법, 도구 사용법 - Compare: 대안과 트레이드오프 - Evaluate: 측정 지표와 검증 방법 ## Right / Episodic Layer 내가 실제로 겪거나 수행한 사건과 그 맥락이다. - When: 날짜와 기간 - Where: 장소와 조직 - With: 협업자와 사용한 도구 - Role: 내가 맡은 책임 - Outcome: 결과, 수치, 배운 점 - Evidence: 포스터, 증명서, 인터뷰, 업무 기록 ## Hybrid Information 하나의 자료가 두 성격을 모두 가지면 한쪽을 선택하지 않고 원자적으로 분리한다. | 원자료 | Left | Right | |---|---|---| | AI 페르소나 세미나 | AI Persona Development | 성균관대·한양대 페르소나 AI 세미나 | | Qwen3-TTS 업무 기록 | TTS, Streaming Speech Inference | Qwen3-TTS Production System | | K-Moshi 업무 기록 | Full-Duplex Speech Dialogue, Speech Evaluation | K-Moshi Korean Full-Duplex Dialogue | | 음성 데이터 전처리 | Speech Data Engineering | Korean Speech Data Pipeline | ## Ingestion Protocol 1. 원본 파일은 증빙 자료로 보존한다. 2. 사실, 해석, 일반 지식을 분리한다. 3. 일반 지식은 Left에, 개인 사건은 Right에 기록한다. 4. 하나의 노드는 하나의 주제를 중심으로 작성한다. 5. 관련 Left/Right 노드는 본문 링크로 연결한다. 6. 부모의 `children`과 실제 자식 파일이 일치하는지 검증한다. ## Quick Test - “이 내용이 김현우가 아니어도 성립하는가?” → Yes라면 Left - “김현우가 언제·어디서·무엇을 했는지가 핵심인가?” → Yes라면 Right - 둘 다 Yes라면 두 노드로 분리하고 연결14:Td3d,| 항목 | 내용 | |---|---| | 회사 | 마인드로직 (MindLogic Inc.) · Seoul | | 기간 | 2024.03 – 2026.06 | | 직무 | AI Engineer (정규직) · 산업기능요원 복무 | | 영역 | LLM 서빙·RAG → TTS 학습·데이터 파이프라인·스트리밍 추론·프로덕션 배포 | ## 2024.03 – 2024.10 · RAG & Prompt Engineering (AI Agent · LLM 팀) - 입사 첫 과제로 Python 기반 안내 챗봇을 개발. AI 지식은 있었지만 서비스 개발과 백엔드·협업은 처음이어서, 상호 의사소통과 문제 해결이 얼마나 중요한지 체감한 프로젝트. - LLM API에 RAG(검색 증강 생성)와 프롬프트 엔지니어링을 적용해 특정 도메인에 최적화된 응답을 생성하도록 개발. - 선톡(먼저 말 걸기) 개편, 지속 대화 품질 평가, activity fabrication 관련 실험 기록. ## 2024.10 – 2025.12 · LLM Serving & Streaming Optimization - vLLM / SGLang 엔진으로 LLaMA 3.2 · Qwen2.5 기반 사내 TTS 모델의 gRPC 스트리밍 추론 서버 구축. - 실시간 음성 합성의 핵심인 낮은 지연시간을 확보하기 위해 Triton Inference Server를 수정해 사용, 응답 속도를 개선한 뒤 실제 서비스 환경에 배포·최적화. - CLI 추론과 Triton 서버 추론의 결과 불일치를 spk2info 처리, LM head 제약, vocab size(158336 vs 151936) 세 축으로 분해해 해결. - GPU 6종 벤치마킹으로 배포 전략 도출 (H100 0.34s, L40s 0.47s, A100 0.56s). ## 2024.10 – 2025.12 · Model Training & Data Pipeline - SOTA 수준 TTS를 목표로 학습·성능 개선. CosyVoice 학습이 epoch 179 이후 붕괴하는 현상을 overfitting으로 진단하고 optimizer(adam → adamw)와 LR 스케줄러(constant → CosineAnnealing)를 수정해 안정화 (8x H200). - LLM 컴포넌트와 Flow 컴포넌트의 기여도를 분리하는 grid evaluation(LLM epochs × Flow epochs)으로 "LLM이 성능을 지배한다"는 결론을 얻고 이후 학습 전략에 반영. - DNSMOS 기반 잡음 필터링 기준 확립, SNAC decoder의 receptive field 계산으로 스트리밍 최소 문맥 도출, 새 special token 추가 시 기존 임베딩 평균으로 초기화하고 동결하는 전략 고안. - 수천 시간 규모 한국어 음성 전처리 파이프라인의 핵심 모듈 개발 → Korean Speech Data Pipeline. ## 2026 상반기 · Speech Language Model 팀 - Qwen3-TTS 프로덕션: partial re-decoding 스트리밍 설계(첫 응답 318 ms → 173 ms), 공식 학습 코드의 버그 2건 발견·수정, VAD truncation과 초기 합성 불안정(43.3% → 0%) 해결 → Qwen3-TTS Production System. - K-Moshi 한국어 full-duplex 대화: 로드맵 설계, Mimi 코덱 한국어 검증, 32K 한국어 BPE 토크나이저 설계, 학습 속도 8.3배 → K-Moshi Korean Full-Duplex Dialogue. - Cross-lingual 합성 품질: ASR 정확도 → 화자 유사도 → Gemini 평가 → 청취의 4단계 ref audio 선별 파이프라인과 cepstral 하모닉 분석으로 한국어 CER 0.67% → 0.01%, 영어 WER 3.15% → 0.02%. - Orpheus-TTS에 in-context voice cloning 대신 고정 voice representation vector와 knowledge distillation 방식 loss 제안 (86명 화자, 30개 이상 paralinguistic 클래스). ## 기록 - 2025–2026년 팀 미팅 로그 100여 건을 날짜별 PDF로 보관. 위 수치는 그 기록을 정리한 것.15:Tdd1,**VA-DPO: Valence-Arousal Direct Preference Optimization for Controllable Emotion Generation in Language Models** Hyunwoo Kim · arXiv preprint arXiv:2608.20374 (2026.06 v1, 2026.09 v2) · cs.CL / cs.AI / cs.LG [arXiv](https://arxiv.org/abs/2608.20374) · [PDF](https://arxiv.org/pdf/2608.20374) ## 요약 언어 모델에게 "어떻게 느낄지"를 얼마나 정밀하게 지시할 수 있을까? 기존 감정 생성 연구는 happy / angry / sad 같은 이산 레이블에 머물러 "약간 가라앉았지만 차분한" 같은 목표를 표현하지 못한다. VA-DPO는 원하는 정서를 Valence–Arousal 평면 위의 연속 좌표 (v*, a*)로 지정하고, 모델이 그 점을 맞추도록 DPO로 학습한다. DPO 손실 자체는 그대로 두고 **선호 데이터를 만드는 방식**만 바꾼 것이 핵심이다. ## 세부 결과 - **제어 정확도**: Llama-3.1-8B-Instruct에서 목표까지의 평균 VA 거리가 시스템 프롬프팅 대비 33% (0.138 → 0.092), few-shot 프롬프팅 대비 25% (0.122 → 0.092) 감소. valence/arousal 상관은 r_v = 0.93, r_a = 0.75 (3 seed 평균 0.092 ± 0.002). - **베이스라인 비교**: SFT 0.131, 이산 레이블 DPO 0.107, 마진 필터 없는 VA-DPO(τ=0) 0.097. 연속 회귀 신호와 마진 필터가 각각 기여한다. - **백본 재현**: Qwen3-8B 0.147 → 0.106, Llama-3.2-3B 0.142 → 0.114. 세 백본 모두에서 최고. 다만 3B에서는 마진 필터의 이점이 뒤집힌다 (후보 pool이 작아진 탓으로 해석). - **회귀기 순환성 검증**: 학습에 쓰지 않은 DeBERTa-v3-large로 다시 재도 순위와 격차가 유지된다 (VA-DPO 0.097 vs 시스템 프롬프팅 0.163). - **일반 능력 보존**: MMLU 68.2 → 68.2 (Δ +0.0), HellaSwag 79.5 → 78.9, TruthfulQA 54.5 → 57.6. - **생성 품질 비용**: distinct-n 소폭 감소, perplexity 12.6 → 14.9, LLM judge(Claude, 1–5점) fluency 4.36 → 4.08, relevance 3.68 → 3.11. relevance 하락이 가장 눈에 띄는 대가다. ## 접근 방법 - **조건화**: 프롬프트 앞에 `[VA: v*=, a*=]` 텍스트 태그를 붙인다. v*, a* ∈ [−1, 1]. - **후보 생성·채점**: 고정된 참조 모델에서 프롬프트당 N ∈ {4, 8}개 후보를 샘플링(T=0.9, top-p 0.95)하고, EmoBank로 학습한 RoBERTa-large VA 회귀기(dev CCC valence 0.79 / arousal 0.55)로 목표까지의 유클리드 거리를 잰다. - **선호쌍 구성**: 모든 후보 쌍 중 거리 차이가 마진 τ를 넘는 쌍만 남기고, 거리가 작은 쪽을 winner로 둔다. - **학습**: 베이스·참조 모델은 동결하고 LoRA 어댑터만 표준 DPO 손실로 3 epoch 학습 (r ∈ {4, 8, 16, 32}, α = 2r, τ = 0.2 기본). H100 1장에서 25–40분, 전체 60 GPU-hour 미만. - **ablation**: β ∈ {0.05 … 0.5}에는 둔감 (0.092–0.099). τ는 0.1 근처가 최적(0.080)이고 0.5로 키우면 쌍이 부족해져 0.139로 악화된다. ## 고려사항 - 회귀기의 편향을 그대로 물려받는다. 특히 arousal은 회귀기 자체가 약하다 (dev CCC 0.55). - 영어 단일 코퍼스(EmoBank)로 학습한 회귀기 하나에 의존하므로 방언·도메인 특화 텍스트로의 일반화는 검증되지 않았다. - 멀티턴 대화 역학은 평가하지 않았다. - 목표를 텍스트 접두사로 넣는 방식은 단순하지만 프롬프트 형식 변화에 취약할 수 있다. 학습된 target embedding은 후속 과제. - 제어력의 대가로 생성 품질, 특히 relevance가 다소 떨어진다.16:T112c,