보관함

[논문 리뷰] VISUAL REPRESENTATION ALIGNMENTFOR MULTIMODAL LARGE LANGUAGE MODELS

Kim_Jaehwan — Thu, 11 Sep 2025 01:33:49 +0900

2025.09.10. (수) Daily Trading

Kim_Jaehwan — Thu, 11 Sep 2025 01:32:45 +0900

4시간봉, 평범한 상승후 accumulation 횡보장

15분봉, 상승 중...

기존 전고점 (초록선)에서 사야하는데 늦게 시작한 탓에 타이밍을 놓침

밟고 올라왔을 때 가볍게 스켈핑

전부 이평에서 사서 욕심 안부리고 잘 팔았다. 잘한듯.

전부 long이었는데 마지막 short을 해버렸다.

초단기 추세에 맞춰 잘 사고 잘 팔긴 했는데 다음부터는 이러지 말자. 급등나오면 위험했음.

1분봉, FGV 맞춰서 두번 나눠서 long

매물대에서 덜었어야했는데 바보같이 불타기를 해버렸다.

치명적인 실수. 뚜렷한 정배열일때만 불타야하는데 멍청했다.

20이평에 맞는 봉 움직임 보고 빠르게 short으로 포지션 전환했음 이후 전저점에서 성공적으로 반익 완료 후 반본 걸어놓음.

1분봉, 진리의 반익 반본

오늘은 미묘한 봉의 움직임 냄새를 기가막히게 잘맡아서 모든 단타를 성공해버렸다.

정확히 이 미묘한 움직임을 캐치를 잘 한것 같다.

특히 뒷 부분에서, 기준을 벗어나자마자 빠르게 손절하고 포지션을 바꾼게 아주 좋았다.

[논문 리뷰] Reverse-Engineered Reasoning for Open-Ended Generation

Kim_Jaehwan — Wed, 10 Sep 2025 01:02:37 +0900

ByteDance팀에서 나온, 정답이 없는 추론을 이끌어내는 방법에 대한 논문

1줄 요약

정답이 없는 열린 문제에서도 추론을 학습시키는, 거꾸로 추론 과정을 합성하는 REER 패러다임을 제안

수학이나 프로그래밍 같이 검증가능하고 정답이 있는 문제들에서는

"Deep reasoning"이 강화학습을 통해 잘 되고 있는데 말이야...

그래서 창의적이고 열린 질문들에서는 추론을 어떻게 집어넣지?

그나마 써볼만한건 instruction distillation인 것 같은데...

하지만 비용도 비싸고 무엇보다 고품질 데이터가 부족하다!

그래서 제안하는 것! REverse-Engineered Reasoning(REER) !

(왼쪽) 기존 방법들은 사용자의 요청에 대해 시도-오류(RL)나 비용이 큰 디스틸레이션을 통해 forwards로 딥 리즈닝을 구축하려 하지만, 이는 명확하고 검증 가능한 보상 신호가 부족한 개방형 영역에서는 한계를 드러낸다. (오른쪽) 우리는 딥 리즈닝을 가르치는 세 번째 길 , 즉 **REverse-Engineered Reasoning (REER)**를 제안한다. REER는 뒤로(backwards) 작동하여, 오픈소스 질의응답(QA) 쌍의 이미 좋은 출력으로부터 그에 상응하는 인간 유사 사고 과정 을 회복한다.

바텀-업으로 추론하는 대신, 탑-다운으로 추론하겠다!

이세계(Isekai) 스피드런 이야기를 써봐라!! RTA 러너를 재밌게 봤나봅니다.. ㅋㅋㅋㅋ

이제 여기서 어느정도 이 논문의 핵심을 볼 수 있는데,

Reasoning 하는 동안에 다양한 사고 패턴(예: “흠… 다른 방법은…”, “잠깐, 그건 조금…”)을 활용해서

논리적 추론, 분기(branching), 되돌아보기(backtracking) 같은 구조적 추론을 촉진 한다고 합니다.

Reasoning steps "z"와

Input Query "x"

high-quality solution "y"

가 있을 때 위의 식을 만족하는 z를 찾는것이 목표다.

여기서의 핵심은 Perplexity를 이용한다 + gradient-free local search를 통해 최적화한다는 건데...

여기서 잠시, 왜 Perplexity를 이용하는지 간단히 예시와 간단히 설명해보자 (논문에 없는 단순 추가 설명),

먼저 Perplexity를 간단히 설명하자면

Perplexity 공식

요 수식을 쉽게쉽게 하나씩 살펴보자

이건 앞 문장들이 쭉 있을 때 이번 단어가 나올 확률 (log likelihood) 을 나타낸다.

즉

"나는 커피를 마셨다."

라는 문장에서

나는 커피를 ____

1. 마셨다.

2. 파랗다.

이렇게 있다고 한다면 "나는 커피를 파랗다" 같은 경우에는

log p(w_3 | w < 3) 이 매우 낮다. (큰 음수) ...인풋은 토큰이라 사실 엄밀하게 3은 아니다

이 전체 평균은 자연스럽게 큰 음수가 되고,

큰 음수에 마이너스를 붙이니 큰 양수가 되고 e의 지수승을 하니 PPL은 더욱 커진다.

Perplexity 공식

요약하자면 적절한 문장이면 Perplexity가 1에 가까워지고 이상한 문장일수록 Perplexity가 커진다!

이 처럼 문장이 LLM 입장에서 말이 안되면 말이 안될 수록 Perplexity는 커진다.

Perplexity라는 이름도 “얼마나 혼란스러워(perplexed)하는가” 에서 왔다.

이 논문에서 Perplexity로 평가한다는건

"나는 커피를 마신다."

라는 최종문장 앞에

"오늘 아침 너무 더워서 시원한 카페를 가야겠다고 생각했고 스타벅스 쿠폰이 남아있었다. 나는 커피를 마셨다."

"오늘 아침 유튜브에서 소가 풀 뜯어먹는 쇼츠가 나왔다. 나는 커피를 마셨다."

이 같은 여러 가능성 있는 문장 중에 LLM 입장에서 더욱 자연스러운 Reasoning을 한 것을 고르겠다는 얘기다.

논문에서 말하는 Gradient-Free Local Search가 그래서 뭔데?

순서대로 Refine 하겠다는 얘기

논문에서는 크게 4가지 단계로 나누어서 설명한다.

1. Initialization (초기화)

2. Node Expansion (노드 확장, 세그멘트 단위 정제)

3. Node Evaluation and Selection (노트 평가 및 선택)

4. Termination (종료)

하나씩 살펴보자

1. Initialization

추론을 보여달라는 프롬프트로 간단한 추론을 얻는 단계

해당 프롬프트 전문이 필요하면 논문 Appendex를 한번 읽어보시길

특정한 최종 답변을 제시한다고 가정해 봅시다. 이때, 그 해결책을 도출하는 사고 과정 또한 작성해야 합니다.

(Suppose you will give a specific final response, I need you to also write down the thought process behind this solution.)

이라는 내용이 메인이다.

거기에 지침들도 들어간다.

1인칭 서술로, 생각을 소리 내어 말하듯 작성하기
사고 과정과 최종 답변을 정확히 연결
톤: 기획적, 성실하고 자연스럽고 쉽게 이해 가능하게
논리적 흐름: 명확하고 점진적
깊은 사고를 위한 프레임워크
자기반성/재검토를 반드시 사고 과정에 포함

그리고 마지막으로

당신은 최종 답변을 쓰기 전에 <think></think> 블록 안에 사고 과정을 마치 두뇌 속 브레인스토밍처럼 서술해야 하고, 이 사고 과정이 자연스럽게 최종 답변으로 이어져야 합니다.

같은 포맷 가이드도 써있다.

특별한건 없고 Refine 하기 위한 초기 추론을 LLM으로 부터 얻는다.

2. Node Expansion

세그먼트 하나를 선택해서 프롬프트를 통해 개선한다.

각 반복에서 개선할 세그먼트 z(i)를 선택해서

LLM에 더 많은 사고 기반 세부사항, 설명, 반성적 내용을 포함한 후보 개선안을 생성하도록 요청한다.

당신의 과제는 사용자 요청, 목표 산출물, 기존 사고 과정을 입력받아, 그 사고 과정 내의 특정 단락을 다듬고 풍부하게 만드는 것입니다.

( Your task is to receive a user request, a target output, and an existing thinking process, and then to refine and enrich a specific paragraph within that thinking process.)

이라는 프롬프트가 메인으로 들어간다.

이런식으로 세그먼트 z를 넣을 공간을 마련했다.

그리고 추가적인 지침들 이번에는 step 별로 지시한다.

Step 1: 기존 사고 과정에서 수정해야 할 단락을 찾으세요. 주변 맥락과의 관계 속에서, 이 단락의 주요 기능은 무엇입니까?

Step 2: "Target Text"(목표 텍스트)와 "수정할 단락"을 나란히 읽으세요. 핵심 질문: 이 단락에 반영된 사고 과정은 중요한 단계가 누락되어 있나요, 아니면 Target Text와 더 잘 맞추기 위해 추가로 최적화·세부화할 수 있는 부분이 있나요?
Step 3: 단락을 개선 및 최적화하세요 (사고 과정의 일부를 나타냅니다).

전체적으로 맥락에 맞춰 수정하라는 프롬프트다.

해당 세그먼트 z를 수정 하는 그림

3. Node Evaluation and Selection

해당 세그먼트 z(i)를 수정하여 c로 바꾸고 perplexity를 계산하면 평가 끝.

여러 c들을 생성한 후 (몇 개나 생성해야하는지에 대한 내용은 없는듯 하다.)

그 중 perplexity가 가장 낮은 c를 고르면 된다.

후보 중 하나를 선택해서 진행한다는 그림

4. Termination

이 정제 과정은 perplexity가 사전에 정의한 임계값에 도달하거나, 최대 반복 횟수에 도달할 때까지 반복된다.

(The refinement process repeats until the perplexity of the solution reaches a predefined target threshold or a maximum number of iterations is completed.)

2~3을 반복하며 z들을 바꾸면서 일정 조건을 만족하면 종료한다.

각 세그먼트마다 최적의 후보들을 찾아낸 그림

그냥 트리 서치인 몬테카를로랑 비슷한듯 싶기도 한데

결국 최종 y를 통한 Perplexity를 계산함으로써 훨씬 계산량이 적고 효율적이며,

전체 플랜을 일단 세운 후 (출발점 부터 무작정 서칭하는 것과 다르게 1.Initialization을 거치니) 수정하는 방식이라 다르다고 한다.

맞는 말이다.

방법론은 알겠는데 그래서 고품질 데이터셋 (x, y)는 어떻게 할건데?

.... 특별할건 없고 인터넷 + 문학 + 퍼블릭 데이터로 평범하다.

공개 글쓰기 플랫폼: 예를 들어 r/WritingPrompts 같은 커뮤니티에서 프롬프트-스토리 쌍을 크롤링하고, 커뮤니티의 추천 수(upvotes)를 초기 품질 지표로 사용했다.
퍼블릭 도메인 문학: Project Gutenberg의 고전 문학 텍스트를 정답(y)으로 사용하고, GPT-4o에게 이 텍스트의 첫 문단으로부터 그럴듯한 쿼리(x)를 역으로 생성(reverse-engineer)하게 했다.
공개 데이터셋: Instruction tuning 데이터셋인 WildChat [37], LongWriter6K [2] 등으로 데이터를 보강했다.

이렇게 모은 20000개 데이터셋 (저자들이 선정한 총 25개 카테고리)를 위의 방법론 local search algorithm 을 통해 심층 추론 궤적을 만들었다고 한다.

프롬프트도 무척 중요하다고 하니 논문의 프롬프트를 살펴보는 것도 좋을듯

방법론을 적용하기 전과 후로 비교하면

성공적으로 Perplexity 낮아졌고, Token Length 늘어났다(더 길게 추론).

계속 작성중..

개인적으로는 DeepSeek의 "Aha moment"가 떠오르는데 이 논문에서는 그걸 의도적으로 이끌어낸게 아닌가 싶습니다.

[논문 리뷰] Why Language Models Hallucinate

Kim_Jaehwan — Tue, 9 Sep 2025 01:17:26 +0900

OpenAI의 "Why Language Models Hallucinate" 할루시네이션에 대해 다룬 논문

1줄 요약

할루시네이션의 원인은 훈련·평가 절차가 ‘모른다’고 말하기보다

‘맞을지도 모르는 추측’을 보상하기 때문, 평가 방식을 바꿔라

저자들은 LLM이 단순히 언어 확률 모델이 아니라 평가 지표 점수를 올리는 방향으로 최적화된다고 강조한다. 평가가 ‘맞냐 틀리냐’만 보는 방식이면, 자연히 추측하는 모델이 유리해진다.

해법은 주류 평가 방식을 바꾸는 것

주 평가 방식을 조금만 수정해서, 불확실성을 적절히 표현했을 때는 보상하고 오히려 그것을 불이익으로 여기지 않게 만들 수 있다. 이렇게 하면 환각(hallucination) 억제를 가로막는 장벽을 제거할 수 있고, 더 나아가 풍부한 화용 능력(pragmatic competence)을 갖춘 정교한 언어 모델에 대한 향후 연구의 길을 열 수 있다.

2025.09.09 현재, 논문의 예제로 물어본 결과 chatgpt는 모른다고 잘 답한다!

하지만 당장 논문 같이 읽으면서도 할루시네이션이 나온다는 사실.. 이와 비슷한 원문조차 없다

생성 에러율은 2*IIV 오류율을 하한으로 갖는다.

중간에 해당 수식이 나오는데, 이걸 수학적으로 증명한 것이 논문의 핵심이다.

할루시네이션의 원인에 대해 분석한 논문은 많지만 수학적으로 증명한건 처음본다.

IIV는 Is-It-Valid (IIV) binary classification problem 을 말하는데,

아래 그림과 같이 이진 분류한 오류율 * 2 보다 생성모델의 오류율이 크다는 것이다.

2025.09.08. (월) Daily Trading

Kim_Jaehwan — Tue, 9 Sep 2025 00:27:31 +0900

4시간 봉 상승 후 accumulation 하며 횡보 중

15분봉 횡보중, 형재는 상승 추세, 200 이평에 reject 됨 여전히 횡보 예상함

초기 트레이딩 셋업

1분봉, 초기에 order block 및 0.618이 라인 기다렸으나 오지 않음

1분봉 나스닥 장 개장

1분봉

[첫번째 박스]

전고를 꼬리 남기면서 비비길래 유동성 스윕 기대하며 일반적인 손절자리에 limit short,

거래량이 나오지 않아 다음 이평 닿을때 빠르게 시장가로 long 전환 이후 짧게 짧게 먹음.

*바보같이 마지막에 봉 움직임보고 시장가로 숏쳤는데 유동성 스윕의 패턴도 아니었고 특히 거래량 생각하면 왜했나 싶음

이후 무지성으로 올라갔으면 너무 힘들었을듯.

*시작할때의 기대 때문에 감정적인 숏이었음. 다시는 안함

[두번째 박스]

완전히 돌파된 것으로 생각하여

이후 이전 돌파라인까지 온 후 상승 기대함.

숏 물타기 후 절반 덜어냄.

이후에는 5분봉 20 이평 닿을때 limit short 전량 익절 및

*비중 좀 넣고 limit long 으로 전환 아주 굿

5분봉, 20이평 닿는것 확인하면서 숏 전량 익절 및 롱 전환

[세번째 박스]

이후 고점에서 limit으로 조금씩 덜어냄 꼬리에서 잘 먹었음

15분봉 괴리가 좀 커서 횡보좀 더 하다가 차후에 15분 20이평 맞고 더 오를듯함

하지만 오늘은 여기까지

첫 기대에 잠식되어버렸지만,

빠르게 생각을 전환해 돌파 후 눌림에 포지션을 잘 수정했음. 굿

현장에서 얻은 교훈

Kim_Jaehwan — Tue, 20 May 2025 23:40:12 +0900

피처 엔지니어링

인하우스 패키지를 만들어 코드 재사용성을 높힌다
프로덕션에서 코드를 리팩토링하기는 매우 어렵다.
연구단계에서 알고리즘 개발 시 단위테스트를 도입하는 편이 낫다.

문제해결

이것이 왜 문제인지?
이 문제를 해결하면 어떤 효과가 있는지?
해당 문제를 "해결"하는건 어떤 것 인지?
최소한의 해법은 무엇인지?
해법을 빠르게 검증할 방법은 무엇인지?

해법을 찾은 후 이에 대해 계획을 세우고 작업일정을 만든다.

산출물

산출물을 충분히 검토하고 테스트 가능한지?
작업이 다른 팀의 작업에 의존하는지, 의존한다면 지연이 생기지 않도록 작업 일정은 어떤 식으로 잡을 수 있는지?
팀이 중간 마일스톤 단계에서 가치를 제공할 수 있는지?
불확실성이 큰 부분에서 리스크를 줄일 방법이 있는지?

소요시간

조금씩 늘어나는 범위
토론, 문서화, 사용자 리서치와 같은 비기술적 작업에 대한 과소평가
팀 멤버의 개인적 사정으로 인한 가용성 이슈
데이터 품질 문제
예상치 못한 문제로 인한 대안 제시
테스트 부족
테스트나 검증의 어려움

효과적vs효율성

아주 간단한 문제를 너무 복잡하게 풀지 말라.

도메인에 대해 좀 더 이해한다면 아주 복잡해 보이는 문제를 쉽게 풀 수도 있다.

최종지점

어떤 해법의 최종 지점은 평가 방법과 해법의 우선 순위이다

Keep It Simple, Stupid!

아주 간단한 코드로 시작하고, 필요할 때마다 개선하라
단, 그것이 가능하게 설계하라
모듈화되고 모듈간 API 소통이 가능한 작고 복잡하지 않은 도구를 사용해라

파이프라인의 온전성

파이프라인에 흐르는 데이터를 직접 눈으로 볼 수 있도록 해라

데이터를 스트림으로 만들어라

메모리 사용량을 일정하고 작게 만들어라
제너레이터는 아주 좋은 선택
사용할 데이터에 특성을 정확하게 알고 있는 것이 아니라면, 모든 것을 RAM에 넣는 알고리즘이나 도구는 피해라.

핫스팟만 최적화하라

로직과 북키핑은 파이썬만으로 아주 괜찮다

자주, 많이 쓰이는 핫스팟을 프로파일하고 그 부분만 컴파일하고 최적화해라

가장 중요한것

핵심 문제에 집중해라.

무엇이 핵심 문제인지 모른다면 그것을 찾는것에 집중해라

MCP python sdk doc 요약

Kim_Jaehwan — Tue, 20 May 2025 22:10:57 +0900

MCP python SDK

uv 써라

uv add "mcp[cli]"

uv run mcp

Quick Start

#import mcp.server

#Create an MCP server

#Add an addition tool

@mcp.tool()
def tool_function() -> return

#Add a dynamic resource

@mcp.resource("category://{foo}")
def tool_dynamic_function() -> return str
ex) return f"Hello, {foo}!

What is MCP?

expose data & functionality to LLM

like web API, but for LLM

GET resources / POST functionality tools

Core Concepts

Server

FastMCP : Core interface to the MCP

conection management,
protocol compliance
message routing

#import things

#Create server

#Dependencies

#define dataclass

class AppContext

#lifespan

@asynccontextmanager
def app_lifespan(server) -> AsyncIterator[AppContext]
init on startup
try: yield AppContext(foo=initialized_foo)
finally: cleanup on shutdown

# Pass lifespan to server

mcp = FastMCP("MyApp", lifespan=app_lifespan)

# Access type-safe lifespan context in tools

@mcp.tool()
def query_db(ctx: Context) -> str:
db = ctx.request_context.lifespan_context.db
return db.query()

Resources

GET endpoints, expose data to LLMs

#import FastMCP

#get resource

@mcp.resource("config://app")
def get_config() -> str:

#get dynamic resource

@mcp.resource("users://{user_id}/profile")
def get_dynamic_resources(user_id: str) -> str
return f"Profile data for user {user_id}"

Tools

POST endpoints, functionality and actions to LLM

#from mcp.server.fastmcp import FastMCP

#do action

@mcp.tool()
def tool_function(a, b) -> retrun
return a+b

#do async action

@mcp.tool()
async def fetch_tool(city: str) -> str:
async with http: response await client.get(f"https://api.com/{city})

Prompts

reuseable templates

#from mcp.server.fastmcp import FastMCP

#from mcp.server.fastmcp.prompts import base

#sample prompt

@mcp.prompt()
def review_code(code: str) -> str:
return f"Please review this code: \n\n{code}"

#sample prompt 2

@mcp.prompt()
def debug_error(error: str) -> list[base.Message]:
retrun [base.UserMessage("I'm seeing this error: "),
base.UserMessage(error),
base.AssistantMessage("I'll help debug that. What have you tried so far?")]

Images

#from mcp.server.fastmcp import FastMCP, Image

#image function

@mcp.tool()
def image_function(image_path: str) -> Image:
img = open(image_path)
return Image(data=img.tobytes(), format="png")

Context

Context object to access MCP functions

#from mcp.server.fastmcp import FastMCP, Context

#access others

@mcp.tool()
async def long_task(files: list[str], ctx: Context) -> str:
for i, file in enumerate(files):
ctx.info(f"Processing {file}")
await ctx.report_progress(i, len(files))
await ctx.read_resource(f"file://{file}")

Authentication

manage scpoes, OAuth

FastMCP("MyApp",

auth_server_provider
auth=AuthSettings
issuer_url
revocation_options
client_registration_options
required_scope
etc..
https://github.com/modelcontextprotocol/python-sdk/blob/main/src/mcp/server/auth/provider.py

[논문리뷰][SuperResolution] : To learn image super-resolution, use a GAN to learn how to do image degradation first

Kim_Jaehwan — Wed, 14 Apr 2021 08:09:43 +0900

To learn image super-resolution, use a GAN to learn how to do image degradation first

Adrian Bulat*, Jing Yang*, Georgios Tzimiropoulos

arxiv.org/pdf/1807.11458.pdf

저화질 이미지를 고화질로 바꾸는, Image Super resolution에 대한 내용의 ECCV 18년도 논문입니다.

GAN을 사용하는 Unsupervised (Weakly Supervised) 방식입니다.

1. Introduction

이 논문의 메인 아이디어는 아주 간단하지만 핵심적입니다.

보통 Super resolution의 학습에 필요한 데이터를 준비할 때,

우리는 HR(High Resolution)을 Bicubic Interpolation과 같은 인공적인 방식을 통해 LR(Low Resolution) 바꿉니다.

반면 실제 데이터는 그렇지 않죠.

물체의 움직임에 의한 Motion blur, 카메라 등의 초점에 의한 defocus, 그리고 그외에 다양한 이유에 의한 noise가 있는 경우가 아주 많습니다. 또 이미지가 오래되어 Corrupted(손상) 되는 경우도 있습니다.

Fig. 1 중 : Real-world LR

위와 같이 Real-World 데이터는 단순히 HR을 Interpolation을 통해 해상도를 줄임으로써 생겨나는 데이터가 아닙니다.

그런데,

Train time에는 인공적인 방식을 통해 생성된 LR으로 학습을 하고서

Test time에는 Real World 데이터로 테스트를 한다?

그렇다면 성능에 영향이 있을 테니,

Image degradation(HR to SR)을 GAN을 통해 학습시키자는 것이 메인 아이디어입니다.

2. Closely related work

해당 논문은 Image super-resolution과 Face super-resolution와 관련되어 있습니다.

이 논문에서 간단히 강조하는,

[8] Perceptual losses for real-time style transfer and super-resolution

은 Perceptual Loss 라는 기발한 방식의 Loss를 다룬 좋은 논문입니다.

이 외에 내용은 논문을 참고해주세요.

3. Method

특별한 설명 없이 그림만 봐도 이해가 될 정도로 논문에서 깔끔하게 모델 구조를 그려줬습니다.

Fig. 2 모델 구조

참고로 여기서 사용되는 LR Dataset과 HR dataset은 서로 관련이 없는 unpaired 데이터 입니다.

그래서 Unsupervised(Weakly supervised) 입니다.

모델에서 사용되는 핵심적인 내용은,

HR->LR을 학습하는 High-to-Low Generator + Discriminator Low

LR->HR을 학습하는 Low-to-High Generator + Discriminator High

2개 GAN을 합쳐 End-to-End 방식으로 학습합니다.

그리고

Fig. 2 중 일부, noise z

HR->LR을 학습할 때 이용되는 Noise인 z[64,1],

이건 HR Dataset에 Concatenate 해서 High-to-Low Generator의 input으로 사용합니다.

Noise에 따라 하나의 HR로 다양한 LR을 생성할 수 있습니다. Conditional GAN[34]과 유사한 방식이죠.

Fig. 3: 하나의 HR에 대해 다양한 LR이 생성됩니다.

Test time에는 오로지 Low-to-High Generator만 이용해서 LR->HR의 super resolution을 진행합니다.

Fig. 2 중 일부, Low-to-High Generator

3.5 Loss functions

GAN loss를 통해 High-to-Low와 Low-to-High간의 상호작용을 이룬다고 주장합니다.

High-to-Low에서 노이즈를 입히려고 하는동안

Low-to-High에서는 denoising 하는 것 처럼 말입니다.

일단 각각의 네트워크는

아래와 같이 Pixel loss와 Adversarial Loss의 합으로 이루어집니다.

이때 Pixel loss는 HR->LR 시에 High resolution 이미지에 Noise를 추가하는 동안 고유의 특징은 유지시키기 위해 사용했다고 합니다.

아래는 Pixel loss의 수식입니다.

HR이미지와 생성된 LR 이미지의 크기가 맞지 않으니, F라 정의된 함수를 통해 크기를 맞춥니다. 이는 average pooling layer을 사용했다고 합니다. 이 부분에 대해서 좀 더 자세히 설명되어있지 않아 아쉬웠습니다.

Adversarial Loss는 Spectral Normalization GAN [36]에서 사용한 방식을 택하여

Hinge loss를 사용했고 Discriminator의 weight를 Normalize 합니다.

다음과 같이 표현됩니다.

해당 논문과 함께 Spectral Normalization GAN 논문을 읽어보시면 좀 더 자세하게 알아볼 수 있겠습니다.

4.2 Super-resolution results

Table 1: 성능 결과

일반적으로 GAN의 평가에 사용되는 frechet inception distance인 FID와

최대 신호 대 잡음비인 PSNR의 결과입니다.

FID는 의도했던 대로 아주 낮게 나오는 것을 볼 수 있습니다.

그런데, PSNR은 오히려 High to Low 학습 없이 blinear 방식을 통해 학습한 방식들이 더 좋게 나옵니다. 그래도 Competitive results라고 주장하고 있습니다.

논문에 실린 결과는 다음과 같습니다.

Fig. 7 결과

HR dataset에 대략 10% 정도의 Failure case가 존재한다 합니다.