1. 최적화란

1.1 표준형 

1.2 x가 나타내는 것

• 행동: 포트폴리오, 항공기 제어면, 스케줄·할당, 자원할당(전력·주파수, AI 토큰 스케줄). 목적은 비용, 목표와의 편차, 위험, 연료.
• 모델 파라미터: 목적 = 예측오차(loss) + 복잡도 정규화. 제약으로 넣을 수도 있다.
• 최악 경우 분석: 파라미터를 상대가 고른다고 보고 -f_0 를 최소화. 최악값이 견딜 만하면 안전. 통신에서 오류율 상한 보장이 예.
• 최적화 기반 모델: 개인의 효용 최대화, 생물의 번식 성공, 세포 성장, 회로 전력 최소. 거친 모델이지만 잘 맞는 경우가 많다.
• ⭐ 최적화 모델은 현장에 그대로 쓰려고 만드는 게 아니라 직관과 경향을 얻으려고 만든다.

1.3 사용 방식 

• x를 어떻게 고를지 쓰지 않는다. 원하는 것을 문제로 쓰고, 알고리즘이 x를 고르게 한다.

1.4 풀 수 있는가 

• 일반 문제는 대부분 정확히 못 푼다 → 근사. 예외가 convex optimization (LP, QP 포함).
• Local 방법: 큰 문제도 가능(신경망 학습), 초기점·튜닝 필요, 얼마나 차선인지 알 수 없음.
• Global 방법: 진짜 최적, 최악 복잡도는 문제 크기에 지수적.

1.5 Convex optimization

•  

1.6 솔버, CVXPY, 역사

• Interior-point: 수만 변수까지. First-order: 더 큰 문제. 초기점·튜닝이 필요 없다.
• 역행렬 계산은 O(n^3) 이라 큰 LP에서는 피한다.
• CVXPY: 변수 정의 → 목적·제약 → Problem(...).solve().
• 솔버는 갖다 쓰면 된다.
• 역사: 이론 1900–1970 → simplex 1947 → interior-point 1980–90년대 → 2000년대 대규모 방법. 응용은 OR → 공학(제어·신호·통신·회로) → ML·통계·금융.