뉴튼 랩슨 알고리즘의 단점.
Hessian Matrix 의 메모리 확보 문제.
역행렬을 구하는게 에러를 많이 동반할 뿐 아니라 시간도 많이 소요됨.
BFGS의 목적
시간을 줄이고, 역행렬을 구하는 수고를 덜자
BFGS 장점
1. Hessian Matrix의 초기값을 Identity Matrix로 설정하여 역행렬늘 구하는 시간 단축
2. 그 이후에는 그레디언트 계산만 하면 됨
Sherman-Morrison Formula
행렬의 곱과 행렬의 변형으로 바뀜
교제상 식 아래 yk transpose