전체 글 (587) 썸네일형 리스트형 『바가바드 기타』 소개 1편: 『바가바드 기타』 소개2편: 『바가바드 기타』에서 배운 것힌두교의 3대 경전으로는 『베다』, 『우파니샤드』, 『바가바드 기타』가 있다. 그중에서도 『바가바드 기타』 (거룩한 자의 노래)는 쓸데없이 길고 심오한 내용만 다루는 다른 경전들과 달리 짧고 이해하기 쉬운 대화 형식을 취하고 있으며 다양한 실천적, 실용적 조언들을 제공한다. 또한 여자와 천민의 해탈 가능성을 오직 기타에서만 인정하고 있기 때문에 힌두교 세계에서 가장 널리 읽히는 경전이다. 기타는 간디에게 삶의 지침서였으며 그는 어려움에 직면할 때마다 모르는 단어를 사전에서 찾아보듯이 해답을 기타에서 찾아보았다고 한다. 한 때 힌두교의 철학에 매료되었던 오펜하이머는 원자폭탄 실험에 성공한 후 "나는 이제 죽음이요, 세상의 파괴자가 되었도.. MBTI: N과 S의 차이 MBTI에서 유독 N과 S의 차이를 잘 이해하지 못하는 사람들이 많다. "아무 생각도 하지 마"라고 했을 때, S는 정말로 아무 생각 안 하고 N은 "어떻게 아무 생각을 안 할 수가 있지?"라는 생각을 한다. 어떻게 아무 생각을 안 할 수가 있을까?S는 감각에 예민하고, 의존한다. S에게 아무 생각을 하지 말라고 했을 때 그 사람은 생각이 아니라 감각에 집중한다. 바람이나 옷의 감촉을 느끼거나, 눈앞의 물체의 특정 부분을 응시하면서 생각을 지우는 것이다. N도 이 방법을 알고 노력하면 아무 생각을 안 할 수 있다. MBTI는 뇌세포를 분석하거나 한 것이 아니라 단지 설문조사의 결과이기 때문에 의식적으로 노력한다면 내 반대성향인 것처럼 행동할 수 있다. 나는 INTP인데 이는 내가 나서지 않고, 감각보다.. 어느 요기의 자서전 스티브 잡스의 전기를 읽었다. 그리고 독후감을 쓰려고 했다. 그는 대학 시절부터 선(禪) 사상에 심취했다. 구루('스승'이라는 뜻이다. 이 책에서는 '영적 수행의 스승'을 의미한다.)를 만나기 위해 인도 여행을 떠나기도 했으며 평생 동안 꾸준히 명상을 했다. 그는 명상에 대해 이렇게 말했다. 가만히 앉아서 내면을 들여다보면 우리는 마음이 불안하고 산란하다는 것을 알게 됩니다. 그것을 잠재우려 애쓰면 더욱더 산란해질 뿐이죠. 하지만 시간이 흐르면 마음속 불안의 파도는 점차 잦아들고, 그러면 보다 미묘한 무언가를 감지할 수 있는 여백이 생겨납니다. 바로 이때 우리의 직관이 깨어나기 시작하고 세상을 좀 더 명료하게 바라보며 현재에 보다 충실하게 됩니다. 마음에 평온이 찾아오고 현재의 순간이 한없이 확장되는 .. LivePortrait: Efficient Portrait Animation with Stitching and Retargeting Control Abstract실용적인 사용을 위해 더 나은 일반화, 제어 가능성 및 효율성에 초점을 맞춘 portrait animation framework인 LivePortrait 제안 [Project Page][Github][arXiv](2024/07/03 version v1) Methodology Preliminary of Face Vid2vid Face-vid2vid 논문 리뷰 Appearance feature extractor F,canonical implicit keypoint detector L,head pose estimation network H,expression deformation estimation network ∆,warping field estimator W, generator G로 구.. 선형 성장의 함정 좋은 글을 읽는 것은 정말 좋은 일이다. 최근에 읽은 정말 좋은 글들이 있는 블로그들:Sam AltmanNear's Blog홍승주 님의 브런치스토리 Near의 블로그에는 물론 좋은 글들이 많이 있지만 특히 Links 탭에는 정신이 아득해질 정도로 더 많은 블로거들의 글들이 있다. 심심할 때 하나씩 읽어보는 거 추천. 거를 타선이 없다. 홍승주 님의 브런치스토리는 오늘 발견했는데 '생각'에 대해서 주로 포스팅하시고 서울대 의대 출신이라고 한다. 그래서 그런가 글을 굉장히 잘 쓰시고 도움이 되는 글이 많다. 특히 '생각의 자동성', '명상'에 대한 내용들이 마음에 들었다. 앞으로는 논문 리뷰는 많이 하지 않을 예정이다. 샘 알트만의 글을 읽으면서 내가 "선형 성장의 함정"에 빠졌다는 사실을 깨달았다. 매일매.. Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs Abstract최적화 단위를 개별 답변에서 개별 추론 단계로 분해하여 긴 수학적 추론 능력 향상 [Github][arXiv](2024/06/26 version v1) Step-DPOStep-Wise FormulationDPO 설명 Our Solution DPO는 수학 문제와 같은 긴 추론 작업에서는 미미한 개선만 제공하는데, 이는 첫 번째 오류가 긴 추론 과정의 중간에 나타나고 이를 거부하면 초반의 올바른 추론 단계도 무시되어 학습에 부정적인 영향을 끼치기 때문이다. Step-DPO는 답변 y를 일련의 추론 단계로 분해하여 s를 기준으로 손실을 계산한다.In-Distribution Data Construction 데이터셋 D0 = {(x, ŷ)}에 대해 CoT 추론( Let’s think ste.. OMG-LLaVA: Bridging Image-level, Object-level, Pixel-level Reasoning and Understanding Abstract범용 분할 모델을 visual encoder로 사용하여 pixel-level 능력을 향상하고 다양한 유형의 입력을 처리할 수 있는 단일 모델인 OMG-LLaVA 제안 [Project Page][Github][arXiv](2024/06/27 version v1) Methodology Task Unification 3가지 유형의 토큰이 있다.텍스트 토큰 Tt, 픽셀 중심 시각 토큰 Tpv, 객체 중심 시각 토큰 Tov. OMG-LLaVA에서 LLM이 입출력 가능한 토큰 유형은 다음과 같다. OMG-LLaVA Framework Image Encoder ConvNeXt-L 기반 CLIP 모델 사용. OMG Decoder학습 가능한 쿼리 세트가 입력에 포함되며 MCA, SA로 이루어져 있다.. 약속의 땅 (버락 오바마 회고록) 이 책은 사실 구매한 지 거의 3년이 지났다. 친구를 기다리며 서점을 둘러보다가 베스트셀러 코너에 있던 이 책을 발견했다. 엄청 두꺼운 책을 한 번 읽어보고 싶은 마음, 미국 최초의 흑인 대통령의 삶이 궁금했던 마음 (그 순간에는), 짧고 굵은 제목과 표지의 오바마 사진 등 여러 요인에 이끌려서 사버렸지만 너무 두꺼워서 읽을 엄두가 안 나기도 했고 흥미가 떨어지기도 했고 그래서 오랫동안 내 책장에만 꽂혀 있었다. 하지만 비슷한 두께를 자랑하는 괴벨스 전기를 읽고 난 후, 발동 걸린 김에 다 읽자는 마음으로 집어 들었다. 책 페이지 수는 내용만 해도 890p이다. 괴벨스 전기는 1000p가 넘었지만 부록 부분이 길어 실제 페이지는 이 책 보다 적었다. 이 책은 부록이 없는데, 오바마 본인이 부록이나 주.. Refusal in Language Models Is Mediated by a Single Direction (Daredevil-8B) Abstract유해한 명령을 거부하는 단일 방향을 찾아 제거 [논문 설명][Colab + 코드 분석][HuggingFace Model Weight][arXiv](2024/06/17 version v1) Methodology 연구진의 가설은 모델의 각각의 거부 반응에 공통적인 refusal feature가 있고, 이를 제거하면 거부 기능이 중단된다는 것이다. Extracting a refusal direction 유해 프롬프트에 대한 평균 활성화 μ, 무해 프롬프트에 대한 평균 활성화 ν를 구하고 차이를 구한다. 벡터 r은 토큰 위치 i와 레이어 l에 대해 I × L개 생성되며r을 제거했을 때 명령을 거부하지 않는지무해 프롬프트에 대해 r을 추가하면 명령을 거부하는지r이 모델 동작에 얼마나 영향을 미치.. Depth Anything V2 AbstractDepth Anything V1의 업그레이드 버전 [Project Page][Github][arXiv](2024/06/13 version v1) Revisiting the Labeled Data Design of Depth Anything V1 Real labeled depth map의 단점:여러 요인으로 인해 label이 부정확하다.세부사항이 간과되는 경우가 많다. 그에 비해 합성 이미지는 detail과 label이 모두 정확하다. Challenges in Using Synthetic Data 그럼에도 불구하고 여전히 MDE(Monocular depth estimation)에서 real depth map이 활용되고 있는 이유:합성 이미지와 실제 이미지 사이의 차이: 합성 이미지는.. Be like a Goldfish, Don't Memorize! Mitigating Memorization in Generative LLMs (Goldfish Loss) Abstract훈련 목표의 간단한 수정을 통해 기억 능력을 감소시켜 정보 누출 위험을 피하는 Goldfish Loss 제안 [Github][arXiv](2024/06/14 version v1) Goldfish Loss: Learning Without Memorizing 일반적인 causal language modeling: Goldfish loss는 goldfish mask G ∈ {0, 1}를 통해 G = 0일 때 토큰의 손실을 무시하는 것이다. 이는 모델이 테스트 시 훈련 샘플을 '재현'하려는 것을 막음으로써 정보 누출을 완화할 수 있다.마스킹 방법으로는 k번째 토큰을 무시하거나 1/k 확률로 무시하는 방법들이 있다. Robust Handling of Duplicate Passages with H.. Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling AbstractMamba와 Sliding Window를 계층적으로 결합한 hybrid architecture인 Samba를 제안하고 실험 [Github][arXiv](2024/06/11 version v1) Methodology MambaSliding Window Attention Experiments and Results Language Modeling on Textbook Quality Data Perplexity 처리 속도 Long-Context Understanding 이전 1 ··· 4 5 6 7 8 9 10 ··· 49 다음
