코딩의 윤슬

일단 기본형태를 잡아준다  로컬로 다운로드 받아서 하는 방식    자바로는 없고 파이썬만 제공한다 프레임워크 api서버개발하는데 현재 플라스크를 만들고 있다. 지난번에는 api서버개발떄는 스트림닛를 했다.   api키에는 자신에 허깅페이스 라이트 토큰을 넣어준다  작동이 잘되는걸 확인 할 수 있다.

1.개인LLM 로컬 기본 llm이용 llm 을 파인튜닝 llm 클라우드의 지피유 서버에서 이용-기본 llm 이용 : 서비스 제공업체가 제공하는 서버 에 api로 이용 ,(허깅페이스 파이어월크 에이아이)-파인튜닝llm 이용 서비스 제공업체의 서버에 배포해서 API로 사용 2. 회사회사의 서버에 모델을 배포해서 API 서버 개발해서 자신의 API로 제공(이걸 보통 많이씀)서비스 제공업체가 제공하는 서버에 배포해서API로 사용. api 호출 api방식 으로 하려면 번개표시가있으면 제공한다는 뜻이다.   이제 개인이하는 방법을 해보겠다. 일단 허깅페이스로 가겠다https://huggingface.co/ Hugging Face – The AI community building the future.The Home ..

! pip install datasets   트레인 데이터에서는 텍스트 부분을 패딩하여 토큰을 생성하고, 한 줄씩 처리하여 변환한다. 이를 map() 함수를 통해 수행한다. train_dataset.map(tokenize_function, batched=True)를 사용하면 기존 컬럼에 토큰화된 데이터가 추가된다. 만약 필요 없는 원본 컬럼을 삭제하려면 remove_columns 옵션을 활용하면 된다. 이를 통해 데이터 크기를 줄이고, 모델 학습에 필요한 정보만 유지할 수 있다.  데이터셋을 train과 test로 분할한 후, map() 함수를 사용하여 tokenize_function을 적용한다. 이 과정에서 batched=True를 설정하여 배치 단위로 처리하며, 필요 없는 text 컬럼은 remove..

인공지능가져와 학습시키기   모델 가져오기 먼저한다음 데이타를 가져오면된다 데이터를 가져오겠다    학습시킬테이터를 허깅페이스의 datasets에서 imbd테이터 가져온다 일단 가져 오려면 설치가 필요하다  ! pip install datasets    이제 토큰라이즈를 해야한다 근데 이렇게 많은데 어떻게 토큰라이지을 할까? 함수를 만들어 사용하면 된다        api를 인증해달라는 거다    로그인 해주면 이렇게 인증키를 준다 이걸 입력하면된다.    학습시키고 쪽지시험을 본다torch를 이용해 GPU사용가능 여부확인한 후 안되면 cpu로 돌아가게 해준다   새로운 문장사용하여 예측해보겠다 토큰 라이징을 해준뒤에 예측 수행을 하고 Softmax를 적용해 확률계산을 한 뒤 torch.agramax로 ..

CPU -> GPU 변경  cpu로 하면 느리기에 gpu로 설정을 바꿔줘다   사진 생성 AI 불러오기       Stable Diffusion이라는 AI 모델을 사용해서 텍스트를 그림으로 변환하는 방법을 보여주고 있다.모델 가져오기diffusers라는 라이브러리를 사용해서 Stable Diffusion 모델을 가져온다.torch라는 도구도 함께 사용해서 컴퓨터가 이 모델을 실행할 수 있도록 한다.모델 다운로드DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")를 실행하면 Stable Diffusion 모델이 다운로드된다.컴퓨터가 GPU를 사용할 수 있도록 설정pipe.to("cuda") if torch.cuda.is_available(..

Object Detection 이미지 피케이션 티쳐블머신과 비슷한거 오늘은 오브젝트 디케이션 파이프라인의 장점는 이미학습된 좋은 모델을 가져와서 예측에 바로 사용할 수 있다, 어떤 인공지능이 이미 만들어져있으면 단 두줄만 쓰면 인공지능을 활용할 수 있다. from transformers import pipelinemodel=pipeline('object-detection')   좌표 (x, y)를 사용해 물체의 위치를 표시한다.객체 탐지는 학습된 모델을 이용해 이미지에서 탐지된 결과를 도출하는 과정이다.그렇다면, 이를 사람이 이해하기 쉬운 코드로 작성해 보겠다.    for문을 사용해 객체 탐지 결과를 박스로 표시한 후, 박스를 생성하고 추가해준다.이 코드는 객체 탐지 결과를 이미지 위에 시각적으로 나타..

User-Based Collaborative Filtering  User-Based Collaborative Filtering은 사용자의 과거 평가나 행동을 기반으로 유사한 취향을 가진 다른 사용자를 찾아 추천하는 방식이다. 특정 사용자의 취향과 비슷한 사용자 그룹을 형성한 후,해당 그룹이 높게 평가한 아이템을 추천하는 방식으로 동작한다.   corr은 컬럼과 컬럼 간의 관계를 나타낸다. 영화별 상관계수를 구하기 위해서는 피벗 테이블을 생성해야 한다.이때, 영화 이름을 컬럼으로, 유저 아이디를 인덱스로, 별점 평균을 값으로 설정한다.     타이타닉 영화에 대해 유저가 준 점수를 확인한 후, 타이타닉 영화와 관계가 높은 영화를 찾아보겠다.  어떻게 찾을까? 상관계수를 이용하면 된다. 위 사진처럼 상관계수..