Hugging Face 긍정문/부정문 모델 학습 및 배포

인공지능가져와 학습시키기

 

 

 

모델 가져오기 먼저한다음 데이타를 가져오면된다

 

데이터를 가져오겠다

 

 

 

 

학습시킬테이터를 허깅페이스의 datasets에서 imbd테이터 가져온다

 

일단 가져 오려면 설치가 필요하다

 

 

! pip install datasets

 

 

 

 

이제 토큰라이즈를 해야한다

 

근데 이렇게 많은데 어떻게 토큰라이지을 할까? 함수를 만들어 사용하면 된다

 

 

 

 

 

 

 

 

api를 인증해달라는 거다

 

 

 

 

로그인 해주면 이렇게 인증키를 준다

 

이걸 입력하면된다.

 

 

 

 

학습시키고 쪽지시험을 본다

torch를 이용해 GPU사용가능 여부확인한 후 안되면 cpu로 돌아가게 해준다

 

 

 

새로운 문장사용하여 예측해보겠다

 

토큰 라이징을 해준뒤에 예측 수행을 하고 Softmax를 적용해 확률계산을 한 뒤 torch.agramax로 제일 큰값인 1을 출력할 수 있게 만들고 반복문을 통해 이를 예측할 수 있게 보여준 것이다

 

 

---

 

 

허깅페이스 배포

 

 

 

할 수 도 있지만

 코드로 작성해서 올리는게 편하다 

 

그래서 업로드 할 수 있는 키줄테니깐 올려 하는 인증키가 필요한다

 

모델을 허깅페이스의 모데 ㄹ레파지토리에 업로드 할 것이다. 그러면 언제든지 다운받아서 쓰거나 오픈해서 보여 줄 수도 있다.

 

 

코랩이 우리의 허킹페이스에 업로드 할 수 있도록 인증이 토큰이 필요하니

허킹페이스에서 토큰을 생성하겠다

 

 

 

 

여기에 넣어 주면된다

 

 

 

 

! git config --global credential.helper store

 

에러가 나면 위 코드를 인스톨한 뒤 다시 하면 에러 없이 잘 작동할 수 있다.

 

 

 

위 와 같은 방법을 통해 파이썬 코드로 허깅페이스에 로그인 하는 방법도 있다

 

 

 

현재와 같이 메모리에 변수로 모델이 존재하는 경우 위 처럼 해주면 된다

 

모델과 토큰라이져와 컨피그를 푸쉬해서 업로드 해준다

 

아래와 같은 방법을 쓸 수 도 있다

 

#레파지토리를 파이썬 코드로 생성하는 방법

api.upload_folder(
    repo_id=my_model_name,
    repo_type="model",
    ignore_patterns=[".gitattributes", ".git", ".gitignore", "README.md"]
)

 

허깅페이스에 배포 완료!