코딩의 윤슬

일단 기본형태를 잡아준다  로컬로 다운로드 받아서 하는 방식    자바로는 없고 파이썬만 제공한다 프레임워크 api서버개발하는데 현재 플라스크를 만들고 있다. 지난번에는 api서버개발떄는 스트림닛를 했다.   api키에는 자신에 허깅페이스 라이트 토큰을 넣어준다  작동이 잘되는걸 확인 할 수 있다.

슬랙(Slack)이란? 슬랙(Slack)이란 무엇인가?슬랙(Slack)은 팀 협업 및 커뮤니케이션을 위한 클라우드 기반 메시징 플랫폼이다. 2013년에 출시되었으며, 현재는 세계적으로 많은 기업과 조직에서 팀 간 소통과 협업 도구로 사용되고 있다. 슬랙이라는 이름은 "Searchable Log of All Conversation and Knowledge"의 약자로, 대화와 지식을 모두 검색할 수 있는 기능을 제공한다는 의미를 담고 있다. 슬랙은 단순한 메신저 이상의 기능을 제공한다. 채팅을 중심으로 파일 공유, 음성 및 화상 통화, 다양한 외부 애플리케이션과의 연동 기능을 제공하여 팀원 간의 원활한 협업을 돕는다. 또한 슬랙은 API를 제공하여 개발자가 자체적인 봇이나 자동화 기능을 구현할 수 있는 확장..

1.개인LLM 로컬 기본 llm이용 llm 을 파인튜닝 llm 클라우드의 지피유 서버에서 이용-기본 llm 이용 : 서비스 제공업체가 제공하는 서버 에 api로 이용 ,(허깅페이스 파이어월크 에이아이)-파인튜닝llm 이용 서비스 제공업체의 서버에 배포해서 API로 사용 2. 회사회사의 서버에 모델을 배포해서 API 서버 개발해서 자신의 API로 제공(이걸 보통 많이씀)서비스 제공업체가 제공하는 서버에 배포해서API로 사용. api 호출 api방식 으로 하려면 번개표시가있으면 제공한다는 뜻이다.   이제 개인이하는 방법을 해보겠다. 일단 허깅페이스로 가겠다https://huggingface.co/ Hugging Face – The AI community building the future.The Home ..

허깅페이스(Hugging Face)란?  허깅페이스(Hugging Face)는 자연어 처리(NLP) 및 머신러닝(Machine Learning) 분야에서 널리 사용되는 오픈 소스 플랫폼이다. 주로 'Transformers' 라이브러리로 유명하며, 이를 통해 GPT-3, BERT, T5 등 다양한 사전 학습된(pre-trained) AI 모델을 손쉽게 활용할 수 있다. 허깅페이스는 AI 모델 허브(Model Hub)를 제공하여, 개발자들이 사전 학습된 모델을 쉽게 검색, 다운로드, 배포할 수 있도록 지원한다. 이 플랫폼은 자연어 처리뿐만 아니라, 컴퓨터 비전, 음성 인식 등 다양한 분야에서도 활용할 수 있으며, 최근에는 생성형 AI(Generative AI) 모델까지 폭넓게 제공하고 있다. 또한, 허깅페이..

라마 AI 란? Llama(Large Language Model Meta AI) Llama(Large Language Model Meta AI)는 Meta(구 Facebook)에서 개발한 특정한 대규모 언어 모델(LLM, Large Language Model)을 의미한다.LLM은 방대한 양의 텍스트 데이터를 학습해 사람처럼 자연스럽게 글을 쓰거나 대화할 수 있는 AI 모델을 말하며, Llama는 이러한 LLM의 한 종류에 해당한다.   Llama는 주로 자연어 처리(NLP, Natural Language Processing) 작업에 사용되며, 다음과 같은 다양한 작업을 수행할 수 있다. 대화형 AI: 챗봇이나 가상 비서 개발에 활용된다.텍스트 생성: 글쓰기, 스토리 생성, 콘텐츠 제작에 사용된다.번역 및..

! pip install datasets   트레인 데이터에서는 텍스트 부분을 패딩하여 토큰을 생성하고, 한 줄씩 처리하여 변환한다. 이를 map() 함수를 통해 수행한다. train_dataset.map(tokenize_function, batched=True)를 사용하면 기존 컬럼에 토큰화된 데이터가 추가된다. 만약 필요 없는 원본 컬럼을 삭제하려면 remove_columns 옵션을 활용하면 된다. 이를 통해 데이터 크기를 줄이고, 모델 학습에 필요한 정보만 유지할 수 있다.  데이터셋을 train과 test로 분할한 후, map() 함수를 사용하여 tokenize_function을 적용한다. 이 과정에서 batched=True를 설정하여 배치 단위로 처리하며, 필요 없는 text 컬럼은 remove..

인공지능가져와 학습시키기   모델 가져오기 먼저한다음 데이타를 가져오면된다 데이터를 가져오겠다    학습시킬테이터를 허깅페이스의 datasets에서 imbd테이터 가져온다 일단 가져 오려면 설치가 필요하다  ! pip install datasets    이제 토큰라이즈를 해야한다 근데 이렇게 많은데 어떻게 토큰라이지을 할까? 함수를 만들어 사용하면 된다        api를 인증해달라는 거다    로그인 해주면 이렇게 인증키를 준다 이걸 입력하면된다.    학습시키고 쪽지시험을 본다torch를 이용해 GPU사용가능 여부확인한 후 안되면 cpu로 돌아가게 해준다   새로운 문장사용하여 예측해보겠다 토큰 라이징을 해준뒤에 예측 수행을 하고 Softmax를 적용해 확률계산을 한 뒤 torch.agramax로 ..

CPU -> GPU 변경  cpu로 하면 느리기에 gpu로 설정을 바꿔줘다   사진 생성 AI 불러오기       Stable Diffusion이라는 AI 모델을 사용해서 텍스트를 그림으로 변환하는 방법을 보여주고 있다.모델 가져오기diffusers라는 라이브러리를 사용해서 Stable Diffusion 모델을 가져온다.torch라는 도구도 함께 사용해서 컴퓨터가 이 모델을 실행할 수 있도록 한다.모델 다운로드DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")를 실행하면 Stable Diffusion 모델이 다운로드된다.컴퓨터가 GPU를 사용할 수 있도록 설정pipe.to("cuda") if torch.cuda.is_available(..

Object Detection 이미지 피케이션 티쳐블머신과 비슷한거 오늘은 오브젝트 디케이션 파이프라인의 장점는 이미학습된 좋은 모델을 가져와서 예측에 바로 사용할 수 있다, 어떤 인공지능이 이미 만들어져있으면 단 두줄만 쓰면 인공지능을 활용할 수 있다. from transformers import pipelinemodel=pipeline('object-detection')   좌표 (x, y)를 사용해 물체의 위치를 표시한다.객체 탐지는 학습된 모델을 이용해 이미지에서 탐지된 결과를 도출하는 과정이다.그렇다면, 이를 사람이 이해하기 쉬운 코드로 작성해 보겠다.    for문을 사용해 객체 탐지 결과를 박스로 표시한 후, 박스를 생성하고 추가해준다.이 코드는 객체 탐지 결과를 이미지 위에 시각적으로 나타..

https://huggingface.co/ Hugging Face – The AI community building the future.The Home of Machine Learning Create, discover and collaborate on ML better. We provide paid Compute and Enterprise solutions. We are building the foundation of ML tooling with the community.huggingface.co  깡통 인공지능을 활용하는 경우, 티쳐블 머신(Teachable Machine)은 이미 수천억 장의 데이터를 학습한 모델을 기반으로 특정한 분류 작업을 수행하도록 튜닝하는 방식이다. 즉, 미리 학습된 모델이 특..