코딩의 윤슬

csv 파일을 가져와서 합쳐서 작업해서 판다스로 합쳐서 삭제하고 여기있는데 이이타 가져오고 해서  하는ㄴ건데 이걸 테이블에 저장해서 한다실제로 배민은 어떻게 정보를 수집을 했겠어 이런걸 아웃풋이있어보이게      리뷰도 해줘야한다    msa이렇게 쪼개서하는게 msa인것이다각각의 서버로 불리해서 추천하면 추천만 이렇게  pip install flask flask-restful mysql-connector-python설치안했으면 설치해줘야한다    자바때 야믈에서 했던것처럼 로컬과 서버를 나눠줘야한다    설정  mysql 연결하는 방법     일단 한번 테스트 해보겠다.ㄴ  데이터분석은 데이터프레임 판다스    리부데이터 타이틀데이터를 처리하고 해서 한번에 처리하는게 좋다다 합쳐서 가져오지 말고 원본으로..

LlamaIndex: RAG(Relevant Augmented Generation)용 라이브러리로, 대화형 AI에서 문서를 검색하고 활용하는 데 사용된다. LLM(대형 언어 모델)에서는 실무에서 많이 활용되며, 기본적으로 OpenAI의 ChatGPT와 ChatGPT Tokenizer를 사용한다.허깅페이스(Hugging Face)의 모델과 토크나이저도 연동할 수 있으며, mistral-7b와 all-MiniLM-L6-v2를 **Settings(설정)**을 통해 사용할 수 있다.그러나 OpenAI API를 사용할 경우, 별도의 모델 설정 없이 바로 활용 가능하다.어제 저장했던 LlamaIndex의 인덱스 데이터를 OpenAI API를 통해 활용해볼 것이다.   #PDF 턱스트 추출함수def extract_t..

https://www.kaggle.com/datasets/alexandredj/rock-paper-scissors-dataset Rock-Paper-Scissors-DatasetMy dataset contribution to Rock-Paper-Scissors CNN training algorithms.www.kaggle.com    다운받은 모델을 파일을 만들어 넣어준다     알아보기 쉽고 나중에 수정하기도 쉽게 파일을 나눠준뒤 각각의 파일을 임폴트 시켜준다  run_game은 Streamlit을 활용하여 "가위바위보 몬스터 배틀" 게임을 실행하는 프로그램이다. 티쳐블 머신이 알려준 아래의 코드를 응용하였다.  승리 기록 관리win_records.csv 파일을 사용해 승리 기록을 저장하며, 파일이 없..

리눅스 서버에서 파이썬을 사용할 수 있는 클라우드 서비스 중 하나로 Google Colab이 있다.Google Colab은 웹 기반의 Jupyter Notebook 환경을 제공하며, 추가적인 설정 없이도 리눅스 기반의 파이썬 실행이 가능하다.또한, GPU 및 TPU 지원을 통해 머신러닝 및 데이터 분석 작업을 효율적으로 수행할 수 있다.  https://colab.google/ colab.googleColab is a hosted Jupyter Notebook service that requires no setup to use and provides free access to computing resources, including GPUs and TPUs. Colab is especially well s..

드랍해서 사용했지만 이제는 평균을 내서 채우는 것을 할 것이다.#컬럼이름을 분리해서 저장    수치형 데이터 NaN을 각 컬럼의 평균값으로 채운다카테고리컬 데이터는 레이블인코딩 원핫 인코딩한다     sklearn 의 pipeline 라이브러릴 사용할 것이니까Nan을 채운 것은 fillna 함수대신 SimpleImputer 기본은 평균으로 채워라 이게 디폴트 값이다 이제 이곳에 섬을 넣는 식으로 하면된다   파이프라인을 쓸떄는 오디널 인코더를 쓴다   우리가 갖고 있는 컬럼을 한번에 처리 할 수 있다  뭐하고 뭐하고 뭐하고 하는 스텝 여러개니깐 리스트 튜플로 하고 이름을 먼저 지어준다 그리고 우리가 프로세싱을 실제로 해준(전처리해준)걸 넣어 준다 그리고 또 퓨플로 모델링 이름 넣어 주고 모델링한건 리그레..

CSV 파일을 업로드하면, 업로드한 데이터를 데이터프레임으로 변환하여 불러온다.이후 KMeans 클러스터링을 수행하기 위해 X로 사용할 컬럼을 선택할 수 있도록 설정한다.적절한 K값을 찾기 위해 WCSS(Within-Cluster Sum of Squares) 값을 계산하고, 엘보우 메소드 그래프를 제공한다.사용자가 K 값을 선택하면 해당 값으로 **데이터를 클러스터링(비슷한 그룹으로 분류)**하여 결과를 시각적으로 확인할 수 있도록 한다.이 모든 과정을 하나의 웹 앱 형태로 구현할 예정이다.               https://kmeans-app-jzor2as7qbtjzbntn6qmzq.streamlit.app/ appThis app was built in Streamlit! Check it out ..

에포크(epoch)는 전체 데이터를 한 번 학습하는 과정이며, 한 번의 에포크는 데이터셋 전체를 모델이 학습하는 것을 의미한다. 배치 크기(batch size)는 한 번에 학습하는 데이터 샘플의 개수를 의미하며, 크기가 클수록 학습 속도가 빨라질 수 있지만 메모리 사용량이 증가한다. 에포크 수가 너무 많으면 모델이 훈련 데이터에만 최적화되어 새로운 데이터를 잘 예측하지 못하는 **과적합(overfitting)**이 발생할 수 있다. 이는 마치 무당이 과거만 잘 맞히고 미래는 예측하지 못하는 상황과 비슷하다. 따라서 적절한 에포크 수를 설정하는 것이 중요하다.   둘다 많이 쓰기에 아무거나 해도 된다 그후 모델 다운로드를 누르면된다. 아래 코드를 참고해서 만들면 된다.     캐글은 없어서 그런거다 터미널..

스트림닛 깃허브 연동 을 먼저 해준다     https://car-price-app-9y7fuuyi5v6kd6xrhgcfwk.streamlit.app/설치가 안됬다는 뜻우리컴퓨터에서는 잘 돌아간다. 로컬에서는 잘돌아간다근데 배포했더니 위 처럼 나온다 이건 컴퓨터가 다르다는 거다아무것도 설치 안되고 파이썬 버전만 맞춰줬기때문이다 이 컴퓨터에는 파이썬만 설치되있지 안무것도 라이브러리가 설치가 안되있다 그럼어떻게 설치해줄까?파일을 만들어줘야한다requirements.text 라는 파일명은 국룰이다전세계적으로 개발자들은 알아듣는다 여기는 설치라이브러리 적는 파일이라는 것을  https://car-price-app-9y7fuuyi5v6kd6xrhgcfwk.streamlit.app/ appThis app was b..

기본세팅들어가서 클론 한후에 시작한다쥬피터 노트북을 이용한 인공지능 개발  쥬비터 노트북을 가져와 데이터 분석을 먼저 해준다  데이터를 가져오기 위해서는 데이터 폴더를 만들어 준다음 데이터를 넣어 준후에 불러오면된다.  보고 데이터를 분석한 후 가치가 있는지 없는지 판단한다    국가의 정보를 굳이 포함시키지 않아도 별 문제가 없을거같다데이터가 겹치는게 많다 왜냐 그래봤자 6개 국가 밖에 없기때문에 그렇기에 X에는 넣지 않을 것이다   둘다 찍어 봤을때 문자열이 없다그다음 할일은 피쳐스케일링 근데지금은 예측하는게 숫자가 나오니깐 리그레이션으로 할거다 그래서 굳이 피쳐스케일링을 할 필요가 없다 그래서 학습시킬걸 준비하겠다  먼저 리너리그레서를 만들어보겠다   이제 랜덤 보레스트를 만들겠다 리그레이션 1이 ..

스티림릿 분류 스프링 부트 프로젝트에서 Controller, Service, DTO, DAO, Repository 등을 역할별로 분리하는 이유는 유지보수를 빠르게 하기 위함이다. 기존 코드에서 신규 기능을 추가하거나 업그레이드할 때, 구조적으로 분리된 코드를 사용하면 더욱 쉽게 수정할 수 있다.이제 Streamlit에서도 이러한 방식으로 파일을 분리하여 개발하는 방법을 배워보겠다.        임폴트 시켜준다    마찬가지로 만든 파일을 임폴트 시켜주면 된다.  이제 유저가 원하는 해당 컬럼만 보여주는 걸로 작성하겠다  이제 선택했다이제는 정보를 가져와야한다그래서 저장을 일단한다    아무것도 선택 하지 않았을 경우 왼쪽 사진 처럼 나온다 그래서 이 코드도 작성해줘야한다컴퓨터 입장에서는 이 상황처리를 알..