본문 바로가기

전체 글31

[Error] RuntimeError: Failed to import transformers.integrations.bitsandbytes because of the following error (look up to see its traceback): CUDA Setup failed despite GPU being available. Please run the following command to get more information: https://github.com/TimDettmers/bitsandbytes/issues/175 CUDA Setup failed despite GPU being available. Inspect the CUDA SETUP outputs above to fix your environment! · Issue #175 · Ti C:\ProgramData\Anaconda3\envs\novelai\lib\site-packages\bitsandbytes\cuda_setup\main.py:136: UserWarning: WARNING: The following directories listed in your path were found to be non-existent: {Wind... github.com *** .. 2024. 4. 17.
SPARQL 사용법 참고 블로그 https://joyhong.tistory.com/65 H_13. SPARQL 사용하기 몇개월 전에 특정 사이트에 추가하기 위한 필요에 의해 작성하였던 SPARQL 사용설명을 공개합니다. SPARQL(SPARQL Protocol and RDF Query Language)은 W3C의 표준으로서 RDF 쿼리 언어입니다. 데이터베이스에서 joyhong.tistory.com 2023. 8. 7.
DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction (2023) DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction. arXiv:2304.11015v2 [cs.CL] 27 Apr 2023 [ Abstract ] 우리는 복잡한 text-to-SQL 작업을 더 작은 하위 작업으로 분해하는 문제와 이러한 분해가 추론 프로세스에서 LLM(대형 언어 모델)의 성능을 크게 향상시킬 수 있는 방법을 연구합니다. 현재 Spider와 같은 까다로운 text-to-SQL 데이터 세트에서 fine-tuning 모델과 LLM을 사용하는 prompting 접근 방식 사이에는 상당한 성능 차이가 있습니다. 우리는 SQL 쿼리 생성을 하위 문제로 나눌 수 있고 이러한 하위 문제의 솔루션을 LLM에 공급하여 성능.. 2023. 7. 27.
[최신 데이터 인프라 이해하기] #1 - 기본 개념과 단어 설명 [최신 데이터 인프라 이해하기] #1 - 기본 개념과 단어 설명(데이터 인프라의 목적, 데이터 웨어하우스, ETL과 ELT, 데이터 엔지니어 vs 애널리스트 vs 사이언티스트) * 데이터 인프라의 목적 1. 비즈니스 리더들의 의사결정을 도와주기 Analytic Systems : Make data-driven decisions 2. 서비스/제품을 데이터의 도움을 받아 향상시키기 Operational Systems : Build data-powered products * 데이터 인프라 기초 1. Production Systems : 데이터가 만들어지는 것들 (ex) ERP(NETSUITE), CRM(salesforce), Database(MySQL, PostgreSQL, Oracle) >> 시스템별로 분석 .. 2022. 1. 28.
데이터 엔지니어 로드맵을 알아보자 _ Velog _ @dlawlrb 이전에 올렸던 데이터 엔지니어 로드맵 관련한 Github 정리글을 더욱 쉽게 풀어서 설명해주는 Velog 글을 발견했다 '-' 언제든 읽어볼 수 있도록! 방향성을 확고히 할 수 있도록! 이렇게 박ㅡ제 해보려한다~!~!~! https://velog.io/@dlawlrb/%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4-%EB%A1%9C%EB%93%9C%EB%A7%B5%EC%9D%84-%EC%95%8C%EC%95%84%EB%B3%B4%EC%9E%90 데이터 엔지니어 로드맵을 알아보자! 지난 포스팅에서 데이터 엔지니어란 무엇이며, 어떤 역량이 필요한지 알아보았다.이번에는 데이터 엔지니어의 로드맵을 알아보려고 한다.즉, 완성형 데이터 엔지니어가 .. 2021. 11. 2.
데이터 엔지니어 로드맵 / 공부법 / 방향성 / 기술스택 Data Engineer _ ver.2021 CS 기초 Computer Science fundamentals 기본 터미널 사용 Basic terminal usage [일반 권장사항] 자료구조 & 알고리즘 [일반 권장사항] API [일반 권장사항] REST [일반 권장사항] 정형 데이터와 비정형 데이터 [일반 권장사항] 직렬화 Serialisation Linux [일반 권장 사항] CLI Vim Shell scripting 셸 스크립팅 Cronjobs 크론잡 컴퓨터는 어떻게 작동합니까? [일반 권장사항] 인터넷은 어떻게 작동합니까? [일반 권장사항] Git - 버전 제어 Version control [일반 권장사항] 수학 & 통계 기초 [일반 권장사항] *참고: Git은 소스 코드의 변경사항을 추적하고 프.. 2021. 10. 19.
07. 네트워크 리소스를 제어하는 방법 7.1 네트워크 리소스의 제어를 위한 기본 API 7.1.1 클라우드 네트워크의 특징과 기본 사상 클라우드 환경이라고 하더라도 네트워크의 기본 >> TCP/IP 네트워크의 기능 * L2 네트워크(데이터링크 계층) : 같은 네트워크에 속한 장비끼리 연결 * L3 네트워크(네트워크 계층) : 서로 다른 L2 네트워크끼리 연결 네트워크에서 중요한 포인트는 IP 주소를 얼마나 잘 다루느냐인데 클라우드 환경의 네트워크에는 IP 주소 관리 기능이 기본적으로 포함되어 있음 오픈스택이나 AWS와 같은 클라우드 환경의 네트워크에는 IP 주소 관리를 시스템이 자동으로 처리하게 하고, IP 주소 할당은 DHCP를 통해 받아가도록 만들어져 있음 7.1.2 네트워크 리소스의 전체 그림 네트워크의 기본 기능들 : L2 네트워크 .. 2021. 9. 9.
08. 오케스트레이션 [오케스트레이션?] >> 컴퓨터 시스템과 애플리케이션, 서비스의 자동화된 설정, 관리, 조정을 의미 >> 리소스들의 관계를 정의하고 구성을 자동화함으로써 사람의 판단과 수작업을 덜어주는 기능 (AWS Cloud Formation, 오픈스택 Heat) [DevOps 오케스트레이션(자동화Task)] >> 소프트웨어 개발의 자동화를 위해 태스크를 만드는 작업 >> 조직의 DevOps 프로세스를 자동화 툴의 태스크로 만듦 >> API 로 제어되는 클라우드 관리 플랫폼 상에 구현된다 [DevOps 오토메이션(자동화)] >> CI(지속적 통합) 툴을 사용해서 빌드나 소스 코드 정적 검사를 자동화하는 작업 >> 지속적 통합을 위해 CI 툴을 사용하여 소프트웨어 빌드 (미들웨어 같은 소프트웨어도 설정 관리 방식으로 자.. 2021. 9. 9.
[리눅스 실습 for Beginner] CH_03. 리눅스 기본 사용법 1. X 윈도우 환경에서 시스템을 종료하려면 바탕화면 오른쪽 위의 아래쪽 화살표 아이콘, 컴퓨터 끄기 아이콘, 를 이어서 클릭한다. 2. 터미널에서 시스템을 종료하려면 poweroff, shutdown -P now, halt -p, init 0 명령을 사용한다. 3. 다음은 shutdown 명령어의 사용 예이다. shutdown -P +10 shutdown -r 22:00 shutdown -c - shutdown -k +15 4. 텍스트 모드에서 로그아웃하려면 logout 또는 exit 명령을 실행한다. 5. 가상 콘솔은 가상의 모니터라고 생각하면 쉽게 이해할 수 있다. 우분투는 7개의 가상 콘솔을 제공하며 각각의 가상 콘솔로 이동하는 단축키는 [Ctrl] + [Alt] + [F1 ~ F7] 이다. 6... 2021. 7. 17.
[리눅스 실습 for Beginner] CH_02. 리눅스 설치 1. 우분투 서버와 우분투 데스크톱은 https://www.ubuntu.com/ 에서 다운로드할 수 있다. 2. 우분투에 KDE 데스크톱 환경을 추가한 쿠분투는 https://kubuntu.org/ 에서 다운로드할 수 있다. 3. 우분투 리눅스를 설치하는 방법 중에서 가장 쉽고 일반적인 것은 USB나 DVD를 이용하여 윈도우와 비슷한 설치 마법사로 설치하는 것이다. 4. 우분투 데스크톱을 설치하는 과정은 다음과 같다. 1) 가상머신에 ISO 파일 설치하기 2) [환영합니다] 창에서 '한국어' 선택 3) [키보드 레이아웃] 창에서 '한국어-한국어(101/104키 호환)' 선택 4) [업데이트 및 기타 소프트웨어] 창에서 'Ubuntu 설치 중 업데이트 다운로드'의 체크 해제 5) [설치 형식] 창에서 '디.. 2021. 7. 17.
CASE WHEN 조건문 " CASE WHEN " 조건문 조건에 따라 값을 지정해주는 조건문 SELECT CASE WHEN 조건문 THEN 참(True)일때 값 ELSE 거짓(False)일때 값 END AS 지정할 칼럼명 FROM 테이블명 2021. 6. 30.
[리눅스 실습 for Beginner] CH_01. 리눅스의 개요와 환경설정 1. 리눅스는 쉽게 말해 무료 유닉스라고 보면 된다. 리눅스는 유닉스와 거의 동일한 운영체제이면서도 무료로 사용할 수 있고 어떤 면에서는 유닉스보다 뛰어난 기능을 발휘한다. 2. 1991년 8월 리누스 토르발스는 어셈블리어로 리눅스 커널 0.01 버전을 작성했다. 1992년에 토르발스는 0.02 버전을 내놓으면서 인터넷에 소스코드를 공개했는데 이것이 바로 리눅스의 시초이다. 3. 일반적으로 말하는 리눅스는 토르발스가 만든 커널에 컴파일러, 셸, 기타 응용 프로그램이 조합된 배포판이다. 리눅스의 배포판은 리눅스 단체나 회사가 나름의 이름을 붙여 배포하는데 그중 대표적인 것이 우분투 리눅스이다. 4. 1985년 리처드 스톨먼이 설립한 자유소프트웨어재단(FSF)에서 제공하는 소프트웨어는 대부분 자유 소프트웨어.. 2021. 6. 26.
[오늘의 짬지식] 데이터프레임에서 .0을 없애는 방법 데이터프레임을 다룰 때 데이터프레임의 값들 중 소숫점이 붙어서 ~~~.0와 같은 형식으로 나타나는 경우가 있다. .0을 떼고 싶다면 아래와 같이 해결하면 된다. df['count'] = int(float(df['count'])) 2021. 6. 15.
[오늘의 짬지식] 리스트 모든 경우의 수 : from itertools 파이썬 python 에서 리스트 값들의 모든 조합 경우의 구하기 *** 하나의 리스트에서 모든 경우의 수, 조합 수 구하기 : from itertools import permutations : from itertools import combinations from itertools import permutations, combinations # 하나의 리스트에서 모든 조합 수 구하기 items = [1,2,3,4,5] list(permutations(items, 2)) # [(1, 2),(1, 3),(1, 4),(1, 5),(2, 1),(2, 3),(2, 4),(2, 5),(3, 1),(3, 2),(3, 4),(3, 5),(4, 1),(4, 2),(4, 3),(4, 5),(5, 1),(5, 2),(5, .. 2021. 6. 12.

티스토리툴바