며칠전 다른 연구실 애들 몇명과 조촐하게 devday를 했다.

파이썬으로 간단한 매쉬업을 해보는 것이었는데 생각보다 오래걸렸지만 다들 재미있어했다.

게다가 트위터 API를 이용하거나 직접 HTML을 파싱해서 데이터를 손보고 json 형식의 데이터로 내보내는데 17줄 내외면 해결할 수 있었고, 그 17줄은 가독성이 상당히 높으며 의미가 압축되지 않은 코드였다.

발표도 하고 동영상도 남기고 싶었지만, 파이썬이 익숙하지 않은 사람이 대부분이라는 점과 html과 json을 처음 다루는 사람도 대부분이라는 점에서 시간의 압박을 느껴서 그건 패스.

어쨌든 기조발표 준비를 하면서 마인드맵을 그리다가 문득 마인드맵으로 발표하는 방법은 없을까 생각했다. 방식은 예전에 졸업식 동영상 만들 때처럼 켄 번 효과로 이동하면서 보여주면 좋겠다는 생각이었다. 그러다 문득 떠오른게 구독하고 있는 블로그에서 소개했던 Prezi 였다.

prezi는 slideshare.net 처럼 소셜 pt 서비스이지만 자신들의 서비스를 이용한다는 것이 차이점이고,

서비스의 이용법은 매우매우 단순하면서도 강력하다. 광고홍보학과 졸업한 동생한테도 말해줬더니, 이런게 있었으면 학부때 이걸로만 발표했을거라고 설레발까지..

더 첨언할 것도 없고 써보고 다른사람들이 등록한 자료를 몇개 보면 얼마나 유용하면서도 대단한 서비스인지 감이 올 것이다.

P.S. 대학원생이하 학생은 서비스 가입시 학교메일로 등록하고 인증하면 유료버전인 basic을 무료로 사용할 수 있다.

일하고 있는 전산정보원에서 학교 민원을 정리해두라고 하셔서 민원건수를 봤더니 3000건 + 600건 = 3600건 이었다.

사람의 힘으로 하는 것은 하나님의 섭리에 어긋난다고 판단하여 파이썬 스크립트를 짜서 돌리고 csv로 저장했다.

그런데, csv를 엑셀로 변환하려고 하는데 UTF-8 인코딩 때문에 한글이 다 깨지는 것이 문제였다.

iconv 라는 툴을 써본적이 있어서 다음과 같이 돌렸더니 에러.

$ iconv -f UTF-8 -t MSCP949 b51.csv > b51.cp949.csv

iconv: illegal input sequence at position 276082

근본적인 이유는 입력파일의 인코딩상에서 깨진문자가 들어있으면 에러를 뱉고 죽게끔 iconv가 설계되어 있다고 하지만 소스를 뜯어보지 않아서 명확히 모르겠고, 방법론적 이유를 찾아봤더니 역시나 RTF 문제였다.(read the fxxx manual)

KLDP에서 어떤분은 소스를 분석해가면서 패치를 제공할 방법을 모색하는 모습도 있었는데, 입력 파일에서 깨진문자를 빼고 변환을 해주는 -c 옵션으로 간단히 해결할 수 있었다.

$ iconv -c -f UTF-8 -t MSCP949 b51.csv > b51.cp949.csv

매뉴얼을 잘 작성하는 것도 중요하지만, 매뉴얼을 읽는 것이 더 중요하다는 것을 새삼 느꼈다.

한줄요약 : 구글링 하기전에 매뉴얼을 읽자

프로그래머를 위한 폰트라고 불리는
Bitstream vera mono Sans + 맑은고딕
폰트 되겠다.

확실히 monaco나 다른 폰트보다는
코드 가독성이 좋은 것 같다.(어쩌면 확증편향)

다운받기 : veramono

Django로 SAML2.0 IdP를 구현하다가,

프로세스를 껐는데도 클라이언트가 제대로 FIN을 안주고 종료되어서

CLOSE_WAIT상태에 끼여 해당 포트가 안닫히는 경우가 생겼다.

한번 걸리면 5~10분은 그냥 날아가는 통에 여기저기 뒤지니깐 바로나와서

간단하게 정리한다.

[cc lang="bash"]#lsof -i tcp:포트번호

검색된 해당 pid를 삭제한다

#kill -9 ‘pid’ [/cc]

PS. Django에서 uuid.uuid1 함수를 호출시 다운되는 현상이 발생했는데 메일링리스트에도 없고

해결해보고 안되면 티켓이나 하나 쏴야겠다.

나는 hg.monolith.pe.kr에서 코드를 관리하고 있다.
그런데 utf-8로 아파치와 mysql을 설정해놨더니
커밋메시지가 전부 ?????로 뜨는 일이 발생했다.
구글링을 했더니 원하는 답이 없었다.
그래서 그냥 가능한 설정 값을 모두 UTF-8로 하는 만행을 저질렀다.

1. locale에서 ko_KR.UTF-8로 모든 로케일 설정(LANG, LC_ALL, 등)
2. apache2, mysql을 utf-8로 설정(구글링)
3. hgrc에서 [web]에 encoding=utf-8 을 추가
4. hgwebdir.cgi에서 os.environ['HGENCODING] = “UTF-8″ 주석 해제

했더니 잘된다.

TRAC도 역시나 커밋메시지가 ???로 깨져서 나오길래
1. 위의단계를 거침
2. conf/trac.ini 의 default_charset = utf-8 로 수정
3. trac.wsgi (WSGI나 CGI로 돌릴경우) 에서 os.environ['HGENCODING'] = “UTF-8″ 추가
했더니 이상없이 한글이 잘 나온다.

제목그대로 wsgi를 이용하여 머큐리얼을 설치하는 방법을 소개하겠다.

0. 우분투 8.10 서버, 인텔 x86,  python2.6, apache2 환경에서 설치했다.

1. 일단  머큐리얼을 설치한다. apt-get이나 dselect로 mercurial패키지를 깔거나 tarball로 설치하면 된다.

2.머큐리얼로 원하는 위치에 리파지토리를 생성하고 프로젝트를 커밋한다.

[cc lang="bash"]$hg init my_project [/cc]

3. 쉘에서 다음과 같은 명령으로 hgwebdir.cgi파일을 찾아서

머큐리얼용 웹디렉토리로 사용할 위치에 복사해둔다.

나는 /home/hg/webdir폴더를 웹디렉토리로 사용한다.

아파치 세팅이 되어 있다면 그냥 cgi-bin에 넣어도 된다.

[cc lang="bash"]#find / -name hgwebdir.cgi

/usr/share/doc/mercurial/examples/hgwebdir.cgi

#cp /usr/share/doc/mercurial/examples/hgwebdir.cgi /home/hg/webdir/[/cc]

4. 머큐리얼 웹디렉토리에 hgweb.config파일을 다음과 같은 내용으로 만든다.

[cc lang="bash"]

[paths]

프로젝트명 = 프로젝트 디렉토리

[web]

base_url =[/cc]

5. 나는 해당 서버에서 trac과 블로그 등의 서비스를 함께 돌리고 있어서

각각의 서비스에 대한 가상 호스트를 생성하여 관리하고 싶다.

즉, 블로그는 blog.monolith.pe.kr 로 접속하고 트랙은 trac.monolith.pe.kr로 접속하는 식으로.

이럴 경우 다음과 같은 설정을 /etc/apache2/sites-available/default 에 추가해준다.

[cc lang="bash"]

ServerAdmin ldg55d@gmail.com
ServerName hg.monolith.pe.kr
ErrorLog /home/hg/error_log.hg
RewriteEngine On
RewriteRule (.*) /home/hg/webdir/hgwebdir.cgi/$1

Order allow,deny
Allow from all
AllowOverride All
Options ExecCGI
AddHandler cgi-script .cgi

[/cc]

6. 아파치를 다시 시작하고 http://hg.monolith.pe.kr에 접속하면 된다.

7. 작업할 단말에서 hg clone http://hg.monolith.pe.kr/프로젝트이름 하면 잘 클로닝된다.

8. python2.5에서는 이상이 없지만 2.6에서는 hgext관련해서 다양한 임포팅 오류가 일어난다.

이 경우 PYTHONPATH에 /usr/share/python-support/mercurial-common 를

다음과 같이 명시적으로 지정해서 모듈위치를 잡아준다.

[cc lang="bash"]export PYTHONPATH = $PATH:/usr/share/python-support/mercurial-common[/cc]

PS.

1. rewrite모듈이나 wsgi모듈이 깔려서 아파치에 올라와 있다는 전제로 설명했다.

2.rewrite모듈에서 /(.*) 이 아니라 (.*)로 해야 hg.monoilth.pe.kr/프로젝트명 으로 접근가능하다.

오라클에서 사용자 추가 / 삭제를 많이 하려다 보니 귀찮아서 cx_Oracle을 깔고 파이썬 스크립트를 만들었다.

[cc lang="python" lines="40"]
#coding: utf-8

import cx_Oracle

users = [학번1, 학번2]
def ora_useradd(username):
print “add user : %s” %username
query = ‘CREATE USER “%s” IDENTIFIED BY “%s” DEFAULT TABLESPACE users TEMPORARY TABLESPACEtemp ACCOUNT unlock’ %(username, username)
print query
conn = cx_Oracle.connect(”system”, “aksekfls”, “XE”)
cursor = conn.cursor()
cursor.execute(query)

grant_query = “GRANT connect, resource TO %s” %username
cursor.execute(grant_query)
cursor.close()

def ora_userdel(username):
print “del user : %s” %username
query = ‘DROP USER %s CASCADE’ %username
print query
conn = cx_Oracle.connect(”system”, “aksekfls”, “XE”)
cursor = conn.cursor()
cursor.execute(query)
cursor.close()

if __name__ == “__main__“:
for username in users:
try:
ora_useradd(str(username))
except:
continue
[/cc]

오라클 xe설치후 아무런 세팅이 없으면 당연히 한글이 안보인다.

3가지 절차를 거치면 한글을 볼 수 있는데,

1.

/usr/lib/oracle/xe/app/oracle/product/10.2.0/server/bin/nls_lang.sh 에서 NLS_LANG={어쩌구}.{저쩌구}

를 강제로 다움과 같이 수정한다.

NLS_LANG=’KOREAN_KOREA.AL32UTF8′

(위의 설정은 원래 서버 로케일에 맞추어 자동으로 잡아주는 건데 그냥 직접입력해둔다)

2. /etc/profile 에서

export NLS_LANG=’KOREAN_KOREA.AL32UTF8′

을 등록한다.

3. 여기서 문제인데 NLS_CHARACTERSET을 변경해야한다.
구글링을 해보면 다음과 같이 입력해서 변경하라고 한다.

update sys.props$ set value$ = ‘AL32UTF8′ where name=’NLS_CHARACTERSET’

그런데 막상 system으로 접속해서 위의 명령을 해보면 ORA-01031 에러가 발생한다. 권한이 없다는 것이다.
sysdba권한이 필요하다는 것이다. 이부분을 찾느라 1시간을 헤맸다. 결론은 간단했는데 무지로 인한 고생이랄까…

sys계정으로 접속시 뒤에 as sysdba만 붙여주면 된다.(패스워드는 특별한 설정이 없다면 system계정과 동일)

SQL>conn sys/password as sysdba
SQL>update sys.props$ set value$ = ‘AL32UTF8′ where name=’NLS_CHARACTERSET’

설정이 끝나면 오라클을 재실행하고 클라이언트도 재실행한다.
접속하면 아름다운 한글을 insert하고 select할 수 있다.

한편, 오라클 테이블은 위의 설정으로 한글지원이 가능하지만 오라클 서버 자체는 다른 캐릭터 셋을 사용하고 있다.

다음의 명령을 실행해보면

BEGIN

DBMS_OUTPUT.PUT_LINE(‘한글’);

END;

/

?? 라는 출력메시지를 볼 수 있을 것이다.

(한글미지원) 따라서 오라클 서버 자체의 캐릭터 셋을 변경해주어야 한다.

SHUTDOWN IMMEDIATE;
<서버 백업해둘것>
SQL> STARTUP MOUNT;
SQL> ALTER SYSTEM ENABLE RESTRICTED SESSION;
SQL> ALTER SYSTEM SET JOB_QUEUE_PROCESSES=0;
SQL> ALTER SYSTEM SET AQ_TM_PROCESSES=0;
SQL> ALTER DATABASE OPEN;
SQL> ALTER DATABASE CHARACTER SET AL32UTF8;
SQL> SHUTDOWN IMMEDIATE;
SQL> STARTUP;

apex에 접속해서 하는 방법도 있지만 우분투에 X를 안깔았다면 다음의 방법으로 수동처리하면 된다.

SQL> EXEC DBMS_XDB.SETLISTENERLOCALACCESS(FALSE);
PL/SQL 처리가 정상적으로 완료되었습니다.

0. 클라이언트 파일은 http://web.kyonggi.ac.kr/kwonjh 의 수업기타자료실 1번 글 에서 다운 받으시면 됩니다.

1.

오라클 클라이언트 설치파일을 실행하고 설치하면 됩니다. 설치절차는 매우 간단하므로 생략합니다.

오라클 클라이언트인 sqlplus의 실행방법은 2가지 인데,

• 시작프로그램 – 프로그램 – Oracle Client 10g Express Edition – sql명령줄 실행 을 실행하거나
• [윈도우키 + R]로 커맨드창을 띄워 "sqlplus /nolog"로 실행하면 됩니다.

2.

두 방법 중 하나를 택해서 sqlplus를 실행하면 아래와 같은 화면을 볼 수 있습니다.

3.

sqlplus 에서 서버에 있는 데이터베이스에 연결시 다음과 같이 입력합니다.

SQL> conn 아이디/비밀번호@서버주소:포트번호/데이터베이스이름

각 파라미터를 설명해보면,

수업에 사용하는 데이터베이스 이름은 XE이고 서버주소는 dblab.kyonggi.ac.kr , 포트번호는 9000 입니다.

따라서 아이디가 test이고 비밀번호가 test이면 다음과 같이 입력하면 됩니다.

SQL> conn test/test@dblab.kyonggi.ac.kr:9000/XE

연결되었습니다.

초기 아이디와 비밀번호는 학번으로 설정되어 있습니다.

4.

수업 중 test.sql 등의 sql파일을 사용할 경우가 있습니다. 이 때는 sql파일을 C:\XEClient\sqlplus 디렉토리에 넣고 작업하면 됩니다.

예를 들면

;content of the ‘test.sql’ file

select table_name from tabs;

라는 쿼리문(의미 : 현재 데이터베이스의 전체 테이블 확인)이 들어있는 test.sql파일이 C:\XEClient\sqlplus 에 있다고 하면

해당 쿼리파일을 실행하기 위해서는 단지

SQL>@test.sql

라고 입력해주면 됩니다. 서버이용에 대해 궁금한 사항은 ldg55d@gmail.com 으로 메일 주세요.