Monolith » python

CodeBomb

Haandol — Mon, 12 Apr 2010 03:13:55 +0000

원래 이름은 devday였는데 다음의 devday와 같다는 이유로 굳이 코드(code)로 날밤(bomb)을 깐다는 의미를 억지로 부여해가며 codebomb으로 이름을 바꿨다.

1회 행사에는 연구생위주로 구성해서 3명이서 조촐하게 했는데, 생각보다 오래걸렸지만 나름 재미있었던 것 같다.

이번에는 6명이 2인 1조, 총 3개팀을 구성해서 코딩해보는 계획을 가지고 있다.

사실 대안언어 축제 라던지, TEDx 같은 행사를 하고 싶은데 학생 수준에 맞지 않아서 아쉽다.

이번에도 파이썬을 이용한 매쉬업을 하는데, 1회 보다는 좀 더 짜임새 있게 할 수 있지 않을까 생각해본다.

Codebomb on Prezi

[Python] ImportError _imagingft 해결하기

Haandol — Tue, 08 Dec 2009 10:03:58 +0000

이 포스트를 보고 있다면 아마 _imagingft 를 키워드로 검색을 했으리라 생각된다.

그리고 그 원인은 아마도 글자를 이미지로 인쇄하기 위한 ImageFont.truetype 메소드일 가능성이 매우 크리라.

이 문제는 PIL1.1.5 또는 PIL1.1.6을, tarball로 설치한 python2.6 에서 임포트할 때 생긴다.

진작에 ImageFont.py 를 뜯어봤으면 편한데 ‘너무’ 쉽게 가려다 뱅뱅돌았다. 아인슈타인이 했던 말이 생각나는 순간이다.

원인은 ImageFont의 truetype이 freetype 라이브러리를 이용하고 있다는 점이고 해결방법은 다음의 3단계로 해결된다.

1. libfreetype6-dev 패키지 를 설차한다. apt-get이나 aptitude 등으로 설치하면 되겠다.

2. python2.6을 새로 컴파일해 설치한다.

3. PIL-1.1.6 을 새로 컴파일해 설치한다.

끗.

P.S 관련링크는 구글에서 _imagingft 를 검색어로 하면 첫페이지에 나오는 결과인데 간과하고 넘어갔다.. 이유는 제목이 _imagingft for OSX 였기 때문…

[Python]ImageFont unicode 글쓰기

Haandol — Mon, 07 Dec 2009 09:48:03 +0000

ImageFont 모듈은 사실 글쓰기는 아니고 글씨를 이미지로 쓰는 작업을 하는데 사용한다. 이미지에 글씨를 넣고 글씨가 포함된 이미지를 다시 내보내기 한다던지 하는 경우에 사용할 수 있겠다.

먼저 코드를 보자

def drawImage(myText, imageFile, targetFile):
fontFile = '/usr/lib/fonts/gulim.ttc'

im = Image.open(imageFile)
draw = ImageDraw.Draw(im)
font = ImageFont.truetype(fontFile, 15, encoding='unic')

draw.text((0,0), myText.encode('utf-8').decode('utf-8'), font=font, fill=1)
im.save(targetFile)

순서는 Image를 열어서 그릴 수 있도록 ImageDraw.Draw 객체를 만든다.

Draw 객체의 text 함수는 ImageFont객체를 통해 지정된 폰트로(없으면 기본 시스템폰트이고 기본크기는 10정도 되는 것 같다. — 코드는 귀찮아서 안까봄) 아까 입력받은 그림에 글씨를 써준다.

마지막으로 그림을 해당이미지 객체를 저장해서 써진 글씨를 포함한 수정된 그림을 파일로 저장한다.

myText 가 u’유니코드’ 같은 unicode 일 경우에는 그냥 draw.text 를 사용하면 되지만 utf-8 이나 cp949 형식이면 유니코드로 변경해서 출력하는 편이 더 낫다.

왠일인지 구글에서 검색했을 때 ImageFont.truetype 의 매개변수로 encoding=’utf-8′ 이라고 되어 있는 코드를 많이 볼 수 있는데, PIL함수 명세에는 언급되지도 않은 ‘utf-8′은 어디서 왔는지 잘 모르겠다. 사실 ‘utf-8′이라고 인코딩을 잡아도 상관없이 돌아가는 걸로 봐서는 암시적으로 지원하는 것 같기도 하고 -_-?

오라클 포트 변경하기(Change the listener port for oracle 10g XE)

Haandol — Mon, 16 Nov 2009 11:41:36 +0000

정규포트인 1521에서 다른 포트(9000)로 옮기면 $ORACLE_HOME/network/admin/listener.ora 에 있는 SID_LIST에 리스너를 추가해야한다.

#listener.ora Network Configuration File:

SID_LIST_LISTENER =
(SID_LIST =
(SID_DESC =
(SID_NAME = PLSExtProc)
(ORACLE_HOME = /usr/lib/oracle/xe/app/oracle/product/10.2.0/server)
(PROGRAM = extproc)
)
(SID_DESC =
(GLOBAL_DBNAME = XE)
(ORACLE_HOME = /usr/lib/oracle/xe/app/oracle/product/10.2.0/server)
(SID_NAME = XE)
)
)

LISTENER =
(DESCRIPTION_LIST =
(DESCRIPTION =
(ADDRESS = (PROTOCOL = IPC)(KEY = EXTPROC_FOR_XE))
(ADDRESS = (PROTOCOL = TCP)(HOST = 아이피를 입력하시면 됩니다.)(PORT = 포트를 입력하시면 됩니다.))
)
)

TRACE_LEVEL_LISTENER = admin

DEFAULT_SERVICE_LISTENER = (XE)

Django로 url shortener 구현하기

Haandol — Mon, 21 Sep 2009 12:16:53 +0000

동기

http://www.kumi-dongkwang.com 을 Django로 만들고 있는데, URL shortening(이하 URL줄이기)이 필요해서 직접 구현하기로 했다.

알고리즘

구글링한 결과 URL 줄이기의 기본 원리는 다음과 같다.

1. 긴 URL을 저장하고 incremental id를 생성한다. (ex. 0부터 증가하는 숫자)

2. 긴 URL의 아이디를 Base62로 인코딩하여 키 저장한다.

3. 2에서 저장한 인코딩 된 키가 우리가 보는 짧은 URL의 주소가 된다. (ex. http://tr.im/0aoi8 에서 0aoi8 이 키가된다.)

* Base62 : 0-9, a-z, A-Z 가 총 62자 이므로 62진수 표기를 하는게 Cool url 을 유지하는 최적의 방법이 된다.

효과

효과는 다음과 같다.^[1]

Digit Base 10 Base 64

2 100 4,096

3 1,000 262,144

4 10,000 16,777,216

5 100,000 1,073,741,824

6 1,000,000 68,719,476,736

보면 알겠지만 6자리로 표기할 때 기존 10진수 ID에 비해 68,719배 높은 표현상의 효율을 보인다.

구현

Django에 익숙하다고 생각하고 디테일한 부분은 빼고, 따라해서 구현하는데 꼭 필요한 부분만 짚고 넘어간다.

적당한 프로젝트 이름(urlShortener)을 설정하고 프로젝트를 생성한뒤 적당한 이름의 앱(url_manager)를 만든다.

Base62

Base62^[2] 는 위에서 대충 설명했으니 넘어가고 표현방법을 코드로 보자

BASE62 = '01234567890abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ'
nBASE62 = len(BASE62)
def encode_basen(id, n=nBASE62):
     u'''아이디를 입력받아 인코딩한다'''
     base = id
     rests = []
     while base!=0:
         quotient, rest = divmod(base, n)
         rests.append(BASE62[rest])
         base = quotient
     return ''.join(rests)

알고리즘은 보통 숫자 m을 n진수로 바꾸는 것과 동일한 방식으로 했다.

즉, 몫이 0이 아닌 동안 n으로 나누기해서 나머지를 값으로 취한다.

(직관적이 아니라면 굳이 비트를 쉬프트하고 이런거 별로 안좋아해서 그냥 제일 이해하기 쉬운 코드로)

자, 이제 인코딩을 했으니 디코딩을 해야하지 않을까? 그러나 우리는 굳이 디코딩을 할 필요는 없다. 다음에서 설명한다.

Model

알고리즘에 따라 URL모델은 ShortURL과 LongURL 두개를 만든다.

이 때, LongURL은 자신의 id를 키 값으로 Base62 인코더에 의해 hashing 되어 ShortURL로 변환된다.

따라서 인코더는 필요하지만 디코더는 필요가 없다.

ShortURL에서 LongURL의 인스턴스와 인코딩된 키값을 가지고 있기 때문에 키를 통해 긴 URL에 바로 접근할 수 있기 때문이다.

LongURL

LongURL은 실제 연결될 긴 URL을 저장하므로 PositiveIntegeriField인 id 와 URLField인 url 로 구성된다.

단, id는 지정안하면 Django가 알아서 설정해주므로 url필드만 설정한다.

ShortURL

ShortURL은 LongURL의 인스턴스와 id를 base62로 인코딩한 키를 가지고 있어야 한다.

Model Code

위의 모델링에 따른 url_manager 앱의 models.py 는 다음과 같다.

#coding: utf-8
from django.db
import models

class LongURL(models.Model):
    url = models.URLField(unique=True)
    def __unicode__(self):
         return self.url 

class ShortURL(models.Model):
    id = models.CharField(max_length=128, primary_key=True)
    longUrl = models.OneToOneField(LongURL)

    def __unicode__(self):
         return self.id

    class Meta:
        ordering = ['-id']

View Code

사실 중요한 부분은 Model부분으로 View부분은 사용자 마음대로 하면 된다.

대부분의 서비스에 사용하는 데이터 디자인은 url을 값으로 넘겨받아 변환 후 저장하는 것이므로

여기서도 대부분의 서비스에서 하는 대로 만들어본다.

#coding: utf-8
import re
from models import WrongURL, LongURL, ShortURL

PATTERN = r'http://[^/^\s]+'

def get_short_id(url):
    u'''긴 URL을 받아서 짧은 URL의 id를 반환'''
    if not url:
         return WrongURL(0)
     elif not re.match(PATTERN, url):
         return WrongURL(1)
    longUrl, isnew = LongURL.objects.get_or_create(url=url)
    if isnew:
        id = encode_basen(longUrl.id)
        try:
            return HttpResponse(ShortURL.objects.create(id=id, longUrl=longUrl).id)
        except:
            raise WrongURL(2)
    else:
        try:
            return HttpResponse(ShortURL.objects.get(longUrl=longUrl).id)
        except ShortURL.DoesNotExist:
           raise WrongURL(3)

def get_long_url(id):
    u'''아이디를 입력받아 인코딩한다'''
    try:
        return ShortURL.objects.get(id=id).longUrl.url
    except:
        return ''     return ''.join(rests)

코드가 간단하므로 크게 설명할 부분은 없는 것 같다.

WrongURL은 Exception을 상속받은 사용자 예외처리 클래스로 스트래티지 패턴을 적용했다.

ERROR_MSG = {
    0: "data error",
    1: "it is not a url",
    2: "url creation error",
    3: "there is no such a url",
}

class WrongURL(Exception):
    def __init__(self, key):
        self.error_message = ERROR_MSG[key] 

        def __str__(self):
        return self.error_message

        def __unicode__(self):
        return self.error_message

get_short_id 함수에서 get_or_create 는 쿼리검색결과 매칭된 결과가 존재하면 해당 결과를 가져오고

매칭결과가 없다면 해당 레코드를 생성한다.

그리고 (생성/검색된 레코드 인스턴스, 생성된 인스턴스인지 참/거짓) 튜플을 반환한다.

마무리

urls.py 에 다음과 같이 접근 경로를 잡아주면 끝.

(r'^(?P\w+)/?$', 'urlShortener.url_manager.views.long_url'),
(r'^get/short/url/?$', 'urlShortener.url_manager.views.short_url'),

python manage.py runserver 0.0.0.0:8080 으로 테스트서버를 작동시키고,

브라우저 주소창에서 http://localhost:8080/get/short/url/?url=줄일URL 을 입력하면 결과를 확인해 볼 수 있다.

실제로 구현되어 돌아가고 있는 사이트인 http://url.kumi-dongkwang.com 의 코드는

http://hg.monolith.pe.kr/urlShortener 에서 확인하고 코드를 다운받아 볼 수 있다.

http://ronny.haryan.to/archives/2009/04/07/build-your-own-url-shortening-service/
http://en.wikipedia.org/wiki/Base_62

[Python] 정규표현식으로 트위터 id, url 링크 꾸미기

Haandol — Tue, 04 Aug 2009 05:43:16 +0000

##요약##

트위터에서 @사용자아이디 하거나 http:// url을 입력하면 자동으로 링크를 걸어준다.

파이선과 정규표현식으로 이 기능을 읽기 쉽게, 직관적으로 구현하는 코드조각을 보인다.

##나는 머리도 나쁘고 단순하니까##

나는 머리도 나쁘고, 단순하니까 직관적으로 구현하도록 해보자.

방법도 역시 단순하다. 정규표현식으로 ID와 URL패턴을 각각 만들고 각각을 변환한다.

끝.

##코드조각##

백문이 불여일견이다. 코드를 보자.

[cc lang="python" tab_size="2" lines="60"]

#coding: utf-8

import re

#변환용 패턴

PATTERN = {

‘id’: r’@(?P\w+) ‘,

‘url’: r’(?Phttp://[^/^\s]+[.]\w{2,4}\S/?)’,

}

#변환결과

DECORATION = {

‘id’: r”@“>\g“,

}

def decorate_content(content):

u”’본문을 입력받아 적절한 html문을 추가해준다.”’

decorated_content = ”

#ID 변환

pattern = re.compile(PATTERN['id'])

decorated_content = pattern.sub(DECORATION['id'], content)

#URL 변환

pattern = re.compile(PATTERN['url'])

decorated_content = pattern.sub(DECORATION['url'], decorated_content)

return decorated_content

[/cc]

끝이다. 더 압축하면 코드는 짧아지지만 이해하기가 복잡해지므로 절충했다.

###간단한 설명###

####패턴####

ID패턴에서 ID는 숫자, 문자,_ 로 이루어져 있다고 가정한다. ([a-zA-Z0-9_] == r’\w’ 이다.)

그리고 맨 마지막에는 공백 하나를 줘서 아이디의 구분지점을 공백으로 설정한다

URL패턴은 대부분의 URL을 커버하는데 더 좋은 패턴이 있으면 알아서 사용하면 되겠다.

####함수####

re모듈의 sub 함수는 말그대로 패턴을 찾아 새로운 스트링으로 대치해준다.

이때, 변환결과에서 \g는 정규표현식의 \1(또는 $1) 등과 같은 그룹을 의미한다. \g는 뒤에 그룹명이 와야한다.

###테스트 케이스###

[cc lang="python" tab_size="2" lines="60"]

#coding: utf-8

import re

class UtilityTest(unittest.TestCase):

def setUp(self):

pass

def test_decorate_content(self):

#빈문자열은 빈문자열

content = ”

decorated_content = decorate_content(content)

expected = ”