# -*- coding: utf-8 -*-
# +-----------------------------------------------------------------------------------+
#
# Sqlite3 ile veri tabanı oluşturan kod
#
# Hazırlayan : FVolkanY // www.globalekonomi.com
# +-----------------------------------------------------------------------------------+
import sqlite3 as sqlite
 
# bir kez olusturup hep kullanacağımız borsa.db isimli veri tabanımız
def vt_olustur(veritabani = "borsa.db"):
# tablolarımızı hazırlayalım
    con = sqlite.connect(veritabani)
# sadece hisse kodu ve kapanış verilerini tutacağız.
# kendi kendine artan bir indexsimiz ve iki sütunumuz var.
    con.execute('CREATE TABLE Borsa(borsaID INTEGER PRIMARY KEY AUTOINCREMENT, vttarih VARCHAR(10), vthisse VARCHAR(10), vtkapanis real)')
    con.execute('CREATE INDEX Borsaidx on Borsa(borsaID)')
    con.commit()
    con.close()
 
# bu satırda veri tabanını olusturuyoruz
# vt_olustur()
print "Veri tabanı olusturulda. Artık bu dosyaya ihtiyacımız yok."

# -*- coding: utf-8 -*-
# +-----------------------------------------------------------------------------------+
#
# Sqlite3 ile veri tabanına yapılan girişler gösteren kod örneği
#
# Hazırlayan : FVolkanY // www.globalekonomi.com
# +-----------------------------------------------------------------------------------+
import sqlite3 as sqlite
 
connection = sqlite.connect('borsa.db')
cursor = connection.cursor()
print "veritabanı bağlantısı yapıldı"
 
# veri girelim
# 2009yılının 1. ayının 2.gününün 1.seansı
tarih = "200901021"
hisse = "YKBNK"
kapanis = 51.1
cursor.execute('INSERT INTO Borsa VALUES (null, ?, ?, ?)',(tarih,hisse, kapanis)) 
connection.commit()
 
# bir kayıt daha yapalım
tarih = "200901021"
hisse = "TKFEN"
kapanis = 28.5
cursor.execute('INSERT INTO Borsa VALUES (null, ?, ?, ?)',(tarih,hisse, kapanis))
connection.commit()
 
print "Kayıtlar yapıldı"

# -*- coding: utf-8 -*-
# +-----------------------------------------------------------------------------------+
#
# Sqlite3 ile veritabanı kayıtlarını gösteren kod örneği
#
# Hazırlayan : FVolkanY // www.globalekonomi.com
# +-----------------------------------------------------------------------------------+
import sqlite3 as sqlite
 
connection = sqlite.connect('borsa.db')
cursor = connection.cursor()
 
print "Kayıtlar görüntüleniyor."
 
cursor.execute('SELECT * FROM Borsa')
 
# topla değişkeninin burada olma sebebi
# unikod veriyi int veya floata çevirmek için örnek olması
# hem de ortalama fiyatı hesaplıyor
topla=0
 
for row in cursor:
    print '-'*20
    print 'Kayıt no', row[0]
    toplamkayit=int(row[0])
    print 'Tarih:', row[1]
    print 'Hisse kodu:', row[2]
    print 'Kapanış', row[3]
    topla=topla+float(row[3])
    print '-'*20
    print "Ortalama fiyat : ",topla/toplamkayit

# -*- coding: utf-8 -*-
# +-----------------------------------------------------------------------------------+
# IMKB sitesinden belirli tarihler arasındaki...
# günlük kapanış bültenlerini indiren ve
# zip dosyaları ve içindeki xls dosyaları açarak klasörleyen
# istenen hisseyi tarih, hisse kodu ve kapanış bilgisi ile 
# veritabanına ekleyen kod örneği.
#
# Hazırlayan : FVolkanY // www.globalekonomi.com
# +-----------------------------------------------------------------------------------+
 
import sys
import urllib
import zipfile
import os
import xlrd
import sqlite3 as sqlite
 
# Önce indirme adresimizin kodlarını hazırlıyoruz
 
# .zip dosyalar için for döngüsü
 
# 2000 yılından başla, 2010 yılına kadar devam et (2010 hariç)
for yil in range(2009, 2010):
# 1. aydan başla, 13.aya kadar devam et (13.ay hariç)
    for ay in range(1,13):
# 1. günden başla, 32. güne kadar devam et (32.gün hariç) 
        for gun in range(1,32):
# 1.seansdan başla, 3.seansa kadar devam et (3.seans hariç)
            for seans in range(1,3):
# yıl ismini string yapalım ki adres satırına yazabilelim
                yilx=str(yil)
# eğer ay 10dan küçükse başına 0 koyalım ve ayı stringe çevirelim
                if ay < 10:
                    ayx="0"+str(ay)
                if ay>=10:
                    ayx=str(ay)
# eğer gün 10dan küçükse başına 0 koyup günü stringe çevirelim
                if gun< 10:
                    gunx="0"+str(gun)
                if gun>=10:
                    gunx=str(gun)
# seans bilgisini de stringe çeviriyoruz
                seansx=str(seans)
# elimizde döngü içinde değişen yıl, ay,gün ve seans bilgisi var
# veri çekeceğimiz adresi belirtelim
                adres="http://www.imkb.gov.tr/data/thb/"+yilx+"/"+ayx+"/thb"+yilx+ayx+gunx+seansx+".zip"
# artık verileri çekmeyi deneyebiliriz
                try:
# deniyoruz
                    indir=urllib.urlopen(adres)
                    oku=indir.read()
# durumdan haberdar olalım
                    print "Dosya okunuyor"
# belirtilen adresde karşınmıza ne çıkacak?
# galiba .zip yerine <html> ile başlayan gibi bir sayfaya gittik, belki tatil günü olabilir
                    if oku.startswith("< "):
                        print "Belirtilen adres üzerinde bu isimde bir dosya yok. Bir sonraki dosya ile işlem devam edecek."
# 404 not found ile de karşılaşabiliriz
                    elif oku.startswith("4"):
                        print "Belirtilen adres üzerinde bu isimde bir dosya yok. Bir sonraki dosya ile işlem devam edecek."
# herşey yolunda ise
                    else:
# çektiğimiz dosyayı klasörümüze kaydedelim
                            dosya=open("./veriler/"+yilx+ayx+gunx+seansx+".zip","wb")
                            dosya.write(oku)
                            dosya.close()
# .zip dosyayı açalım
                            zdosya = open("./veriler/"+yilx+ayx+gunx+seansx+".zip", "rb")
                            z = zipfile.ZipFile(zdosya)
# içinde neler var
                            for name in z.namelist():
# ismini de değiştirelim
                                namez = yilx+ayx+gunx+seansx+".xls"
                                outfile = open("./ciktilar/"+namez, "wb")
                                outfile.write(z.read(name))
# açtığımız dosyaları kapatalım
                                outfile.close()
                            zdosya.close()
# .xls dosyadan veri ve veritabanımıza kaydedelim
# .xls dosyamızı açalım
                            kitap = xlrd.open_workbook("./ciktilar/"+yilx+ayx+gunx+seansx+".xls")
                            print "dosyayı açtım"
# bize 11 ve 12 ve 13. tablolar lazım
# hisse bilgileri bu tablolarda
                            for tabloindeks in range(10,14):
                                xlstablo = kitap.sheet_by_index(tabloindeks)
                                print "tablo indeksi:",tabloindeks
# bu tabloda kaç satır var öğrenelim
# eğer döngüyü satır sayısından fazla tutarsak
# program hata verir
                                xlstablo_satir_adedi=xlstablo.nrows
                                print "bu tablodaki satır adedi : ",xlstablo_satir_adedi
# şimdi her tabloda B sütununu tarıyor ve
# DOAS.E kodlu hisseyi arıyoruz
# bu kodun özelliği 2009 başında 11 indeksli sayfada
# daha sonra da 12 indeksli sayfada bulunması
# yani tablolar içinde arama yapmak için güzel bir örnek
# kapanış verisini de 1. seans için H, 2. seans için G sütunundan alacağız
                                for satirindeks in range(0,xlstablo_satir_adedi):
# eğer aktif hücre DGGYO ise
                                    if kitap.sheet_by_index(tabloindeks).cell_value(rowx=satirindeks, colx=1)=="DOAS.E":
# ve 1. seans ise
                                        if seans == 1:
# işlemimizi yapıyoruz
                                            tarih=yilx+ayx+gunx+seansx
                                            hisse = kitap.sheet_by_index(tabloindeks).cell_value(rowx=satirindeks, colx=1)
                                            kapanis = kitap.sheet_by_index(tabloindeks).cell_value(rowx=satirindeks, colx=7)
# 2. seans da olabilir
                                        elif seans == 2:
# o zaman sütun değişir
                                            tarih=yilx+ayx+gunx+seansx
                                            hisse = kitap.sheet_by_index(tabloindeks).cell_value(rowx=satirindeks, colx=1)
                                            kapanis = kitap.sheet_by_index(tabloindeks).cell_value(rowx=satirindeks, colx=6)
# veriler elimizde hisse ve kapanis değiskenlerinde duruyor
# veritabanımıza ekliyoruz
                            connection = sqlite.connect('borsa.db')
                            cursor = connection.cursor()
                            cursor.execute('INSERT INTO Borsa VALUES (null, ?, ?, ?)',(tarih,hisse, kapanis)) 
                            connection.commit()
# veritabanına ekleme işlemi tamamlandı
                            print "İşlem tamamlandı. Bir sonraki dosya ile işleme devam ediliyor."
# tahmin edemediğimiz bir hata oluştuğunda
                except:
                    print "Dosya Okuma/Yazma hatası!!!"
# for döngüsü sona erdiğinde haberimiz olsun
print "Tüm dosyalar indirildi."